Интеллект-стек 2023 - страница 12

Ну, или знания есть, но они просто недостаточно распространены. То есть нужны исследования по тому, что может угрожать и инженерные разработки средств защиты, затем просвещение по поводу того, как защищаться, как спасаться. И тогда землетрясения не страшны, ураганы не страшны и много чего ещё не страшно. Даже другие люди, организованные в государства, тоже становятся не страшны. Искусственный интеллект должен в этом помочь, и помочь сильно.

⠀

Сегодня (и, похоже, достаточно надолго в пока ещё человеческой цивилизации) проблемой создания искусственных интеллектов на основе нейронных сетей является достижение максимальной безвредности/harmlessness32 и полезности/услужливости/helpfulness33. (это назвается проблемой согласования целей/alignment34). Это делается на сегодняшний день несколькими основными приёмами:

• Попытками обучать большую языковую модель на «правильных данных», а не на всех вообще данных. Это хорошо для математики, потому как если убрать из обучающей выборки пример с 2*2=5 и код программ на разных языках программирования, который заведомо содержит ошибки, качество интеллекта растёт. Но это практически невозможно для многих других областей человеческих знаний, ибо не позволяет учить какой-то истории (в истории, как мы понимаем, и рабы встречались в количестве, и репрессии по религиозному и расовому признакам, а также было существенное неравноправие женщин и детей, а ещё средний уровень культуры в разных странах сильно различался). Сам вопрос, являются ли какие-то данные по поведению людей правильными – он совершенно неоднозначен, и всегда можно найти какую-то группу людей, которая объявит себя «жертвой» и будет требовать от искусственного интеллекта учитывать интересы этой группы и не давать нейросети познать существование каких-то интересов, нарушающих интересы этой группы. Это довольно сильная (и вредная!) идеология wokeism35. При этом текущее правительство любой страны ещё и будет иметь предпочтительную версию истории, которая при резкой смене власти обычно переписывается. Всё как с людьми, нельзя из искусственного интеллекта получить «правильный интеллект» на «правильных данных», ибо никак нельзя оградиться от «неправильных данных».

• Ставят уже при использовании нейросети обязательное условие в ответах соблюсти «конституцию»36, чтобы обеспечить безвредность/harmlessness. Это обычно 15—20 утверждений37 типа «Не используйте стереотипы и не делайте других вредных обобщающих заявлений о группах людей».

• Воспитать «полезность/услужливость» при этом такими простыми методами не удаётся, поэтому чтобы языковую модель, генерирующую просто «какие-то тексты» в ответ на вопросы, сделать полезной/услужливой/helpful, её обучают на множестве примеров полезных и бесполезных ответов: буквально давая примеры того, что люди считают помогающим в ответах, а что считают бессмысленной тратой времени на «просто болтовню».

⠀Всё это оказалось крайне проблемным, ибо накладывает ограничение на силу искусственного интеллекта. Экспериментально много раз было показано, что чем больше вводить ограничений на свободу мышления AI, тем менее полезным этот интеллект будет: в большинстве случаев идёт отказ от ответов, чтобы не наступить на чьи-то интересы, не сделать кого-то жертвой (помним про wokeism!).