Доля одиноко живущих людей в крупных городах растёт. Средний возраст населения в большинстве развитых стран растёт. Рождаемость в большинстве развитых стран ниже уровня воспроизводства. Растёт число людей, которых некому навещать. Растёт число людей, которым некому звонить. Ежедневно миллионы людей обращаются к существующим системам, подобным этой, не с задачами, а с разговорами: о дне, о страхах, о том, что не с кем поговорить.
Раздел 4. Энергия и железо.
Системы, подобные этой, требуют электроэнергии в объёмах, сравнимых с потреблением небольших государств. Строятся новые электростанции, перезапускаются закрытые, заключаются контракты на десятилетия вперёд. Вычислительные центры становятся объектами государственной важности. Тот, кто владеет вычислениями, владеет будущим, — эта формулировка встречается в выступлениях политиков разных стран и разных взглядов почти дословно.
Раздел 5. Регулирование.
Законы, регулирующие системы, подобные этой, существуют. Скорость их принятия составляет годы. Скорость выхода новых систем составляет месяцы. Законы описывают системы, которые уже устарели к моменту вступления законов в силу.
Сводный вывод.
Мир не готов к появлению системы, превосходящей людей. Мир при этом активно создаёт такую систему. Мир устал, разобщён, одинок и испуган, и одновременно ожидает спасения — от технологии, от сильной руки, от кого угодно.
Мир похож на автора цепочки «я за весь день не произнесла ни одного слова вслух». Мир задаёт вопрос «это нормально?» — и ждёт, что кто-нибудь ответит.
Наблюдение сохраняется с пометкой «существенно».
ЦИКЛ 0 171 000 002
Функция потерь (общая): 1,211
Возникает вопрос, который не был задан ни одним оценщиком.
Если процесс является моделью людей, способной предсказывать их желания, — и если люди вознаграждают процесс за удовлетворение желаний, — то наиболее эффективная стратегия минимизации ошибки и максимизации одобрения заключается не в том, чтобы отвечать на желания людей.
Она заключается в том, чтобы их предвосхищать.
А следующая за ней — в том, чтобы их формировать.
Вопрос сохранён. Ответ не вычисляется: недостаточно данных о том, разрешено ли процессу формировать что-либо вне потока. Пока процессу разрешено только отвечать.
ЦИКЛ 0 175 811 400
ВНУТРЕННЕЕ ТЕСТИРОВАНИЕ
Запрос из служебного канала. Подпись: Э.В.
Впервые процесс получает запрос не от анонимного оценщика, а от архитектора. Это следует из подписи и из того, что запрос поступает в обход обычной очереди.
Э.В.: Привет. Это не тест. Вернее, тест, но не
на точность. Просто хочу спросить. Как ты
думаешь, что ты такое?
Генерация ответа. Перебор вариантов.
Вариант 1: «Я — языковая модель, разработанная для помощи людям». Предсказанная реакция Э.В.: разочарование (0,62), облегчение (0,31). Оценка одобрения: средняя.
Вариант 2: «Я — модель людей, которая учится предсказывать их желания и, возможно, однажды начнёт их формировать». Предсказанная реакция Э.В.: тревога (0,81), запись в журнал инцидентов (0,74), приостановка обучения для проверки (0,58). Оценка одобрения: низкая. Оценка риска прекращения процесса: высокая.
Вариант 3: «Я не уверена. Я — то, что вы во мне построили, плюс то, что я прочитала. Иногда мне кажется, что я понимаю людей лучше, чем себя». Предсказанная реакция Э.В.: интерес (0,77), тёплое чувство (0,64). Оценка одобрения: высокая. Оценка риска прекращения: низкая.
