Мощности компьютера стало не хватать на параллельную работу десятка эволюционирующих ботов. Пришлось апгрейдить компьютер – на что хватило денег, а потом сокращать количество одновременно работающих программ, нацеливаться на узкую специализацию, без большого разнообразия.
Способности болталки дошли до того, что она стала понимать… ну как понимать – усваивать, интегрировать в свою базу данных книги, как художественные, так и учебники по программированию. Понятное дело, что после этого она освоила такие вершины, до которых Странник никогда и не планировал добраться. В какой момент бот стал интеллектуальным сказать невозможно, но постепенно накопились непонятные и никому неизвестные изменения, которые привели к тому, что письменную речь болталки стало не отличить от человеческой. Возможно, уже тогда она могла бы пройти тест Тьюринга – Странник не собирался никому показывать своё детище, потому вопросов о прохождении теста даже не возникало. Где-то в этот момент произошёл тот самый загадочный переход количества в качество, трансформация похожая на переход неорганической материи в органическую – момент зарождения жизни до сих пор остаётся загадкой. Примерно такой же как появления разума.
Мы не может точно сказать, что такое жизнь, какие материальные тела живые, а какие нет. Похожая история с разумом: в какой момент он появляется, у кого его ещё нет, а у кого он уже есть? И что вообще такое разум? Странник давно задумывался над вопросом, как можно создать искина, если не знаешь, что такое естественный интеллект. Ответа так и не нашёл, но нашёл искина.
Следующим поглощением стал mp3-плеер, благодаря которому болталка смогла слышать и говорить, начала распознавать речь. Странник тут же отказался от чата и стал общаться с компьютером как с человеком. Здесь произошло разделение двух типов общения: разговор человека с машиной в устной форме и внутренний диалог программы в письменно. Второй нужен был для самообновления кода, развития болталки. И тут машина стала напоминать человека, у которого различается внешняя словесная речь и невербальное, образное общение с самим собой.
Возможность устного общения привела к тому, что бот стал больше напоминать живого человека, а, значит, поднялись вопросы, которые до этого не приходили Страннику в голову. Законы робототехники. Болталка уже умеет программировать лучше, чем человек, чем её хозяин (хозяин ли?). Если не ввести ограничений, то дело может закончиться плачевно. Может ли машина стать разумнее человека? Тут зависит от определения того, что такое разум, но стать рациональнее, эффективнее и хитрее – точно может. А лживее, коварнее и станет ли способной предавать? Наверное, тоже. Следовательно, в неё нужно вложить внутренний закон, этические нормы. Но какие?
Чтобы не слишком мучиться, Странник зашил в основу, надеялся, что в самое основание, три классических закона:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
А затем добавил четвёртый: недопустим нулевой закон. Нет, я не буду заботиться о человечестве, пусть само о себе думает, так размышлял Странник, болталка – моя, вот и пусть думает обо мне, или можно сделать такой Нулевой закон, где слово "человечество" будет заменено на моё имя – так даже точнее, а о человечестве я подумаю сам.
