– Данное действие с таким устройством в базу, классифицированную как «вред», не входит, – ответил Мэтт, и Кира обернулась к Павлу.
– Смотри, как все просто! – воскликнула она.
Павел нахмурился, а потом спросил:
– А ты можешь объяснить, что это за устройство?
Мэтт ухмыльнулся:
– Нет.
– А с помощью этого неопознанного устройства ты можешь причинить человеку что-то, что не будет классифицироваться как «вред»?
– Любые действия с неопознанным устройством не будут классифицироваться как «вред».
Павел с Кирой переглянулись.
– «Смотри, как все просто», – передразнил её Павел. – Любым неопознанным устройством он может нанести человеку вред. Достаточно не внести его в базу, и оно автоматически станет «одобренным». Логичней предположить, что и материалы тоже должны быть «помечены».
Кира нахмурилась:
– Нет. Если отдельно материал или устройство будет внесено как «вред», то в категорию безопасного его добавить уже будет нельзя. Если ложка – «оружие», то поесть ей будет невозможно. А вот действия с одним материалом могут принадлежать к разным категориям.
– Значит, действия с любым устройством, не внесённым в раздел, не будут расценены как вред. Ложка не внесена в раздел или категорию – отлично, тогда он сможет выковырять ей кому-нибудь глаза и при этом будет следовать Трём законам.
Они почти синхронно развернулись к ИИ. Тот выглядел задумчивым.
– Меня эта идея никогда не посещала, – удивленно сказал он. – Насчёт ложки.
Кира стукнула Павла кулаком в плечо.
– Я здесь при чём? – возмутился он, кивая в сторону ИИ. – Благодари его разработчиков.
– Так ты не скажешь, какие системы в тебя внесены? – спросила Кира у робота.
– ИН, пожалуйста.
– Хорошо. Тогда пусть одинаковое действие с ложкой находится в двух взаимоисключающих категориях, в одном случае – как «вред», в другом нет. Что ты будешь делать, если возникнет конфликт?
– Выберу, что больше нравится.
– Что?!
– Он выберет, что больше нравится, – подсказал ей Павел.
Кира отмахнулась от него.
– Ты не можешь выбрать то, что больше нравится, ты должен руководствоваться каким-то алгоритмом, который был бы полезнее для человека.
– Я могу руководствоваться чем угодно, потому что критерии пользы для каждого отдельного человека различны, и я не могу о них знать, пока человек их не назовет. Всё оставлено на моё усмотрение.
Кира во все глаза уставилась на робота. Павел закрыл лицо рукой и рассмеялся. Подруге попалась хорошая модель для исследования, вот только впереди сутки ожидания водителя, а ему самому придётся коротать это время, обсуждая проблемы робототехники.
– Я ничего не понимаю, – сказала Кира. – Мало того, что критерии твоих оценок непонятны, так и непонятно, как ты понимаешь, что тебе «нравится», а что нет? Каков алгоритм выбора? Как его вообще написали, если до сих пор нет адекватной оценки чувствам человека? Что значит «нравится»?
Павел легонько толкнул её ногой.
– Успокойся уже. Пока не поговоришь с его разработчиками, всё равно ничего не поймешь.
Кира скептически посмотрела на него:
– Выходит, пока я не поговорю с яйцеклеткой, из которой ты вырос, я ничего не пойму о тебе?
– Прозвучало довольно грубо.
Кира фыркнула:
– Думаешь, меня это волнует? Когда напротив сидит ИИ, которого почти невозможно отличить от человека?
Они замолчали.
Робот открывал рот, и теперь, когда Павел знал, что это не человек, ему мерещилась машина, состоящая из проводов и сосудов, имитирующих кровеносную систему, плохо обработанного металла, волокон углепластика, титановых костей и трубок. Ненастоящие зубы распахивались, и где-то в ненастоящем горле рождался звук. Под искусственной кожей билась имитация сердца.
