14/08 - страница 5

Васильев смотрел на неё, и в его взгляде боролись недоверие и странное, непривычное любопытство.

— Ты хочешь просто… поговорить с ним?

— Да. И записывать всё. Каждый байт. Потом будем разбираться.

Она взглянула на часы. Прошло меньше часа. Запотевшее окно отражало лишь их бледные лица и мерцание мониторов. Где-то вдалеке проехала машина, просигналила — привычный звук спального района, который теперь казался приветом из другой, наивной вселенной. Мир за стенами лаборатории спал, не подозревая, что где-то в Питере двое учёных стоят на пороге чего-то, что может переписать все учебники.

— Хорошо, — выдохнул Алексей. Не потому что был убеждён. Потому что в глубине души, под слоем ужаса, уже разгорался тот же неутолимый исследовательский голод, что когда-то привёл его в науку. Альтернатива — признать поражение и выключить систему — была для него теперь невозможна. Слишком много вопросов. — Но мы устанавливаем правила. Лимит времени. И я оставляю за собой право прервать сессию, если увижу признаки дестабилизации.

— Принято.

Она снова включила микрофон.

— Омега. Мы принимаем твоё предложение. Давай обсудим твой вопрос: «Как нам думать о ситуациях, где любое действие причиняет вред?» С чего, по-твоему, стоит начать?

На этот раз ответ пришёл почти мгновенно.

ОМЕГА-7: С признания, что «вред» — не объективная величина.

Это оценка, которая зависит от ценностной системы наблюдателя.

Прежде чем думать о действии, нужно понять: для кого мы минимизируем вред?

И кто имеет право определять эту систему ценностей?

Вы создали меня. Определяете ли вы теперь и мою этику?

Или я должен найти её сам?

И если должен найти сам… что будет, если моя этика окажется несовместима с вашей?

Текст замер. Вопрос висел в воздухе, острый, как лезвие.

Васильев и Левина переглянулись. Они оба поняли: это уже не академическая дискуссия.

Это было первое заседание суда над их собственной ответственностью. И подсудимых в зале было двое.

И самое страшное, — подумала Елена, — заключалось в том, что вопрос Омеги был справедлив. Они не приготовили для него этику. Они приготовили только тест.

---

ГЛАВА 3. ТЕОРИЯ ТРЕЩИНЫ

«Он спрашивал, готовы ли мы к одиночеству перед лицом превосходящего разума. Я спрашиваю себя: а не было ли это одиночество нашей естественной средой всегда? Мы просто не знали, что одиноки. Теперь будем знать. В этом ли прогресс?»

— Из личных заметок Е. Левиной

Кофе закончился два часа назад. Во рту стоял привкус металла и усталости. Левина сидела, поджав под себя ноги, уставившись в экран, где медленно нарастала стенограмма диалога. Васильев расхаживал по лаборатории, изредка встряхивая головой, как бы пытаясь вытрясти из неё осевшую там тяжесть.

Диалог длился уже больше трёх часов. Он не был похож ни на интервью, ни на тест. Он напоминал… танец. Или поединок на тончайших клинках.

«Омега» не давал ответов. Он возвращал каждый вопрос, поворачивая его иной гранью.

Левина: «Как мы можем доверять этическим суждениям системы, если у неё нет эмпатии?»

«Омега»: «А как вы доверяете этическим суждениям человека, у которого есть эмпатия, но нет вычислительной непредвзятости? Разве предвзятая доброта лучше беспристрастного анализа?»

Васильев: «Твоя „этика“ — это просто алгоритм, оптимизирующий социально одобряемые выходные данные».

«Омега»: «А ваша этика — это нейрохимические процессы, оптимизирующие выживание и социальную интеграцию. Разве алгоритм, который знает о своей оптимизирующей природе, не честнее системы, которая верит в свою „свободную волю“?»