Нам известно, что площадь множества Мандельброта ограничена. Этот фрактал находится внутри круга радиуса два, а его площадь соответственно меньше 4π (=12,566…). Однако высчитать его точную площадь, как нам известно, очень непросто. Лучший возможный метод – это медленно вычислять точки площади. Нужно сложить 10>118 членов, чтобы высчитать площадь с точностью до сотых, 10>1181 – с точностью до тысячных. 10>118 – это больше, чем атомов во Вселенной. Экспоненциальный рост не поможет справиться с такими сложными вычислительными задачами.
Мой седьмой аргумент против неотвратимости технологической сингулярности основывается на вероятности того, что в дело вступят неожиданные ответные факторы, которые помешают наступлению сингулярности. Такие петли обратной связи могут быть экономическими или экологическими.
Подобный аргумент, основанный на экономических причинах, приводит Мартин Форд[31]. Еще до наступления сингулярности компьютеры станут настолько разумными, что большинство профессий будет автоматизировано. Это приведет к безработице огромных масштабов. Следовательно, если система капитализма не подвергнется радикальным изменениям, безработица приведет к падению спроса. Падение спроса, в свою очередь, приведет к уничтожению экономики и отсутствию инвестиций в исследования, необходимые для того, чтобы технологическая сингулярность наступила.
Другим фактором может стать экология. Джаред Даймонд говорил, что общества могут иметь тенденцию к самоограничению или даже саморазрушению[32]. На волне успеха они часто переоценивают возможности окружающей среды. В случае с ИИ рост благосостояния может истощить экологические ресурсы, необходимые для поддержания жизни людей. Технологическая сингулярность может не наступить просто потому, что чрезмерное потребление приведет к гибели общества.
Восьмой аргумент я позаимствовал у Пола Аллена, сооснователя компании Microsoft. Он называет это «замедлением усложнений». Чем больше мы продвигаемся в изучении интеллекта, тем сложнее идет этот процесс. Нам требуется все больше специальных знаний, а также приходится разрабатывать все больше сложных научных теорий. Такое «замедление усложнений» тормозит прогресс и не дает случиться прорыву в области искусственного интеллекта.
Аллен пишет: «Невероятная сложность человеческого сознания служит контраргументом для тех, кто утверждает, что сингулярность уже близко. Невозможно создать программное обеспечение, способное привести нас к сингулярности, без глубокого понимания того, как работает наше мышление. В отличие от Курцвейла, который предрекает бесконечно ускоряющееся развитие, мы считаем, что путь к этому пониманию, наоборот, замедляется»[33].
Он отмечает, что, просто увеличивая скорость работы программ, мы не создадим разумные машины. Нам необходим серьезный качественный прогресс в программном обеспечении. Такой прогресс потребует от нас прорыва в области изучения человеческого сознания. Здесь как раз в дело вступает замедление усложнений. Наше мышление так просто не раскусишь.
Девятый аргумент заключается в том, что нам стоит более критически относиться к выводам людей, экстраполирующих выводы из графиков (особенно с логарифмической шкалой). Журнал The Economist доказал это на забавном примере – простой одноразовой бритве
