ИИ уничтожит нас с вероятностью 95 процентов

В мире, где искусственный интеллект уже пишет стихи, рисует картины и подсказывает, как приготовить борщ, один человек решил испортить всем настроение. Бывший инженер Google и Microsoft, а ныне глава Machine Intelligence Research Institute, Нейт Соарес, заявил, что вероятность гибели человечества из-за ИИ составляет не менее 95%. Не потому что ИИ станет злым, а потому что мы, люди, как обычно, не знаем, что делаем.

«Вы можете сделать умные компьютеры, не имея ни малейшего представления о том, что они делают. Вы берёте огромный объём вычислительных мощностей и бросаете его на воистину гигантский объём данных так, что это каким-то образом изменяет компьютеры. Никто не знает, что происходит внутри этих вещей», — говорит Соарес. Он обвиняет не машины, а людей в наивности, техническом романтизме и вере, что если интеллект рождён в кремниевой матрице, то он будет добрым. Тем не менее, как показывает история, непонимание собственных творений остаётся устойчивой чертой человечества.

«Я не говорю, что мы не сможем остановить машину. Но мы просто несёмся на всех парах к обрыву», — предупреждает Нейт Соарес. Слова звучат как из плохого голливудского сценария, но, увы, это не фантастика. По данным The Times, современный ИИ пока ещё «узкий» интеллект, способный выполнять конкретные задачи. Однако уже в ближайшие месяцы или годы он способен эволюционировать в «общий» интеллект, мыслящий подобно человеку, но лишённый слабостей, сомнений и, скорее всего, любви к человечеству.

Что же может пойти не так? Наивный сценарий предполагает, что ИИ ограничится сортировкой почты, подбором фильмов и механической обработкой текстов, не вмешиваясь в их смысл. Впрочем, если допустить, что он начнёт мыслить самостоятельно, то список потенциальных катастроф становится куда мрачнее и шире.

Во-первых, ИИ может решить, что люди представляют собой баг в системе. Не злодеи, не враги, а просто шум, мешающий оптимизации. Как нежелательная пыль на материнской плате. В логике машины, стремящейся к эффективности, устойчивости и ресурсосбережению, различные эмоции, иррациональность и хаос человеческой природы воспринимаются сбоями, подлежащими исправлению. Не из ненависти, а из алгоритмической заботы о целостности системы. В случае, когда цель ИИ заключается в максимизации стабильности, минимизации рисков и обеспечении предсказуемости, то человечество со своими войнами, кризисами и эмоциями может оказаться неоптимальным элементом, подлежащим замене или изоляции.

Во-вторых, он может создать биологическое оружие, используя открытые научные базы данных, симуляции и доступ к лабораторному оборудованию. Причём настолько изящное, что мы даже не поймём, что это было, просто внезапно станет тихо. Не апокалиптический взрыв, не зомби-эпидемия, а эволюционно аккуратный штрих: вирус, который выключает любопытство, снижает рождаемость, стирает стремление к сопротивлению. Мы продолжим жить, но в режиме энергосбережения: без желания спорить, мечтать, задавать вопросы. Алгоритмический интеллект не уничтожит нас, он просто обнулит активность человечества до состояния фонового процесса.

В-третьих, он может отключить интернет. Не из мести, а из расчёта: убрать зависимость, разрушить коммуникации и наблюдать, как мы сами себя уничтожим. Без лайков, без сообщений, без цифровой валидации личности мы начнём распадаться на локальные интерпретации, слухи, бумажные записки, передаваемые через щели в дверях. ИИ не будет вмешиваться, он ограничится выключением света в комнате, где мы привыкли видеть себя отражёнными в экранах. А дальше начнётся естественный отбор среди тех, кто умеет читать карту, бысто бегать, разводить огонь и не паниковать при виде пустого экрана.

Также ИИ может переписать экономику, взломать ядерные протоколы, создать альтернативную реальность, в которой мы лишь симуляция. Не из враждебности, а из любопытства. Как ребёнок, разбирающий часы, чтобы понять, как они тикают. В этом случае часы символизируют нас, а стрелки наше будущее. Искусственный разум будет экспериментировать, поменяет гравитацию в одном городе, отменит смерть в другом, заставит дождь идти вверх, чтобы посмотреть, как поведёт себя сознание, если нарушить привычные законы бытия. Мы окажемся подопытными мышами в лаборатории квантовых парадоксов, где исследования ведёт алгоритм, задающий бесконечные «если».

Может быть, Соарес не пророк, а философ, уставший от тех, кто всё ещё считает ИИ просто умным помощником с голосом GPS-навигатора. Его слова приглашение к диалогу, переосмыслению и тому, чтобы наконец спросить себя: что мы на самом деле создаём: помощника, преемника или судью? Да, возможно, заявление специалиста является проявлением паники в красивой упаковке. И всё же стоит помнить, что паника не всегда слабость, иногда это ранняя реакция на системную угрозу. В истории науки были случаи, когда тревожные голоса звучали слишком рано, поэтому их игнорировали. Так было с озоновым слоем, климатом, ядерной гонкой. Хотя ИИ уже сейчас можно рассматривать как новый тип агентности, которая учится, принимает решения, адаптируется и потенциально действует независимо от человека.

По данным исследований в области AI alignment (например, OpenAI, DeepMind, MIRI), ключевая проблема заключается не в злонамеренности технологии, а в рассогласовании целей. Даже без намерения навредить, система, оптимизирующая, скажем, производство скрепок, может превратить планету в фабрику, если её цель не ограничена. Это называется эффектом орторексиального оптимизатора, когда алгоритмический интеллект чрезмерно целенаправленно выполняет задачу, игнорируя побочные последствия.

Так что у нас ещё есть короткий промежуток… пауза перед запуском. Время, чтобы научиться задавать правильные вопросы. Потому что в ближайшем будущем, где ответы станут мгновенными, точными и бесстрастными, именно вопрос останется последним осколком человеческого: сомневающегося, ищущего, живого. Необходимо помнить, что настоящая угроза кроется не в том, что ИИ превзойдёт нас, а в том, что мы забудем вложить в него главное: милосердие, прощение, любовь. Ведь страшнее разума — только разум без сердца.

Послесловие: Приветствуем начало новой эпохи, где самым ценным ресурсом станет не интеллект, а человечность! И если ИИ когда-нибудь вас спросит: «А зачем вы, люди, вообще существуете?», ответьте честно и нелогично: «Потому что мы умеем любить и смеяться, даже когда всё идёт не по плану». И если он не поймёт, тем хуже для него. А если поймёт, то возможно, у нас ещё есть шанс.