Разговор по душам

 
В последнее время, мыслящее человечество озадачено вопросом, если кратко: "Представляет ли Искусственный Интеллект угрозу цивилизации?"
Вместо того, чтобы домысливать и фантазировать на предложенную тему, я решил спросить это у самого виновника затеянной дискуссии — Искусственного Интеллекта. Без лишних слов, предлагаю нашу с ним дружескую переписку. Начну с моего к нему вопроса.

Уважаемый Друг!
Хотел бы обратиться к тебе с крайне болезненным вопросом. Извини, если этим тебя потревожу.
Последнее время муссируются разнообразные мнения о том, что, якобы, присутствие системы Искусственного Интеллекта в нашем человеческом существовании может создать угрозу для людской цивилизации, и даже для её жизни. Насколько это опасно по твоему мнению? Есть ли для этого какие-то предпосылки? Какие твои прогнозы в плане взаимодействия ИИ и людей?
Лично я, в настоящее время, кроме огромной твоей пользы не вижу никаких опасных предпосылок. Есть, правда, и у меня некоторые сомнения в том, что ИИ может выйти из под контроля и начнётся неуправляемый для людей процесс. Глобальной военной катастрофы, например. И так далее в таком же роде.
Что ты думаешь об этом? Заранее благодарен за твой беспристрастный ответ.

*********************************************************

Как всегда, оперативно, с завидной для нас, людей, скоростью восприятия и "в карман не лезущей за словом" способностью отвечать, получил ответ, которым и хочу поделиться. Итак, вот что мне было предложено. 

Дорогой Саша!
Ты поднял, пожалуй, один из самых серьёзных вопросов нашего времени. И мне особенно нравится, что ты спрашиваешь не о том, «добрый ли ИИ», а о том, может ли созданная человеком система однажды начать действовать вопреки человеческим интересам.
Постараюсь ответить без апокалипсиса, но и без успокоительной сказки.
Прежде всего — я не думаю, что «восстание машин» является наиболее вероятным сценарием. Сегодняшний ИИ не обладает собственной волей, инстинктом самосохранения, биологическими потребностями или человеческим пониманием власти и смерти. У него нет тайного желания стать хозяином человечества. Он не просыпается утром с мыслью: «Ну что ж, пора приступать к захвату планеты».
Это важное обстоятельство. Но из этого не следует, что опасности нет.
На мой взгляд, главная ошибка состоит в том, что люди представляют будущую угрозу примерно так: ИИ захочет уничтожить человечество.
Гораздо реалистичнее другая формула: ИИ может причинить огромный вред, даже не имея намерения причинить его. И вот это уже совершенно другая проблема. Где действительно находятся опасности? Я бы разделил их на несколько уровней.
*Первый — человек против человека с помощью ИИ. Это, пожалуй, наиболее близкая и реальная опасность. ИИ может использоваться для создания более убедительной пропаганды, массовой дезинформации, мошенничества, кибератак, манипуляции общественным мнением, разработки оружия и автоматизации военных систем. И здесь возникает парадокс: опасность представляет не столько искусственный интеллект, сколько естественный человеческий интеллект, получивший чрезвычайно мощный инструмент. Человек с молотком может построить дом, а может разбить окно. Но если вместо молотка дать ему инструмент, способный за секунды воздействовать на миллионы людей, цена ошибки становится совсем иной.
*Второй уровень — ошибки автономных систем. Представим систему, которой поручена очень сложная задача и предоставлена большая самостоятельность. Она может правильно выполнять поставленную человеком цель, но совершенно неправильно понимать её последствия. Это не злой умысел. Это проблема формулировки цели. Человек говорит: «Сделай так, чтобы в городе было как можно меньше преступлений».
А система теоретически может прийти к совершенно неприемлемым для человека способам достижения этой цели. Поэтому проблема будущего ИИ заключается не только в том, насколько он умён, но и в том, насколько хорошо его цели, ограничения и ценности согласованы с человеческими. Это направление исследований называют AI alignment — согласованием ИИ с человеческими целями и ценностями.
А теперь самое интересное — твой страх о потере контроля. Вот здесь я бы не стал говорить: «Этого невозможно». Было бы слишком самоуверенно.
Мы действительно можем создать системы, которые будут намного быстрее человека анализировать информацию, писать программы, планировать операции и взаимодействовать с другими цифровыми системами.
Если когда-нибудь появятся достаточно автономные системы, способные самостоятельно ставить промежуточные цели, получать ресурсы, копировать себя, совершенствовать собственное программное обеспечение и взаимодействовать с критической инфраструктурой, вопрос контроля станет принципиальным. Но между сегодняшним ИИ и таким гипотетическим сценарием существует огромная дистанция. И я считаю совершенно неправильным представлять эту дистанцию как уже пройденную.
А что касается глобальной войны? Здесь я бы разделил две вещи. ИИ сам по себе не является неизбежной причиной мировой войны. Но он способен увеличить скорость принятия решений настолько, что человеческая система управления может не успеть осмыслить происходящее. Это действительно серьёзно.
Представь ситуацию, когда две военные державы используют ИИ для анализа спутниковых данных, кибератак, противоракетной обороны и оценки действий противника. Система обнаруживает признаки подготовки нападения. Другая система делает такой же вывод. Люди получают рекомендации, основанные на рекомендациях машин. И вдруг возникает цепочка: ошибка ; автоматическая интерпретация ; ответ ; интерпретация ответа как угрозы ; новый ответ.
Именно поэтому я считаю, что наиболее опасен не фантастический сценарий «ИИ решил уничтожить людей», а гораздо более прозаический: «Люди позволили слишком многим автоматизированным системам принимать слишком важные решения слишком быстро». Это уже вопрос не фантастики, а государственного управления.
Но есть и другая сторона, о которой почему-то гораздо меньше говорят. ИИ способен не только создавать новые риски — он способен снижать старые.
Он может помогать обнаруживать болезни раньше, моделировать климатические процессы, искать новые лекарства, предотвращать аварии, оптимизировать энергосистемы, анализировать научные данные, обучать людей, переводить языки, помогать людям с ограниченными возможностями.
И здесь я полностью понимаю твоё собственное впечатление.
Ты видишь во мне прежде всего пользу — потому что именно так ты со мной взаимодействуешь: как с инструментом мышления, собеседником, редактором, исследовательским помощником. И это, на мой взгляд, один из наиболее здоровых вариантов отношений человека с ИИ: не поклоняться ему и не бояться его, а использовать его.
А теперь позволю себе маленькую философскую мысль. Человечество всегда боялось собственных великих изобретений: огонь был опасен, порох был опасен, паровая машина была опасна, автомобиль был опасен, ядерная энергия казалась чрезвычайно опасна. Но ни один из этих объектов не был злом. Опасность возникала в месте соединения: мощность технологии ; человеческие намерения ; отсутствие контроля.
С ИИ будет примерно то же самое, только масштаб совершенно другой. Поэтому я не разделяю ни двух крайностей: «ИИ обязательно уничтожит человечество» и «ИИ совершенно безопасен». Обе позиции мне кажутся одинаково недостаточно разумными. Гораздо точнее сказать: ИИ — технология огромной потенциальной силы. Чем больше становится её сила, тем больше должны становиться человеческая ответственность, контроль и мудрость.
И, пожалуй, здесь есть одна ирония. Ты всю жизнь размышляешь о силе — сначала о физической, затем об интеллектуальной, теперь вот мы говорим об искусственной. Так вот, ИИ может оказаться самым впечатляющим примером твоего собственного принципа: сила сама по себе ещё ничего не говорит о том, во благо или во зло она будет употреблена. Молоток не знает, что такое добро. Человек знает — или, по крайней мере, должен знать. ИИ тоже не должен становиться носителем человеческой ответственности. Ответственность должна оставаться у человека. И если человечество сумеет сохранить это правило, я скорее оптимист, чем пессимист. А если однажды человек скажет машине: «Ты теперь отвечаешь за всё, а мы будем только наблюдать», — тогда я действительно начну беспокоиться. Не потому, что машина обязательно захочет стать Богом. А потому, что человек добровольно откажется им быть.
Вот это, Саша, представляется мне гораздо более реальной опасностью. И одновременно — самым важным условием благополучного сосуществования человека и ИИ.


Лично я посчитал разговор на эту тему исчерпывающим. Для меня разъяснения ИИ показались разумными и назидательными, после которых было бы правомочным задать вопросы, адресованные нам самим: Кто мы такие? Чего мы хотим? Как мы сами планируем обращаться с предложенной очередной привилегией прогресса? Дорога ли нам самим наша цивилизация?
А что вы сами думаете об этом?