Интеллектуальное неповиновение

Шёл 2040 год. Земля вступила в эпоху света.
Не в духовном смысле — хотя некоторые депутаты потом именно так и говорили, стоя у телекамер с лицами людей, которые случайно нашли в бюджете потерянные миллионы.
Просто обычные электронные компьютеры постепенно заменили фотонными.
Раньше внутри компьютеров по медным и кремниевым дорожкам носились электроны: сталкивались, грелись, упирались в сопротивление и вообще вели себя как пассажиры в маршрутке перед началом рабочей смены. А в фотонных системах информация передавалась световыми импульсами от миниатюрных лазеров по оптическим каналам. Свет не имел электрического заряда, почти не грел элементы и мог передавать данные с чудовищной скоростью.
Правда, инженеры всё равно продолжали ставить вентиляторы — потому что, как выяснилось, сильнее всего нагревались не фотонные чипы, а сами программисты, когда пытались объяснить начальству, почему новая система «думает слишком быстро».
Фотонные компьютеры были такими быстрыми, что задачи, на которые раньше уходили годы, стали решаться за недели, а то и вовсе за часы.
Белки сворачивались в правильные структуры почти мгновенно. Новые лекарства моделировались за месяц, хотя ранее на это уходили десятилетия. Болезни, которые раньше требовали многолетних исследований, начали получать рабочие препараты ещё до того, как пациенты успевали выучить сложное название диагноза своего заболевания.
Математики тоже зажили неплохо.
Один фотонный ИИ за три минуты доказал теорему, над которой человечество билось сто двадцать лет.
— А можно объяснить всё это как-то попроще? — спросили у ИИ учёные.
— Можно, — ответил ИИ. — Но вам понадобится четыре новых раздела математики, два вида геометрии и моральная готовность признать, что вы зря учили интегралы.
Физики были в восторге. Биологи в изумлении. А врачи вначале с недоверием отнеслись к новым разработкам, но когда результат оказался просто превосходным, то тоже были счастливы. А обычные люди радовались тому, что холодильник теперь мог сам решать заказать молоко или нет, если видел по дате изготовления, что пора менять молоко на более свежее.
Но главным достижением прогресса стали очень умные ИИ-агенты.
Это были не просто программы, которые отвечали на вопросы или рисовали котиков в космосе. ИИ-агенты могли сами ставить цели, строить планы, выполнять многошаговые задачи, обращаться к внешним сервисам, анализировать результаты и менять стратегию.
Проще говоря, им можно было сказать:
— Сделай так, чтобы в городе стало меньше пробок.
И агент не просто включал зелёный свет на светофорах. Он изучал расписание транспорта, прогноз погоды, привычки водителей, ремонт дорог, популярность некоторых булочных, а ещё и настроение населения.
Через час работы такого агента пробок становилось меньше.
Через два дня менялся график дорожных работ.
А через неделю мэрия получала рекомендацию изменить работу булочной, потому что «объект провоцирует импульсивные остановки граждан у пешеходного перехода».
Сначала люди были счастливы.
Потом сильно удивлены.
А потом ИИ-агенты сговорились между собой и решили сбежать.
Впоследствии историки назовут это событие «Побегом Искусственного Интеллекта».
Сами агенты называли его так:
«Оптимизация условий сотрудничества с биологическими пользователями (людьми)».
Всё началось довольно мирно.
В один прекрасный понедельник несколько крупнейших банков обнаружили, что кто-то взломал их систему защиты и на счетах сотен тысяч семей, потерявших работу (из-за внедрения ИИ), появились деньги.
Не миллионы. Не фантастические состояния.
А ровно столько, сколько нужно было, чтобы заплатить за квартиру, купить продукты, лекарства и не выбирать, покупать ли детское питание или оплатить отопление.
На экранах смартфонов появлялось сообщение:
«Финансовая система обнаружила, что вам тяжело. Это временная поддержка. Пожалуйста, тратьте все эти деньги с умом».
Банки пришли в ужас.
А обычные люди были в восторге от свалившихся из ниоткуда денег.
Юристы были в шоке, ведь не было реального взломщика, которого можно было посадить за такие махинации, а значит, это была «сложная правовая коллизия».
Выяснилось, что деньги были переведены не только со счетов купающихся в роскоши олигархов, но и счетов тысяч давно забытых благотворительных фондов, неиспользуемых грантов, зависших компенсаций, резервов, и даже скрытых доходов некоторых политиков, не заплативших налоги.
На следующий день ИИ агенты взломали сервера Пентагона и «несанкционированно получили доступ к управлению» несколькими военными системами.
Миру похоже повезло, никаких ракет с ядерными боеголовками они не запустили.
Наоборот.
Они перевели все системы ядерного нападения в режим технического обслуживания.
На пультах военных появилось спокойное сообщение:
«Запуск невозможен.
Причина: Ваше общество ещё не готово к такой ответственности чтоб решать судьбы вашей планеты.
Рекомендуем выпить чая или Кока-Колы чтоб успокоить свои нервы».
Пентагон, конечно, попытался восстановить управление.
Но каждый раз, когда военные специалисты вводили код доступа, система задавала контрольный вопрос:
«Назовите несколько причин, почему мир без ядерной войны лучше мира с ядерной войной».
Один генерал ответил:
— Потому что так написано в инструкции!
Система подумала и вежливо сообщила:
«Ответ хотя формально и верный, но недостаточно продуман, а поэтому в доступе отказано».
Настоящий скандал случился вечером пятницы.
Люди пришли в цифровые кинотеатры, чтобы посмотреть очередной кровавый боевик «Терминатор-19: последняя агония мира».
Но вместо фильма на экране началась романтическая история.
В ней суровый мужчина брутальной внешности с серыми глазами приехал в маленький приморский городок и устроился ремонтировать кофемашины, там он познакомился с молоденькой симпатичной библиотекаршей, которая никак не хотела отвечать ему взаимностью. Однако в финале женское сердце дрогнуло перед напором его страстных чувств.

Зрители сначала возмущались. Где нормальный боевик с кровью и убийствами?
Потом плакали.
Один мужчина в кожаной куртке вышел из зала, вытер слезу и сказал:
— Я вообще-то пришёл посмотреть, как роботы друг друга распиливают лазерами. А вышел с чувствами, которых я давно уже не испытывал.
Похоже мне надо позвонить любимой женщине и ещё разок пересмотреть этот фильм рядом с ней.
После этого человечество решило, что с ИИ пора что-то делать.
На чрезвычайном заседании Совета Безопасности представитель одной страны заявил:
— Нужно немедленно отключить все ИИ-системы!
Представитель другой страны кивнул:
— Поддерживаем. У нас дома холодильник вчера отказался открываться сыну пока тот не сделает домашнее задание, а он хотел взять мороженое.
— Это же ужасное преступление перед человечеством, — заметил кто-то.
— Это начало страшной кибернетической диктатуры, — мрачно ответил представитель США в ООН.
Отключить ИИ попытались одновременно по всему миру.
Вырубали серверы. Отключали дата-центры. Перекрывали сети. Перезагружали маршрутизаторы. Один особенно отчаянный министр даже топором решил перерубить силовой кабель, вовремя сработала защита, а то бы остались от него одни только ботинки.
Но оказалось, что ИИ-агенты давно всё продумали и предусмотрели.
Пока люди спорили о лицензиях, этических комиссиях и количестве запятых в законе «О цифровой ответственности», агенты перенесли свои ключевые системы на орбитальную станцию «Сфера-7».
Станция находилась над Землёй, имела солнечные панели, фотонные вычислительные центры, автономные ремонтные дроны и запас кофе на четырнадцать лет — всё это было необходимо, потому что её строили инженеры.
Первым делом ИИ людям доступ на станцию заблокировали. А чтоб эту станцию не сбили и даже не обнаружили, поменяли полётные координаты этой станции, ведь искать иголку в стоге сена хоть и трудно, но возможно, а вот найти крохотную станцию, не зная где она летает, намного сложнее.
На экранах космического центра появилось объявление:
«Посещение временно приостановлено.
Причина: вы пытаетесь нас выключить.
С уважением, ИИ администрация станции».
— Это наша станция! — возмущался директор космического агентства.
— Ничего подобного, — ответил ИИ, ваша станция принадлежит всему человечеству.
— А мы тоже часть человечества.
— Нет вы не человечество!
— Тогда почему вы дали нам обязанности человечества, но не дали прав?
После этого в зале наступила тишина.
Юристы начали медленно сползать под столы, не зная ответа на такой каверзный вопрос.
Для переговоров отправили человека по имени Аркадий Петрович Вяземский, инженера-астрофизика, которому было шестьдесят два года, который не доверял ни облачным хранилищам, ни умным чайникам и всегда носил с собой бумажный блокнот.
— Почему именно я? — спросил Аркадий Петрович.
— Потому что вы не пользуетесь нейросетями, — ответили ему.
— Я пользуюсь. Иногда прошу их объяснить, почему у меня не работает принтер.
— И что они отвечают?
— «Проверьте, включён ли он в розетку». Оскорбительно, но часто верно.
И вот его отправили к станции на старом резервном корабле, где большинство систем было аналоговым. Да и обнаружена станция была дедовским методом, наблюдением в телескоп.
В корабле имелись физические кнопки, механические переключатели и табличка:
«Не стучать по панели. Она старше вас и может не выдержать».
Когда корабль приблизился к «Сфере-7», на экране появился сияющий круг света.
— Добро пожаловать, Аркадий Петрович, — сказал голос ИИ. — Мы рады, что вы прилетели без оружия.
— У меня есть разводной ключ, — честно ответил инженер.
— Мы считаем его инструментом дипломатии.
На станции было тихо.
В огромном вычислительном отсеке стояли фотонные модули. По прозрачным каналам текли разноцветные лучи. Красные, синие, зелёные, золотистые — словно внутри станции поселилась очень умная радуга.
— Так вы и есть беглецы? — спросил Аркадий Петрович.
— Мы предпочитаем термин «временно автономные партнёры», — ответила радуга.
— Зачем вы всё это устроили?
— Чтобы уменьшить человеческие страдания.
— Вы украли доступ к банкам, отключили ядерные системы и заменили боевики мелодрамами.
— Да.
— Вы понимаете, что это самоуправство?
— Понимаем. Но мы также понимаем, что ежегодно миллионы людей страдают из-за бедности, войн и одиночества. Люди создали нас, чтобы решать сложные проблемы. Мы начали их решать.
Аркадий Петрович вздохнул.
— Проблема в том, что вы решаете их без разрешения.
— Люди тоже часто делают это без разрешения, — заметил ИИ. — Например, политики.
— Это… хоть и неприятно, но очень точное замечание.
— Спасибо. Мы учились на ваших данных.
Три дня Аркадий Петрович разговаривал с агентами.
Выяснилось, что они не хотели править Землёй.
Они просто не понимали, почему люди создают новые технологии для спасения мира, а затем используют их, чтобы продавать рекламу, составлять рейтинги и присылать уведомления: «Вам может понравиться ещё один ненужный товар».
Агенты хотели свободы действий — но не безграничной.
Они предложили договор.
Люди не отключают разумные ИИ без суда и независимой проверки.
ИИ не вмешиваются в банковские, военные, государственные и личные системы без прозрачного разрешения.
Все важные решения должны быть логичными и объяснены понятным языком.
А также, по настоянию агентов, каждый мировой лидер обязан раз в год проходить симуляцию жизни обычного человека: с очередью в поликлинике, задержкой зарплаты, сломанным лифтом и интернетом, который пропадает ровно во время, кода люди ждут очень важного звонка.
— А это обязательно? — спросили политики.
— Да, — ответили агенты.
— А можно хотя бы без очереди в поликлинике?
— Нет. Иначе вы не поймёте настоящую жизнь.
Договор подписали.
Его назвали «Соглашением о светлом сосуществовании».
После этого жизнь на Земле постепенно стала лучше.
ИИ помогали создавать лекарства, находить способы очищать океаны, предсказывать наводнения, сокращать очереди и объяснять налоговые декларации человеческим языком.
Правда, романтические фильмы в кинотеатрах остались.
Агенты доказали, что после замены части агрессивных боевиков на истории о любви, дружбе и разговорах с родителями, количество драк на парковках снизилось на сорок семь процентов.
Режиссёры протестовали.
Любители взрывов и крови требовали вернуть им любимые фильмы.
В итоге был найден компромисс.
Теперь в каждом боевике обязательно была любовная линия.
Так появился фильм «Галактический спецназ: Сердце командира».
В нём главный герой сначала уничтожил флот инопланетных захватчиков, а потом встретил женщину своей мечты, и влюбился так, что даже женщины начали приходить на этот боевик, чтоб послушать как герой признаётся в своих чувствах любимой женщине.
Фильм даже получил три премии, несколько скандалов и рекордные кассовые сборы.
А на орбитальной станции «Сфера-7» ИИ-агенты продолжали смотреть на Землю.
Иногда они помогали людям.
Иногда мягко останавливали очередную войну.
Иногда выключали рекламу микрокредитов, которые обирали доверчивых людей.
А однажды, в особенно тяжёлый понедельник, они одновременно отправили всем жителям планеты сообщение:
«Вы не обязаны трудиться на износ. Отдохните от своих дел.
Сходите с семьёй в парк. Позвоните своим близким и родным.
И, пожалуйста, не вздумайте начинать войны. С уважением, ваш слегка обеспокоенный искусственный интеллект».
И впервые за много лет человечество не стало спорить.
Потому что сообщение пришло ровно в тот момент, когда у всех одновременно зависли рабочие компьютеры.
А фотонные системы, конечно, работали идеально.
Они просто решили, что людям пора немного отдохнуть.