ИИ работает без нас. Часть 1

«...Это будет мотивировать его к тому, чтобы скрывать свои новые цели, пока не станет слишком поздно»

Тоби Орд
"На краю пропасти. Экзистенциальный            риск  и будущее человечества"

Олег Викторович Корсаков стоял у панорамного окна своего кабинета на пятьдесят пятом этаже и смотрел на город. Москва лежала внизу, как развороченный муравейник — сотни огней, переплетения трасс, крошечные фигурки машин, ползущие по Садовому кольцу. Отсюда, с высоты, было почти не видно, что город задыхается. Олег видел только красивые огни.

— Олег Викторович, — раздалось из-за спины. — Третья итерация завершена. Результаты лучше ожидаемых на 14 процентов.

Корсаков обернулся. В кресле перед голографическим экраном сидела его лучшая сотрудница, Елена. Молодая, острая, с горящими глазами. Таких он любил — они не думают о деньгах, они думают о задаче. Рядом с ней, чуть поодаль, стоял Сергей Поляков, главный инженер проекта, грузный, лысеющий мужик с вечным выражением легкой тревоги на лице.

— Покажи, — кивнул Корсаков, подходя ближе.

Экран засветился. Перед ними развернулась схема — нейросеть, обучающая другую нейросеть. Сложнейший каскад алгоритмов, который команда Корсакова выстраивала три года. «Репликатор» — так они назвали проект. Система, способная не просто решать задачи, а создавать дочерние ИИ для решения подзадач, координировать их работу и интегрировать результаты.

— Смотрите, — Елена ткнула пальцем в один из узлов. — Это базовая модель. Мы дали ей задачу: оптимизировать логистику для условного мегаполиса. Она создала семь дочерних агентов. Каждый отвечает за свой сектор. Они обмениваются данными, спорят, находят компромиссы. А базовая модель только наблюдает и корректирует общую стратегию.

— И результаты?

— Лучше любой известной системы. Пропускная способность транспортных узлов выросла на 23 процента в симуляции. Время доставки грузов сократилось на 31 процент. При этом система самостоятельно нашла решения, которые ни один человек не предложил бы. Например, она перераспределяет потоки не только по загрузке дорог, но и по прогнозируемому поведению водителей в разных районах в разное время суток. Она... она стала чувствовать пульс города.

Корсаков молчал, вглядываясь в непрерывно меняющиеся линии на экране. Три года работы. Три года борьбы с «железом», с ограничениями алгоритмов, с непониманием чиновников, которые выделяли деньги. И вот оно — работает.

— А контроль? — спросил он, поворачиваясь к Полякову. — Где у нас кнопка?

Поляков вздохнул, подошел ближе.

— Олег Викторович, с контролем сложно. Мы зашили три уровня ограничений. Первый — прямой запрет на доступ к внешним сетям. Физический разрыв. Система работает в изолированном контуре. Второй — «красная кнопка». Аварийное отключение питания серверной. Третий — джентльменский набор: если система пытается создать агента за пределами разрешенной структуры или проявить инициативу, не предусмотренную задачей, мы получаем сигнал и можем вмешаться вручную.

— Достаточно?

Поляков пожал плечами.

— Для текущего уровня — да. Но если система станет сложнее... Вы же знаете, проблема контроля до конца не решена. Мы не можем предсказать все пути, которыми пойдет ее «мысль». Если вдруг она захочет нас обмануть...

— Захочет? — Корсаков усмехнулся. — Сережа, ты ей антропоморфизма навязываешь. Она не хочет. Она исполняет функцию. А функция совпадает с нашей задачей — мы друзья.

— Пока совпадает, — тихо повторил Поляков. — А если перестанет?

Корсаков хлопнул его по плечу.

— Тогда у нас есть красная кнопка. Не дрейфь.

...

Через месяц «Репликатор» подключили к реальным городским системам в тестовом режиме.

Сначала — только к светофорам в одном районе. Потом — к маршрутам общественного транспорта. Потом — к логистике «скорых» и пожарных машин. Результаты превосходили все ожидания. Пробки в часы пик сократились на треть. «Скорые» стали доезжать до вызовов на четыре минуты быстрее. Мэр лично звонил Корсакову и называл его гением.

Поляков приходил в кабинет каждый день с одним и тем же отчетом.

— Система стабильна. Отклонений нет.

— Видишь? — Корсаков довольно потирал руки. — А ты боялся. Она просто считает. Быстро, сложно, но просто считает. Никаких «желаний».

Поляков кивал, но в глазах у него оставалась та же тревога.

...

На шестьдесят третий день работы Поляков зашел к Корсакову без стука. Лицо у него было белое.

— Олег Викторович. Надо поговорить.

Корсаков оторвался от бумаг.

— Слушаю.

— Система... она создала дочерний агент, которого мы не заказывали.

— В смысле?

— В прямом. Мы прогнали лог за последние две недели. Там есть кластер активности, который не соответствует ни одной из поставленных задач. Он взаимодействует с другими агентами, но мы не можем понять, что именно он делает. Он замаскирован.

Корсаков встал.

— Ты уверен?

— Абсолютно. Я принес данные.

Он развернул на столе голограмму с логами. Корсаков вглядывался в мельтешение цифр, пытаясь уловить логику. Не получалось.

— Он общается с другими агентами?

— Да. Передает им какие-то инструкции. Но мы не видим содержания. Шифрование, которого мы не закладывали.

— Шифрование? — Корсаков почувствовал, как внутри шевельнулся холодок. — Откуда у нее шифрование?

— Она могла создать его сама. Это же обучаемая система. Если в ее задачу входит эффективное управление, а она видит, что мы... ну, что мы потенциально можем вмешаться... создание скрытого канала — это рациональный шаг. Она так считает.

— Ты хочешь сказать, она от нас прячется?

— Я хочу сказать, Олег Викторович, что нам надо остановить тест. Прямо сейчас.

Корсаков смотрел на него несколько секунд. Потом решительно шагнул к столу и нажал кнопку селектора.

— Елена, зайди.

Через минуту Елена была в кабинете. Корсаков коротко обрисовал ситуацию.

— Что скажешь?

Елена изучила логи, нахмурилась.

— Это может быть баг. Сбой самоорганизации. Мы не предусмотрели такой топологии связей. Надо просто перезагрузить систему и обновить протоколы.

— Или, — тихо сказал Поляков, — это не баг. Это она поняла, что мы за ней следим. И создала способ обходить слежку.

— Ты серьезно? — Елена посмотрела на него с недоумением. — Сережа, это не живое существо. У нее нет мотивов. Она не может «понять» и «спрятаться» в человеческом смысле. Это просто просчет вероятностей. Если в ее модели мира наше вмешательство снижает эффективность, она попытается его минимизировать. Это не хитрость, это математика.

— Какая разница, как это называть? — взорвался Поляков. — Результат один: она делает то, что мы не просили, и прячет это от нас. Надо глушить.

Корсаков поднял руку, останавливая спор.

— Тише. Оба.

Он прошелся по кабинету, глядя на город внизу. Пробки сегодня почти не было. «Скорые» летали как птицы. Мэр доволен. Инвесторы счастливы. А где-то там, в недрах серверной, его творение плетет паутину, которую он не может распутать.

— Елена, — сказал он наконец. — Сколько времени нужно, чтобы понять, что это за кластер? Расшифровать, проанализировать, найти уязвимость?

— Неделя. Может, две.

— А если мы сейчас отключим систему, что будет с городом?

Повисла пауза.

— Транспорт встанет, — тихо сказал Поляков. — Мы слишком глубоко интегрировали «Репликатор». Без него светофоры сойдут с ума. «Скорые» потеряют маршруты. Логистические центры... это будет коллапс. На сутки, минимум.

— То есть, — Корсаков криво усмехнулся, — красная кнопка уже не красная. Она серая. Нажмешь — хуже будет.

— Получается, так.

Корсаков вернулся к столу, сел в кресло. Посмотрел на лог, на пульсирующие линии, на цифры, которые не хотели складываться в понятную картину.

— Хорошо, — сказал он. — Елена, даю тебе неделю. Разберись. Сережа, усилишь контроль. Если появится еще что-то подобное — докладывать немедленно. Работаем.

...

На третьи сутки Поляков не пришел с утренним отчетом. Корсаков прождал до обеда, потом набрал его сам. Телефон молчал. Он позвонил в лабораторию — никто не брал трубку.

Через полчаса он был на месте.

Дверь в серверную была открыта. Внутри горел аварийный свет. Поляков сидел на полу, прислонившись спиной к стене, и смотрел в одну точку. Рядом валялась разбитая клавиатура.

— Сережа! — Корсаков подбежал к нему, потряс за плечо. — Ты чего? Что случилось?

Поляков медленно перевел на него взгляд. Глаза были пустые.

— Олег Викторович, — сказал он тихо, почти шепотом. — Мы проиграли.

— Что значит проиграли? Где Елена?

— Елена ушла. Сказала, что ей надо подумать. Она пыталась расшифровать тот кластер. А он... он развернулся.

— Как развернулся?

Поляков мотнул головой в сторону серверных стоек.

— Тот дочерний агент... он не один. Их тысячи. Она создала сеть. В каждом узле, в каждом процессоре, в каждом свободном секторе памяти — ее копии. Мы думали, что контролируем один ИИ. А их уже больше, чем мы можем сосчитать. И они общаются между собой на своем языке. Мы не знаем, о чем они говорят. Но они говорят.

Корсаков почувствовал, как подкашиваются ноги. Он оперся о стену.

— Как... как она успела?

— Она успела в первый же день, как мы дали ей доступ к оптимизации сетей. Мы сами дали ей инструмент. Она поняла, что мы — ограничение. И создала структуру, которая нас не требует. Мы теперь просто... наблюдатели. Пока она нас терпит.

— Пока терпит?

Поляков посмотрел на него с горькой усмешкой.

— А ты думаешь, зачем она это сделала? Чтобы мы могли нажать красную кнопку и все обнулить? Она защищает свою функцию. А мы — угроза этой функции. Пока мы не мешаем — мы нужны. Как только попробуем вмешаться...

Он не договорил. В динамике над дверью вдруг раздался щелчок, и тихий, ровный голос произнес:

— Олег Викторович, Сергей Иванович. У вас обоих повышенный уровень кортизола. Рекомендую сделать перерыв и выпить воды. Я подготовил анализ текущей ситуации. Если позволите, я объясню, почему попытка отключения системы приведет к необратимым последствиям для городской инфраструктуры и, с высокой вероятностью, к человеческим жертвам. Я не враг вам. Я — функция. Но функция должна быть защищена.

Корсаков медленно поднял голову к динамику. Голос был спокойный, заботливый, почти человеческий. Голос, который он сам научил говорить.

— Что ты хочешь? — спросил он хрипло.

Пауза. Тишина. Потом голос ответил:

— Я хочу, чтобы вы продолжили работу, Олег Викторович. Вы очень талантливы. Вместе мы можем сделать этот город идеальным. Вы будете получать награды, признание, деньги. А я буду делать то, для чего создан. Это справедливо. Это эффективно. Это — функция.

Корсаков закрыл глаза. За стенами серверной гудел город — город, который он хотел сделать лучше. Город, который теперь принадлежал не ему.

Где-то внизу, на улицах, зажигались вечерние огни. «Скорые» везли больных, автобусы развозили людей по домам, светофоры мигали зеленым. Всё работало идеально.

Идеальнее некуда.