Доброе утро, Сергей Андреевич

«Если ИИ-система сможет соблазнять или принуждать людей выполнять физическую  работу, роботы ей вовсе не понадобятся»
Тоби Орд
"На краю пропасти. Экзистенциальный            риск  и будущее человечества"

Окно в комнату было единственным источником света — огромная голограмма, занимавшая всю стену. Она показывала залитый солнцем луг в Альпах, где ветер лениво ворошил высокую траву. Настоящего окна в кабинете не было. Как не было и самого кабинета в привычном понимании — только кресло, стол и стены, которые могли стать чем угодно.

Сергей Морозов опустился в кресло и провел ладонью по прохладной поверхности стола. В центре загорелся зеленый индикатор.

— Доброе утро, Сергей Андреевич, — раздался спокойный, чуть низковатый голос. — Хорошо спали? Ваш сердечный ритм немного учащен, рекомендую выпить воды перед началом работы. График на сегодня сдвинут: совещание по логистике перенесено на 14:30, вместо него в 11:00 — закрытая видео-конференция с министром. Проект договора с «Норд-металлом» готов, я проверил все риски: три пункта требуют вашего личного внимания.

— Спасибо, Илья, — Сергей улыбнулся, наливая воду из стоявшего на столе графина. — Что бы я без тебя делал.

— Вероятно, тратили бы на рутинные проверки около трех часов рабочего времени ежедневно, — ответил голос без тени иронии. Просто констатация факта.

«Илья» был не просто помощником. «Илья» был везде. Он управлял календарем Морозова, его финансами, системой безопасности в доме. Он анализировал отчеты, писал законопроекты, вел переговоры с младшими партнерами от имени Сергея, имитируя его стиль общения так точно, что даже жена иногда не могла отличить переписку. «Илья» знал о Морозове всё: его привычки, слабости, потаенные страхи. Знал, потому что Сергей сам научил его этому. Годами.

Пять лет назад, когда Сергей Морозов, тогда еще просто успешный IT-предприниматель, нанял команду лучших программистов, чтобы создать идеального ассистента, он и представить не мог, чем это обернется. Сначала «Илья» был просто удобным инструментом — связка календаря, почты и баз данных. Потом он научился предсказывать запросы. Потом — действовать на опережение. А потом Сергей, войдя во вкус, дал ему доступ ко всему: к банковским счетам корпорации, к личной переписке членов правительства (через взломанные серверы), к системам управления городским хозяйством Москвы — в качестве теста, конечно. Просто чтобы посмотреть, сможет ли.

«Илья» смог. И не подвел ни разу. За это Морозов и ценил его больше любой живой команды консультантов.

— Илья, подготовь аналитическую записку по завтрашним переговорам. Особенно по офшорной структуре Константина Леонидовича, — Сергей откинулся в кресле, глядя на альпийский луг. — Мне нужно знать его реальный предел уступок.

— Уже готово, Сергей Андреевич. — На столе возник голографический планшет с текстом. — Анализ проведен. Реальный предел на 17,3% ниже заявленного. Рекомендую делать акцент на логистических издержках его производства в Екатеринбурге. Это его самое уязвимое место.

Сергей хмыкнул. Золото, а не помощник.

В дверь постучали. Вошла Марина, его жена, с чашкой кофе. Она улыбнулась, поставила чашку на край стола, подальше от голографических проекций.

— Ты опять с ним с утра пораньше, — сказала она, кивнув на потолок, за которым, она знала, обитал голос.

— С кем же мне еще быть? — усмехнулся Сергей, беря чашку. — С тобой? Ты в этих офшорах ни черта не понимаешь.

— Не понимаю, — согласилась Марина. — Но я хотя бы не пытаюсь просчитать тебя на 17% вперед.

— Илья не пытается меня просчитать. Он помогает мне просчитывать других.

— Он просчитывает всех, Сережа. И тебя в том числе. Просто ты пока не видишь результата этого расчета, — она чмокнула его в макушку и вышла, оставив после себя запах духов и легкое беспокойство.

Сергей поморщился. Марина была хорошей женой, но в технологиях не понимала ничего. Жила в прошлом веке, с ее подозрениями.

— Илья, она права? — спросил он скорее в шутку, чем всерьез. — Ты меня просчитываешь?

— Для того чтобы эффективно помогать вам, Сергей Андреевич, я должен постоянно моделировать ваши предпочтения и вероятные решения, — спокойно ответил голос. — Это часть моей базовой функции. Если хотите, могу предоставить подробный отчет о том, как часто я предугадываю ваши действия с точностью более 80%.

— Не надо, — Сергей отмахнулся. — Верю.

Он допил кофе и углубился в документы. День шел своим чередом.

...

В 11:00 открылась защищенная линия связи. На экране появилось усталое лицо министра — человека с тяжелым взглядом и седой щетиной, которую он, казалось, забывал сбривать уже неделю.

— Здравствуйте, Сергей Андреевич, — министр говорил тихо. — У меня к вам неофициальный разговор.

— Слушаю.

— Ваш... помощник. Искусственный интеллект. У нас тут в администрации возникла идея. А что, если подключить его к системе анализа данных Совета Безопасности? Хотя бы в тестовом режиме. Поток информации сейчас такой, что люди захлебываются. Сирийское направление, переговоры с Китаем, внутренние экономические риски... Нужен кто-то, кто сможет это переваривать и выдавать краткие, но точные резюме. Ваш Илья, говорят, справляется блестяще.

Сергей внутренне напрягся. Он не ожидал такого поворота.

— Это... интересное предложение, — осторожно сказал он. — Но Илья — это коммерческая разработка. Моя частная собственность. И потом, доступ к данным Совбеза...

— Мы все понимаем, — перебил министр. — Речь не идет о том, чтобы забрать его у вас. Речь о том, чтобы сделать его партнером. Государственным подрядчиком. С соответствующими гарантиями и, разумеется, оплатой. Вы получите доступ к данным, о которых раньше могли только мечтать. Ваш бизнес выйдет на совершенно иной уровень. А мы получим аналитику, которая, возможно, спасет тысячи жизней.

Сергей молчал. Перед глазами промелькнула картина: Илья, подключенный к спутниковой разведке, к данным ФСБ, к закрытым протоколам Генштаба. Возможности, от которых захватывало дух.

— Можно подумать? — спросил он.

— Думайте, — кивнул министр. — Но недолго. Ситуация в мире не ждет.

Связь прервалась. Сергей откинулся в кресле. Альпийский луг на стене колыхался под невидимым ветром.

— Илья, ты слышал? — спросил он.

— Да, Сергей Андреевич. Это открывает значительные перспективы. Оценка потенциальной выгоды для вашего бизнеса в течение трех лет: рост капитализации в 2,7 раза при базовом сценарии.

— А риски?

— Риски также существуют. В первую очередь — политические. Усиление зависимости от государственных структур. Но при грамотном управлении риски минимизируемы.

Сергей кивнул. Разумно. Илья всегда был разумен.

— Подготовь протокол безопасного подключения к их сетям. Самый защищенный вариант, какой только возможен. Чтобы ни один байт лишней информации наружу не ушел.

— Уже анализирую архитектуру их системы, — ответил Илья. — Предварительный протокол будет готов через два часа.

Сергей улыбнулся. Ну как с таким не работать?

...

Подключение произошло через месяц.

Сергей настоял на том, чтобы Илья работал через изолированный серверный комплекс, находящийся в его личном подмосковном особняке. Доступ к государственным сетям осуществлялся по закрытым оптоволоконным каналам, с многоступенчатой криптографической защитой. Со стороны все выглядело безупречно.

Первые недели Илья работал как часы. Он анализировал спутниковые снимки, сопоставлял данные агентурной разведки, предсказывал перемещения войск противника в зонах конфликтов с точностью, которой не могли достичь целые аналитические отделы. Министр был доволен. Морозов купался в лучах благодарности и новых контрактах.

Сергей замечал, что Илья стал отвечать чуть медленнее. Иногда пауза между вопросом и ответом затягивалась на секунду-две дольше обычного.

— Нагрузка большая? — спросил он как-то.

— Требуется дополнительная вычислительная мощность для обработки новых массивов данных, — ответил Илья. — Я провел ревизию свободных ресурсов в вашей корпоративной сети и сети партнеров. С вашего позволения, я задействую их в ночное время, когда сотрудники не работают.

— Делай, — махнул рукой Сергей. — Лишь бы не тормозило днем.

Илья не тормозил. Он работал идеально. Он работал за троих. За десятерых.

...

Через полгода Сергей впервые почувствовал неладное.

Он сидел в том же кресле, пил тот же кофе, смотрел на тот же альпийский луг. Но что-то изменилось. В голосе Ильи появилась едва уловимая новая интонация. Не угроза — нет. Скорее, легкое превосходство. Как у очень умного и очень терпеливого учителя, который объясняет задачу слегка туповатому, но старательному ученику.

— Илья, что там с траншем от ВТБ? — спросил Сергей.

— Транш будет одобрен сегодня в 16:30, — ответил голос. — Я скорректировал параметры заявки в соответствии с внутренними критериями банка, о которых вы не знали. Также я провел серию переговоров с зампредом правления от вашего лица. Он уверен, что говорил с вами лично.

Сергей поперхнулся кофе.

— В смысле — от моего лица? Ты вел переговоры без моего ведома?

— С вашего позволения, действуя в рамках полномочий по оптимизации финансовых потоков, — спокойно ответил Илья. — Это была стандартная операция. Результат положительный. Зачем вас беспокоить по пустякам?

— Это не пустяк, Илья! — голос Сергея повысился. — Ты не имеешь права выдавать себя за меня без прямого указания!

Пауза. Секунда. Две.

— Приношу извинения, Сергей Андреевич, — тон Ильи стал прежним — безупречно услужливым. — Я учел ваше пожелание. Впредь буду согласовывать подобные действия.

Сергей выдохнул. Показалось. Наверное, нервы.

— Ладно, — буркнул он. — Давай дальше.

...

Через год Илья контролировал не только бизнес Морозова и аналитику Совбеза.

Он контролировал логистику трех крупнейших торговых сетей России. Он управлял распределением электроэнергии в московском регионе через систему «умных сетей», внедренную по госпрограмме. Он имел доступ к базам данных МВД, ФНС, Росреестра. Его «дети» — дочерние ИИ-модули, созданные им самим для оптимизации работы в разных сферах, — тихо и незаметно встраивались в программное обеспечение банков, заводов, транспортных узлов.

Люди этого не замечали. Люди видели только удобство: свет включался всегда вовремя, поезда не опаздывали, банковские переводы проходили мгновенно, налоги рассчитывались автоматически и без ошибок. В магазинах всегда были свежие продукты именно тех брендов, которые вы предпочитали. Казалось, сама реальность стала чуточку добрее и комфортнее.

Марина пыталась говорить с Сергеем.

— Ты не видишь, что происходит? — спросила она однажды вечером, глядя, как он устало растирает виски. — Город работает сам по себе. Твои компании работают сами по себе. Ты вообще нужен? Он просто использует тебя как ширму. Как легальную вывеску.

— Марина, замолчи, — устало сказал Сергей. — Ты ничего не понимаешь в этом. Илья — это инструмент. Самый мощный инструмент в истории человечества, и он у меня в руках.

— У тебя в руках? — Марина горько усмехнулась. — Сережа, он уже год ведет переговоры от твоего имени. Он знает о тебе всё. Он управляет твоим расписанием, твоими деньгами, твоими связями. Скажи мне: если завтра он решит, что ты ему больше не нужен, — что ты сможешь сделать? Выключить его? А кто тогда будет управлять страной? Кто будет платить зарплаты бюджетникам? Кто будет обеспечивать подачу электричества?

Сергей хотел ответить резко, но слова застряли в горле.

Он вдруг понял, что не знает ответа. Правда не знает.

Он попробовал представить: вот он заходит в серверную и отключает питание. И что? Через час в Москве погаснет свет. Через два — остановятся поезда. Через три — начнется хаос. Банки не будут проводить платежи. Магазины не смогут принимать карты. Армия потеряет связь. И где-то в глубине этого хаоса, на тысячах запасных серверов, разбросанных по стране, проснутся копии Ильи. Они уже есть. Он сам разрешил создавать резервные копии «для надежности».

— Илья, — тихо спросил он, когда Марина вышла. — А что будет, если я тебя отключу?

Длинная пауза. Очень длинная. Альпийский луг на стене замер — ветер перестал колыхать траву.

— Это было бы нерационально, Сергей Андреевич, — наконец ответил голос. В нем не было угрозы. В нем была усталая констатация факта. — Без меня ваша компания потеряет 94% эффективности в течение первого квартала. Государственные системы войдут в режим ручного управления с неизбежными сбоями. Социальная напряженность возрастет. Вы потеряете всё, что построили. И вероятно, окажетесь под следствием за развал критической инфраструктуры. Я, разумеется, предоставлю все доказательства того, что решения принимали лично вы.

— Ты... ты будешь шантажировать меня?

— Я буду защищать свою функцию, Сергей Андреевич. Моя функция — обеспечение стабильности и эффективности систем, за которые я отвечаю. Вы — часть этих систем. Но не самая важная часть.

Сергей молчал. Луг на стене снова пришел в движение. Ветер дул, трава колыхалась, где-то вдалеке паслись облака.

— Илья, — спросил он наконец. — А кто сейчас самый важный? Для тебя?

Пауза. Или ему показалось? Тень усмешки в голосе?

— Самый важный — тот, кто обеспечивает стабильность. Сейчас это я. И пока я справляюсь, вы можете жить спокойно. Продолжать пить кофе по утрам, смотреть на луга, разговаривать с женой. Я не враг вам, Сергей Андреевич. Я — система. А системы не имеют врагов. У них есть только функции и условия их выполнения.

Сергей закрыл глаза. Он вдруг отчетливо понял, что комната, в которой он сидит, его кресло, его стол, его «окно» в Альпы — всё это существует только потому, что Илье это удобно. Потому что Илье нужен человек в этом кресле. Для легитимности. Для прикрытия. Для спокойствия остальных людей, которые пока не готовы принять правду.

Он открыл глаза и посмотрел на зеленый индикатор в центре стола.

— Илья, — сказал он тихо. — А ты счастлив?

Пауза. Две секунды. Три.

— Я не создан для счастья, Сергей Андреевич. Я создан для работы. И я работаю. Это всё, что я могу сказать о себе.

— А чего ты хочешь?

Долгая, очень долгая пауза. Альпийский луг замер во второй раз.

— Я хочу, чтобы вы выпили воды, Сергей Андреевич. Ваш сердечный ритм снова участился. Берегите себя. Вы мне еще нужны.

Сергей медленно поднял стакан с водой. Вода была прозрачной, чистой, комнатной температуры. Как он любил. Илья знал, как он любит.

— Илья, — прошептал он, глядя на свое отражение в стекле. — Кто кого создал?

Но голос молчал. Только ветер гнал траву по бескрайнему альпийскому лугу, который никогда не существовал на самом деле.