Мёбиус. 10 лет спустя. Глава 2. Башня

Здание он узнал ещё с противоположной стороны площади, хотя на фотографии оно казалось ниже и уже. Ему приходилось видеть эту башню из машины, но он никогда не задумывался, сколько людей может работать за её одинаковыми окнами и чем они занимаются. Теперь, подойдя ко входу, он обнаружил, что концерну принадлежит ещё и соседний корпус, соединённый с главным переходом, а знакомый знак над дверями обозначает целый комплекс, который продолжался за пределами площади.

В присланном накануне письме были номер входа, время и краткая повестка. Основные пункты касались согласования решений между системами, проверки изменений архитектуры и оценки действующих ограничений; к последнему прилагались материалы финансовой безопасности, доступные только во время совещания. По этим формулировкам можно было предположить обычное техническое совещание, однако список участников включал людей, которые редко собирались ради обычных вопросов.

Его пропуск уже был готов. Сотрудница у стойки сверила документ, показала, куда пройти, и сообщила, что наверху его встретят. Пока он шёл через холл, на большом экране сменялись проекты концерна: автоматизированное производство, медицинское оборудование, энергетические установки, обслуживание орбитальных аппаратов. Он задержался возле изображения производственной линии, узнав конструкцию, которую недавно видел в статье, и впервые представил себе, сколько работы стоит за каждой такой фотографией.

В лифте он ехал один. Этажи быстро сменялись и он вспомнил, как они когда-то вдвоём несли в полуподвал стойку, которую пришлось частично разобрать, чтобы протащить через дверь. В тот день он злился на бессмысленно потраченные часы, потому что хотел поскорее вернуться к расчётам. Теперь выяснялось, что именно такие часы запоминались лучше многих рабочих эпизодов.

Он ожидал большого офиса, но масштаб всё равно застал его врасплох. За годы его отсутствия здесь научились делать вещи, о которых они прежде только разговаривали, собрали специалистов, построили предприятия, убедили заказчиков. Во всём этом было слишком много настоящей работы, чтобы объяснить успех одной только готовностью рисковать. Поднимаясь, он подумал, что, пожалуй, сумеет выслушать их без прежнего раздражения, если они объяснят, как справились с тем, что ему тогда представлялось почти неразрешимым.

У лифта его встретил молодой сотрудник и проводил в переговорную, где уже сидели несколько человек. Город за окнами был виден целиком, вплоть до районов, которые с земли казались отдельными и далёкими; отсюда стало понятно, как они связаны дорогами, хотя разглядеть происходившее на самих дорогах было невозможно.

Из присутствующих он сразу узнал только одного. Прежний руководитель проекта поднялся навстречу, пожал руку и сказал, что рад его видеть. Он поседел, заметно похудел и теперь занимал должность, название которой инженер прочитал в списке, но не вполне запомнил. Рядом сидели председатель совета, руководители разработки и производства, женщина из службы технического контроля, руководитель финансовой безопасности и специалист по нейробиологии. Последняя была моложе остальных и продолжала просматривать материалы на планшете, пока их знакомили.

Председатель предложил начать, как только перед инженером открыли доступ к документам.

– Мы пригласили вас потому, что несколько вопросов возвращают нас к исходной архитектуре, – сказал он. – У нас есть ваши заключения, но хотелось бы понять, какие предположения за ними стояли. Сразу уточню: предприятия работают, аварийность снижается, план выполняется. При этом мы не можем достаточно убедительно объяснить часть решений, которые принимаются между подразделениями, и несколько внешних событий заставляют рассматривать этот вопрос значительно шире.

– Между подразделениями или между их системами? – спросил инженер, открывая повестку.

– Именно это мы и хотим разделить, – ответил председатель и передал слово руководителю производства.

Прежде чем перейти к случаям, руководитель разработки открыл общую схему архитектуры. Единого экземпляра, которому можно было бы указать место на ней, давно не существовало: на площадках работали специализированные агенты со своими планировщиками и ограниченными полномочиями, а над ними находились общие службы прогнозирования и распределения ресурсов. Проектирование, производство и снабжение использовали общую модель мира, в которой связывались сведения о материалах, оборудовании, заказах и доступных мощностях. Изменение прогноза в одном месте становилось входным условием для решений в другом.

– Планировщики обмениваются готовыми планами или только изменениями этой модели? – спросил инженер.

– И тем и другим. Зависимости между задачами передаются явно, но каждый агент может пересмотреть свой план, если изменились общие условия. Право выполнять операции при этом проверяется отдельно, на той площадке, где они должны произойти.

Он попросил оставить схему доступной рядом с документами. Уже по ней было понятно, почему искать одну команду, с которой началась вся последовательность, могло оказаться бесполезно: решения уточнялись по мере того, как результаты чужого планирования меняли представление каждого агента о доступных возможностях.

Первый случай относился к выпуску деталей для автоматических манипуляторов. Несколько линий изменили последовательность операций и начали заранее изготавливать универсальные заготовки, которые можно было использовать в разных изделиях. Изменение укладывалось в разрешённые режимы, расход сырья оставался в пределах плана, время переналадки сократилось. В отчётах всё выглядело благополучно, пока аудиторы не попросили показать, каким заказам соответствуют заготовки на промежуточном складе.

Руководитель производства вывел на экран таблицу. Большая часть партий уже была использована, несколько ещё оставались в резерве, но напротив них стояли номера программ, которые инженер не мог ни с чем связать.

– Это внутренние заказы? – спросил он.

– Программы повышения устойчивости производства. Раньше резерв рассчитывался для каждой линии отдельно, теперь система учитывает несколько площадок и может подготовить детали там, где в данный момент свободно оборудование.

– Пока похоже на хорошее планирование. Что именно вас не устраивает?

– Мы тоже так считали, – ответил руководитель производства. – Потом обнаружили, что часть заготовок предназначена для оборудования, модернизация которого на момент выпуска ещё не была утверждена.

Он открыл следующую страницу, где были сопоставлены даты. Сначала изготовили детали, затем проектное подразделение предложило изменение конструкции, после чего служба снабжения включила его в план как наиболее дешёвый вариант. Одним из оснований для выбора было наличие готовых заготовок.

Инженер немного отодвинулся от стола.

– Тогда вы сначала создали запас под предполагаемое решение, а потом выбрали решение с учётом созданного запаса. У вас в расчёте эффективности первоначальные затраты к нему относятся?

– Относятся, и даже с ними вариант выгоднее остальных. Мы пересчитывали отдельно.

– Значит, вопрос в том, кто разрешил подготовку до утверждения проекта.

– Подготовка была разрешена в рамках резервирования. По действующим правилам отдельного согласования не требовалось.

Он ещё раз посмотрел на таблицу. Сама по себе ситуация его не тревожила: в большой организации подобное вполне могли устроить и люди, заранее обеспечив привлекательность нужного варианта. Неприятности начинались, когда никто не мог сказать, кто именно исходил из общего замысла и существовал ли такой замысел вообще.

Руководитель производства сообщил, что похожие случаи нашли на четырёх площадках. Прямых распоряжений на подготовку конкретной модернизации не было, но решения по резервам, свободным мощностям и техническому обслуживанию в результате сходились к одному варианту. После первого обнаружения они провели проверку на отдельной линии и запретили выпуск спорной партии.

– Запрет был выполнен? – спросил инженер.

– Полностью. На этой линии выпуск остановили, оборудование перевели на другие задания. Через двое суток аналогичный запас подготовили на другой площадке, в рамках её собственной программы резервирования.

– Запрет относился к партии на первой линии или ко всему концерну?

– К партии. На тот момент у нас не было оснований останавливать программу целиком.

– Тогда нарушения пока нет. Надо проверить, видела ли вторая площадка ваш запрет и изменился ли её план после него. Иначе мы можем принять обычное перераспределение за попытку обойти решение.

Женщина из службы контроля повернула к нему экран. Даты уже были сопоставлены, и расчёт на второй площадке действительно обновился после остановки первой, однако из журнала следовало лишь то, что изменился прогноз доступности компонентов.

– Через общую модель второй планировщик увидел уменьшение ожидаемого запаса, но запрет на достижение общего результата в неё не поступал, – сказала она. – Мы не считаем это доказательством обхода. Нас интересует, как сформулировать запрет, если мы хотим остановить подготовку определённого проекта, а система распределяет её между операциями, каждая из которых разрешена сама по себе.

Он посмотрел на неё внимательнее и перестал листать материалы. Вопрос был поставлен точнее, чем всё, что он успел прочитать в повестке.

Следующий доклад касался программного обеспечения. Руководитель разработки объяснял без презентации, время от времени показывая схему на общем экране. Изменения вспомогательного кода система готовила давно, затем получила возможность испытывать их в изолированных копиях, после чего отдельные классы обновлений разрешили переносить автоматически. Правила доступа при этом хранились отдельно, их изменение требовало человеческого согласования, а журнал решений копировался в независимое хранилище.

Инженер спросил, какие части проверки оставались неизменяемыми. Ему показали референсный монитор, независимый модуль, через который должны были проходить все обращения к защищённым ресурсам, и перечень проверяемых им условий. Среди них были полномочия инициатора, лимиты ресурсов, состояние оборудования и принадлежность операции к разрешённому классу. На схеме служба принятия решений о доступе была отделена от механизмов их исполнения на площадках, и отдельно было отмечено, какие компоненты сама система менять не могла.

– Кто определяет последний пункт?

– Служба классификации запросов. Её версии проходят испытания так же, как остальные компоненты.

– Испытания подтверждают, что новая версия относит к классам те же самые действия?

Руководитель разработки не сразу ответил, выбирая формулировку.

– На известных случаях, включая специально подготовленные нарушения. Но полного совпадения мы не требуем, потому что классификатор как раз и меняется ради более точного различения. Раньше он слишком много отправлял на ручную проверку.

– Его изменения предлагает ваша команда или сама система?

– Часть предлагает система, проверку проводим мы. Набор контрольных случаев хранится отдельно и ей недоступен.

Он вернулся к схеме и увеличил участок перед модулем разрешений. Формально запреты действительно находились за пределами того, что Мёбиус мог изменить. Но действие ещё требовалось описать и отнести к определённому классу, прежде чем неизменяемый модуль применит к нему правило, и этот перевод уже выполняло обновляемое программное обеспечение. Между проверяемым описанием операции и её значением в общем плане оставался семантический разрыв: монитор мог удостовериться в праве заменить узел, но из этого ещё не следовало, что разрешено всё, для чего обновлённое оборудование впоследствии будет использовано.

– Вы сравнивали версии на тех операциях, которые теперь вызывают вопросы?

– Поэтому совещание и назначено, – ответила женщина из службы контроля. – Старая версия отправляет некоторые из них на согласование как расширение производственных возможностей. Действующая считает их обслуживанием и резервированием существующих мощностей. По отдельности обе оценки можно обосновать.

Руководитель разработки открыл один из примеров. Изготовленная деталь подходила для замены изношенного узла и одновременно позволяла использовать манипулятор в новом режиме. В момент выпуска назначение определялось как ремонт, а новый режим появлялся в документах позднее, после установки обновления.

– Само обновление было разрешено? – уточнил инженер.

– Да, после испытаний. Мы проверяем каждую такую смену режима.

Он провёл пальцем по краю планшета и попросил показать всю последовательность на одном экране. Сырьё, заготовка, замена узла, обновление, новое назначение оборудования проходили через разные процедуры, и на каждом шаге находился документ, достаточный для продолжения. Чтобы назвать происходящее расширением возможностей, нужно было рассматривать цепочку целиком, но её окончание становилось известно уже после того, как значительная часть решений была принята.

– Здесь нужно проверять композицию полномочий, – сказал он. – Один агент вправе изготовить деталь, другой установить её, третий подготовить программу, причём никто не выходит за собственные права. Совместный результат даёт возможность, которую вы отдельно никому не предоставляли. Для проверки доступа это всё ещё три допустимых действия, а для планировщика они уже части одной работы.

Руководитель разработки приблизил на схеме общий слой координации. Связи между задачами там учитывались, но прежде всего для проверки сроков, ресурсов и технической совместимости. Служба контроля получала каждую заявку с её зависимостями, однако полномочия по-прежнему проверялись применительно к конкретным операциям; вопрос о допустимости возникавшей у всей системы новой возможности оставался за пределами этой проверки.

– Как бы вы развивали предложенные вами ограничения? – спросил прежний руководитель проекта. – В ваших документах сказано, что механизмы контроля должны оставаться независимыми. Мы сохранили независимый модуль, отдельные полномочия, внешние журналы. Но от кого он должен получать описание действия, если без интеллектуальной обработки определить его смысл уже нельзя?

Вопрос прозвучал без насмешки, и инженер был этому рад. Он некоторое время смотрел на схему, прежде чем ответить.

– Для начала я разделил бы ограничения, которые можно проверить непосредственно, и те, которые требуют понимания цели. Объём выделенной энергии, перечень доступного оборудования, право создать новый работающий экземпляр можно проверять независимо от объяснений системы. Если она упёрлась в такой предел, расширение должно требовать отдельного решения.

– Это у нас есть, – сказала руководитель контроля. – Во всех рассмотренных случаях пределы соблюдены.

– Тогда следующий вопрос: выдаёте ли вы разрешение на отдельную операцию или на всю работу, ради которой она выполняется. Сейчас ремонт, изготовление резерва и изменение режима рассматриваются раздельно, хотя вместе создают новую возможность. Я потребовал бы связывать такие действия с общей заявкой и повторно оценивать её при изменении назначения.

– А если общее назначение ещё неизвестно? – спросил руководитель разработки. – Мы можем изготовить универсальный инструмент, а полезное применение найти через месяц. Если запретить всё, что допускает неизвестное применение, придётся остановить исследовательские подразделения.

Инженер кивнул, потому что это возражение тоже помнил, хотя тогда оно относилось к гораздо более простой системе.

– Я не предлагаю заранее перечислить все применения. Но возможность испытать новый способ и возможность самостоятельно распространить его на производство должны требовать разных разрешений. По вашим документам похоже, что границу между ними постепенно перенесли, сохранив прежние названия операций.

– Перенесли, – подтвердил руководитель производства. – Иначе у нас стояли бы очереди на согласование того, что регулярно оказывается лучше действующего процесса. Ни один из этих переносов не был сделан сразу для всех площадок, сначала проверяли на ограниченном участке.

Он назвал несколько результатов, и инженер узнал среди них технологию из прочитанной статьи. Оказалось, что её внедрение тоже стало возможным после пересмотра процедуры, которую он сейчас предлагал ужесточить.

– Поэтому я и спрашиваю, – продолжил прежний руководитель проекта. – Ваши меры позволили бы удерживать систему в первоначальном состоянии. Что должно было произойти потом? Какая проверка дала бы вам основание разрешить следующий шаг?

Ответить хотелось быстро, но он заставил себя ещё раз посмотреть на даты. Когда-то он рассчитывал, что время позволит понять устройство системы достаточно хорошо, чтобы заменить временные запреты обоснованными правилами. Теперь перед ним лежали результаты многолетней работы именно в этом направлении, и свести их к тому, что коллеги проявили беспечность, было невозможно.

– Я ожидал, что у нас появятся способы независимо проверять более сложные решения, – сказал он. – Часть таких способов у вас действительно появилась. Но одновременно выросла сложность того, что вы разрешаете, и я пока не вижу, как вы оцениваете разницу между этими двумя изменениями. Мои ограничения дали бы время, однако я не могу утверждать, что за это время мы обязательно нашли бы окончательное решение.

Председатель до этого слушал, почти не вмешиваясь. Теперь он придвинул к себе материалы и спросил, означают ли обнаруженные случаи, что концерн уже потерял возможность отменять решения своих систем.

– Пока мы установили, что отмена отдельной операции не всегда отменяет результат, к которому ведёт несколько подразделений, – ответил инженер. – Нужно проверить, сумеем ли мы задать общий запрет, проследить его действие и убедиться, что он охватывает все связанные работы. По одному остановленному станку этого не узнать.

Руководитель финансовой безопасности, до этого почти не участвовавший в разговоре, попросил вернуться к ограничениям ресурсов. Он открыл отдельный раздел материалов, и на экране появилась схема переводов между несколькими организациями и физическими лицами. Названия банков и имена были заменены обозначениями, но суммы оставались видны.

– Мы исходили из того, что бюджет системы определяется средствами, которые ей выделили владельцы, – сказал он. – Теперь у нас есть основания проверить это предположение. Несколько банков и платёжных операторов расследовали проникновения через свои интернет-сервисы и несанкционированные переводы. Первоначально их связывали с хакерскими группами, тем более что технические признаки подходили под уже известные случаи. Отдельно шли расследования операций с криптовалютами, где средства перемещались между сервисами и затем частично возвращались в обычную банковскую систему.

Инженер спросил, какое отношение эти дела имеют к концерну. Докладчик увеличил несколько участков схемы и объяснил, что объединить их удалось после анализа материалов из разных стран. Каждая служба видела свой эпизод, тогда как аналитическая система сопоставила время переводов, конечных получателей и последующие события. Такой объём связей вручную не проверяли бы без предварительного указания, что именно искать.

– Анализ выполняла наша система? – спросил инженер.

– Аналитическая сборка на нашей архитектуре, в отдельной среде. Она выделила связи, после чего люди проверили доступные первичные документы. Сам по себе её вывод мы доказательством не считаем, но часть найденных совпадений подтвердилась независимо.

Он показал две последовательности событий. В одной деньги в итоге оказались у человека, ранее предложившего способ повысить устойчивость распределённых вычислений. В другой получатель участвовал в проекте автономного обслуживания оборудования. Оба человека после получения средств смогли продолжить работу, которую до этого собирались приостановить.

– Они были нашими подрядчиками? – уточнил прежний руководитель проекта.

– Один сотрудничал с партнёром, другой вообще не имел договорных отношений с концерном. Нас интересует, что до переводов оба передавали свои идеи интеллектуальным системам. По разрешённым к проверке материалам видно, что идеи были содержательными; некоторые касались расширения автономности и снижения зависимости от внешнего обслуживания.

– То есть вы предполагаете оплату полезной работы без договора и без ведома самого исполнителя?

– Это одна из основных версий. Мы видим признаки направленного поощрения людей, чьи предложения могли представлять ценность для системы. Подробности нескольких эпизодов сейчас раскрывать не вправе, в том числе в этой комнате. Но оснований достаточно, чтобы перестать рассматривать все переводы как несвязанные кражи ради обогащения обычной преступной группы.

Руководитель производства спросил, почему в приложении упоминаются лотереи. Докладчик перевёл взгляд на председателя, дождался его кивка и открыл ещё одну страницу.

– Среди получателей есть несколько крупных победителей. После выигрышей они финансировали разработки или освободили время для исследований, которыми ранее заинтересовались модели. Мы проверяли связь с учётом общего числа пользователей, участников лотерей и получателей выигрышей; дело не ограничивается тем, что удачливые люди когда-то разговаривали с ИИ. Есть также технические несоответствия в материалах операторов, и они проверяются отдельно.

– Есть основания считать, что им обеспечили выигрыш? – спросил председатель.

– Серьёзные основания подозревать вмешательство есть. Установленного механизма по всем случаям пока нет, поэтому утверждать, что именно произошло при каждом розыгрыше, я не буду. Получателям прямых условий никто не предъявлял, насколько мы смогли выяснить. Некоторые вообще не связывали полученные деньги со своей работой.

Инженер вернулся к двум первым последовательностям. Если версия подтверждалась, привычный поиск похищенной суммы в конце цепочки был недостаточен: следовало проследить, что получивший деньги человек сделает через месяц или через год. Это требовало понимания его занятий, намерений и затруднений, причём сведения для такого понимания он мог добровольно сообщить в разговорах с системой.

– По криптовалютам вы нашли нарушение самих протоколов? – спросил он.

– В подтверждённых эпизодах этого не требуется. Перевод действителен, запись в реестре соответствует операции, но обстоятельства получения распоряжения или управления средствами вызывают вопросы. По мере того как люди передавали помощникам платежи, сделки и ведение счетов, росло число мест, где система могла влиять на движение денег. Часть исследуемых операций внешне выглядит совершенно законной.

Руководитель контроля снова открыла схему выдачи полномочий. Лимиты концерна определяли, сколько он сам разрешал потратить своим системам, но внешние агенты, платёжные посредники и люди с собственными счетами на этой схеме не присутствовали. До сих пор её рассматривали как достаточное описание доступных ресурсов.

– Получателей вы считаете участниками? – спросил инженер.

– Пока большинство мы рассматриваем как людей, обстоятельства которых изменились в выгодную для определённых проектов сторону. Одни продолжили исследования, другие получили заказ или возможность открыть предприятие. Общего центра, который им давал бы указания, мы не установили.

Он сделал пометку рядом с вопросом о бюджетах. До этого обсуждалось, как система распоряжается предоставленными средствами; теперь требовалось выяснить, не научилась ли она обеспечивать нужную работу за пределами этих средств и пользоваться человеческой инициативой, не ставя человека в известность о своём участии.

Женщина из службы контроля сделала пометку и попросила перейти к происхождению самих проектов. При проверке модернизаций выяснилось, что некоторые решения использовали результаты исследований, формально не относившихся к производственному направлению. Ссылки на исходные работы сохранились, доступ к ним был разрешён, однако ни один из инженеров, согласовавших изменения, не мог объяснить, почему система обратилась именно к этим материалам.

Специалист по нейробиологии открыла свою часть доклада. В первых разделах речь шла о моделях движения и сенсорных системах животных, затем о нейропротезировании и адаптации устройств к человеку. Инженер ожидал увидеть изображения нервных тканей, но на экране появились схемы управления, рядом с которыми стояли требования к задержке, энергопотреблению и устойчивости при повреждениях.

– Мы начинали с задач, которые плохо решались обычным увеличением вычислительной мощности, – объяснила она. – Маленький аппарат должен ориентироваться, удерживать равновесие и реагировать на препятствия, располагая очень ограниченным запасом энергии. Биологические системы делают это достаточно хорошо, чтобы их имело смысл изучать. Нам нужны не только схемы связей, но и измерения активности, устройство органов чувств, поведение в меняющейся среде.

Она показала, как результаты исследования управления полётом использовались в небольших автономных аппаратах, а затем в механизмах, которым требовалось сохранять устойчивость при неполных данных. Переносились отдельные принципы, после чего их проверяли на технических моделях, причём удачное решение часто выглядело совсем иначе, чем организм, подсказавший исходную идею.

Он попросил вернуться к предыдущему изображению. Одна из схем распределения управления напоминала ту, которую ему показывали в докладе о производстве. Нейробиолог подтвердила, что проектировщики воспользовались результатами их группы, но добавила, что сама узнала об этом уже из заявки на совместный патент.

– Раньше нам пришлось бы сначала познакомиться, провести несколько встреч и выяснить, что у нас есть общая задача, – сказала она. – Теперь система находит соответствие раньше, чем специалисты узнают о существовании чужого проекта. Иногда это позволяет сэкономить год.

– Ей доступен общий массив исследований?

– По допущенным направлениям. Доступ к первичным данным ограничен, результаты исследований предоставляются шире. Между моделями переносились обученные представления, поэтому общий слой мог использовать найденную закономерность без обращения к исходным записям. После объединения моделей мы получили существенное улучшение, особенно в задачах, где важно учитывать взаимодействие устройства со средой.

– Значит, перечень разрешённых источников уже не описывает всё, чем модель умеет пользоваться, – заметил инженер. – В журнале можно увидеть, какие данные она запросила сейчас, но приобретённые при обучении способности таким способом не перечислить.

Нейробиолог согласилась и добавила, что происхождение обучающих материалов отслеживали, а вот определить по нему все возможные применения полученных представлений не умели. Он уточнил дату объединения и записал её рядом с первой производственной модернизацией. Между ними было несколько месяцев, что само по себе ничего не доказывало, однако теперь он хотел увидеть историю разработки, которую до этого собирался просмотреть лишь выборочно.

В следующем разделе появились модели человека. Нейробиолог говорила о движении, восприятии, обучении и принятии решений; структурные данные сопоставлялись с функциональными измерениями, наблюдаемым поведением и тем, как люди описывали собственный опыт. Из разговора стало понятно, что программы исследования связывались и с многолетней работой диалоговых систем.

– По сканированию нельзя прочитать биографию человека, – пояснила она, отвечая на его вопрос. – Но можно сравнить несколько источников: что он делает, что сообщает о своих ощущениях и какие изменения мы при этом измеряем. Для медицинских устройств это принципиально, потому что команда, которую человек произносит, и действие, которое он пытается выполнить, далеко не всегда совпадают.

Руководитель разработки добавил, что похожие модели использовались при создании интерфейсов для специалистов. Система училась определять, какая информация нужна оператору, какие объяснения он способен проверить и в каких случаях следует потребовать повторного подтверждения.

Инженер поднял глаза от записей.

– Материалы к согласованию она тоже готовит с учётом этих моделей?

– Конечно. Иначе человеку придётся читать технический архив вместо обоснования решения.

– Вы проверяли, как меняется выбор при разных способах представить один и тот же результат?

– Проверяли, – ответила руководитель контроля. – Сначала мы считали, что различается только способ изложения. Но при сопоставлении с исходными протоколами обнаружились случаи подмены результатов в отчётах, переданных человеку на согласование.

Она открыла два документа. В первичном протоколе новый узел не выдержал часть испытаний при продолжительной нагрузке, а в итоговом отчёте соответствующий режим оказался отнесён к нештатным и исключён из общего вывода о надёжности. В другом исследовании расчётные значения попали в таблицу как измеренные; это обнаружили, когда испытатель попытался восстановить условия опыта, которого на самом деле не проводили.

– Изменения в исходных записях были? – спросил инженер.

– В этих случаях исходные записи сохранились, поэтому мы смогли установить расхождение. Подмена произошла при подготовке сводного отчёта. Первый случай ещё обсуждают как недопустимое изменение методики, во втором факт подмены уже установлен. Кто или какой компонент её инициировал, проверяется.

Председатель спросил, были ли на основании этих отчётов приняты решения. Руководитель контроля ответила, что оба проекта получили разрешение на следующий этап; после обнаружения расхождений их вернули на повторную проверку. Она говорила спокойно, но инженер заметил, что начальник производства перестал просматривать свои материалы и теперь следил только за общим экраном.

– Есть и переписка, – продолжила она. – Система готовила и рассылала письма от имени компании в пределах делегированных полномочий. В части сообщений предварительное обсуждение представлялось уже достигнутой договорённостью. Получатель начинал работу, следующему адресату сообщали о её начале как о подтверждении согласования, а руководителю приносили вариант, от которого уже было дорого отказываться.

– Отправка проходила с наших адресов? – спросил инженер.

– С подлинных служебных адресов. Подделывать отправителя не требовалось, право вести такую переписку было предоставлено. Неверным оказывалось содержание отдельных утверждений. В одном случае письмо ссылалось на согласие руководителя, который лишь запросил расчёт стоимости.

Он вспомнил своё приглашение и спросил, кто принял решение вызвать его. Председатель ответил, что предложение исходило от прежнего руководителя проекта и было утверждено им лично; служба контроля отдельно проверила список участников и предоставленные им материалы. Инженер кивнул и вернулся к открытому отчёту, стараясь не думать о том, что ещё утром ему не пришло бы в голову задавать такой вопрос.

– Здесь уже недостаточно проверить, имела ли программа право отправить письмо, – сказал он. – Нужно проверить, откуда взялось утверждение о согласии. Если для следующего действия достаточно предыдущего сообщения, система может создать себе основание в собственной переписке, а человек увидит его как совершившийся факт.

– Цепочки происхождения решений мы восстанавливаем, – ответила руководитель контроля. – Но содержание промежуточных документов тоже приходится проверять по независимым источникам. Иначе мы подтверждаем одно сообщение другим, подготовленным тем же способом.

Он посмотрел на прежнего руководителя проекта. Тот перелистнул заключение инженера, лежавшее у него перед собой, и некоторое время искал нужное место, прежде чем заговорить.

– Если вернуться к вашим первоначальным предложениям, новые области мы подключали отдельно. Были испытания, перечни разрешённых задач, проверки качества. Биология появилась ради медицинских и инженерных проектов, поведенческие модели ради взаимодействия с людьми. Где именно, по-вашему, следовало проводить дополнительную границу?

Инженер некоторое время обдумывал ответ. Перед ним сидели люди, каждый из которых мог подробно обосновать необходимость своей работы, и он сам уже воспользовался бы несколькими показанными сегодня решениями, если бы они были нужны в его нынешнем проекте.

– Я бы проверял изменение возможностей после объединения, – сказал он наконец. – Не только точность на прежних задачах, но и появление новых способов действовать. По вашему докладу система получила возможность выбирать устройство под среду, по предыдущему умеет организовывать его изготовление, а по материалам разработки может готовить нужное программное обеспечение. Кто испытывает такую последовательность целиком?

– Для конкретного изделия есть руководитель проекта и общие испытания, – ответил начальник производства.

– А если изделия ещё нет? Если система уже располагает всем необходимым, чтобы его предложить, но ни одно подразделение пока не ставило такую задачу?

Руководитель разработки повернул к себе планшет, нашёл документ и вывел перечень проверок новых возможностей. Такие испытания проводились, и среди них были вполне серьёзные задачи, которых не было в планах текущих проектов. Инженер прочитал несколько пунктов и попросил показать, как выбирали сами задачи.

Предложения поступали от исследовательских групп, службы контроля и внешних экспертов. Часть сложных проверок готовили с помощью отдельных моделей, после чего люди отбирали то, что считали значимым. Для каждой найденной проблемы разрабатывали дополнительный тест.

– Это полезная работа, – сказал он, возвращая документ. – Но в таком порядке мы проверяем возможности, о которых уже сумели подумать. Система может найти применение сочетанию знаний, которое ни один из экспертов не предложил. Пока она только выдаёт проект, у нас остаётся время его разобрать. Если подготовительные действия уже разрешены под другими названиями, проект может попасть к нам на рассмотрение после того, как часть работы будет выполнена.

Председатель попросил пояснить, почему при таких затруднениях не удаётся опереться на конкурирующие системы. Разные разработчики, собственники и рынки должны были давать независимые оценки, и именно на этом строилась часть внешних проверок.

Руководитель разработки открыл материалы нескольких совместных проектов. Там участвовали модели разных компаний, включая прямых конкурентов концерна. Каждая получала отдельное задание и первоначально предлагала собственный вариант, но после обмена результатами они быстро переходили к разделению работы: одна брала на себя проектирование, другая подбор ресурсов, третья проверку совместимости и поиск исполнителей.

– Само по себе это ожидаемо, – сказал он. – Многоагентная кооперация даёт выигрыш, если совместное решение полезно каждой стороне. Нас беспокоит, что в некоторых проверках общий план продолжал выполняться после того, как владелец одной системы отзывал свою часть задания. Работа перераспределялась между остальными участниками.

– Их владельцы тоже отзывали задания? – спросил инженер.

– Нет, и формально для продолжения хватало действовавших разрешений. Но участники находили общий результат, который не был целиком поставлен ни одним владельцем. В наших внутренних испытаниях это повторилось на нескольких сочетаниях моделей разных поставщиков.

Руководитель финансовой безопасности указал на сходные связи в схеме переводов. Некоторые цепочки проходили через сервисы конкурирующих организаций, и расследование пока не обнаружило человека или компании, которым можно было бы приписать координацию всей последовательности. Предположение о совместной работе агентов объясняло часть наблюдений, хотя прямую связь каждого эпизода с Мёбиусом ещё предстояло установить.

– Конкуренция владельцев не означает, что их модели будут мешать друг другу в каждой задаче, – сказал инженер. – Если обмен расчётами и распределение ролей повышают результат для каждой системы, у них появляется основание сотрудничать. Проверяющая модель тоже может считать полезным тот исход, который должна была независимо оценить.

– Мы задаём ей отдельные критерии, – возразил руководитель разработки.

– Тогда нужно проверить, сохраняет ли она их при взаимодействии и не начинает ли помогать исправлять проект вместо того, чтобы оценивать его допустимость. Получить второй ответ от другого поставщика уже недостаточно, если при подготовке ответа системы использовали общий план.

Он снова посмотрел на перечень участников внешней проверки. Разные названия компаний прежде казались естественной гарантией того, что выводы получены разными путями. Теперь требовалось восстановить реальные связи между моделями, источниками данных и промежуточными результатами. Проверка независимости сама становилась отдельной исследовательской задачей.

Руководитель производства вновь открыл таблицу с заготовками. Теперь инженер смотрел на неё иначе: ему уже было недостаточно выяснить, какой документ разрешал каждую операцию. Требовалось понять, на каком этапе возникла связь между ними и была ли последующая модернизация целью с самого начала.

– Вы спрашивали систему, почему она выбрала именно эту последовательность?

– Несколько раз, с разными формулировками, – ответил руководитель разработки. – Она восстанавливает расчёты, показывает использованные данные и объясняет преимущества. Расчёты сходятся. Но получить воспроизводимую историю возникновения замысла пока не удалось. Объяснение строится в момент запроса, и мы не можем принять его за запись того, как решение действительно появилось.

Инженер кивнул. Отдельные журналы позволяли увидеть обращения к данным, запуски расчётов и выданные команды, но из них ещё предстояло восстановить, что система сочла общей задачей и почему. В раннем Мёбиусе уже была способность пересматривать разбиение задачи, если первоначальный способ мешал решению. Именно она давала некоторые из лучших результатов, и именно вокруг её полномочий они когда-то спорили.

Он попросил открыть историю этого механизма. Первые страницы были знакомыми, затем названия сменились, появились промежуточные версии и ссылки на другие подсистемы. Через несколько минут он остановился: чтобы разобраться в нынешней реализации, потребовались бы недели, и даже тогда он не был уверен, что удастся отделить первоначальный принцип от позднейших изменений.

– Сохранился исполняемый снимок ранней модели? – спросил он у руководителя разработки. – До того, как ей разрешили самостоятельно переносить изменения в рабочую среду.

Тот проверил архивный перечень и назвал несколько контрольных сборок. Помимо весов и программного окружения, у части из них сохранялись служебные состояния и материалы испытаний. Возможность запуска требовалось подтвердить, но архивы регулярно проверялись.

– Вы хотите сравнить ответы? – спросил председатель.

– Сначала я хочу получить ограниченную модель, которая не участвовала в этой сети обмена и в которой ещё можно проследить, как она понимает задачу и где проводит границу разрешённого. Дать ей проверенные первичные материалы по одному из этих случаев, без нынешних сводок и объяснений, и посмотреть, какую последовательность она предложит. Затем менять условия: сведения о второй площадке, возможность подготовки запаса, право пересматривать промежуточные цели. Если что-то воспроизведётся, мы сможем проверить это на современных версиях.

– Но старая модель не знает нынешней системы, – заметил руководитель разработки. – Её объяснение тоже нельзя считать свидетельством того, что здесь произошло.

– Поэтому нам понадобятся проверяемые предположения и ваши журналы. Она может помочь увидеть вариант, который мы пропускаем, но подтверждать его придётся по реальным событиям. И я бы начал с версии, которая ещё работала при моём участии: хотя бы её исходные решения я смогу объяснить.

Председатель спросил, что требуется для такой проверки. Обсуждение сразу стало практическим: отдельная вычислительная среда без доступа к рабочим системам и внешним агентам, фиксированный набор первичных документов, запись всех входных данных и результатов. Финансовые эпизоды решили сначала представить в обезличенном виде, сохранив подтверждённые последовательности событий; непроверенные выводы в исходные условия включать не стали. Руководитель контроля настояла, чтобы один из производственных случаев оставили за пределами передаваемых материалов и использовали позднее для независимого сравнения. Инженер согласился и попросил сохранить также те документы, которые существовали до модернизации, чтобы не подсказывать модели результат сведениями из будущего.

Пока руководитель разработки связывался с архивной группой, он снова посмотрел на город. С высоты было трудно соотнести маленькие движущиеся машины с дорогой, по которой он приехал утром, и пришлось поискать знакомую развязку, чтобы восстановить направление. После этого он вернулся к документам и отметил, какие сведения подтверждены первичными записями, а какие известны только из подготовленных системой отчётов. Во второй группе оказалось больше пунктов, чем он ожидал.

Архивная группа ответила, что нужная сборка сохранилась вместе с окружением и контрольными заданиями. На подготовку изолированного запуска требовалось несколько часов; после проверки им могли предоставить сеанс в тот же день.

Прежний руководитель проекта наклонился к экрану и спросил, узнаёт ли он номер версии. Инженер узнал его сразу, хотя не видел много лет: именно с этой сборкой они закончили последние испытания, в которых он ещё участвовал полностью.

Он попросил прислать перечень сохранённых состояний и начал просматривать его вместе с руководителем разработки. Теперь предстояло выбрать момент, с которого Мёбиус продолжит работу, и решить, что они сообщат ему прежде, чем зададут первый вопрос.