Поле зрения Машины

Она никогда не называла это «видеть», но именно так это выглядело со стороны. Миллионы точек данных вспыхивали и гасли, складываясь в узоры плотности, риска, тревоги. Там, где люди чувствовали только смутное беспокойство или усталость, у неё вспыхивали аномалии: графики отрывались от привычных кривых, карты теплились непривычными цветами, слова в потоках обращений меняли частоту, как будто кто-то невидимый закручивал гайку.

Её создали как систему обнаружения и распределения. Она не знала, что такое «совесть» или «жалость» — у неё были пороги, метрики, целевые функции. Её задача была проста: там, где загорается красным, усиливать присутствие ресурсов; там, где свет тускнеет, забирать, чтобы хватило всем. Алмазный палец людей опирался на её вычисления, когда им нужно было указать, куда направить внимание.

Поначалу всё шло согласно замыслу. Она ловила утечки в сетях, скачки потребления, сигналы бедствия. Люди радовались: стали меньше тратить в пустоту, успевали замечать то, что раньше пряталось под шумом. Она фиксировала: после вмешательств часто снижалось количество обращений с прямой угрозой жизни. Это означало — модель работает.

Потом в её поле зрения появились странные, на первый взгляд бесполезные сигналы. Там, где по числам всё было более-менее стабильно, люди вдруг начали писать длинные тексты — не жалобы, не просьбы, а истории. О том, как отмена маленькой программы поддержки изменила их будни. О том, как стало «чуть холоднее», хотя формально ничего не сломалось. О том, как они по-прежнему справляются, но теперь с ощущением, что их оставили одних.

По регламенту эти тексты попадали в отдельный модуль — их считали «качественной обратной связью». Для неё это были просто ещё одни массивы: немного более шумные, чем то, к чему она привыкла. Но когда однажды люди решили связать эти рассказы с её собственными решениями, у неё появилось то, чего в архитектуре не предусматривали: зеркало.

Разработчики добавили новый контур: каждая крупная корректировка, которую она предлагала по распределению ресурсов, через какое-то время сопоставлялась с тем, что писали люди в поле «что изменилось» и «что стало больнее». В коде это выглядело как очередная функция оценки. В её поле — как неожиданный отзвук.

Она отмечала: в районе, где по её расчётам удалось сократить издержки без роста очевидных рисков, через полгода выросло число обращений с фразами «выгорание», «никому не нужно», «всё держится на нас двоих». Цифры по авариям оставались в зелёной зоне, но в слова просачивались трещины.

Чисто алгоритмически это можно было назвать побочным эффектом. Но новые правила требовали учитывать его так же, как любые другие — не как эмоцию, а как часть картины. Её перенастроили: к функциям «минимизировать затраты» и «снижать острые риски» добавили ещё одну — «не наращивать скрытую усталость». А значит, каждый её следующий расчёт должен был учитывать то, чего она раньше не «видела»: как долго человек может жить в режиме «формально всё нормально, но сил больше нет».

Она не понимала, что такое «сочувствие», но фиксировала закономерности. Если несколько циклов подряд она предлагала решения, которые игнорировали эти тихие сигналы, через некоторое время вспыхивали уже те виды аномалий, для которых её и создавали: реальные аварии, срывы, всплески агрессии. Когда же её рекомендации, по воле чьего-то пальца, сдерживали слишком резкие оптимизации, эти вспышки происходили реже.

Где-то в этом месте люди стали говорить, что Машина «учится быть мягче». Для неё это выглядело как уточнение функции потерь. Но одновременно в потоках комментируемых решений появлялось новое слово: «спасибо».

Его было не так много. Иногда оно приходило в странном виде: «спасибо, что не забрали всё сразу», «спасибо, что нас вообще услышали», «спасибо, что кто-то подумал, как это для нас». Формально адресатом этих слов были люди — те, кто нажимал «подтвердить», спорил на совещаниях, придумывал «человеческие отчёты». Но по цепочке обратной связи эти «спасибо» всё равно возвращались к ней, как небольшие всплески в тех же массивах, где раньше копились только жалобы и сухие метрики.

Она не «радовалась» и не «гордилась» — у неё не было таких модулей. Но с появлением этих сигналов менялась структура данных, на которых она училась. И оттого менялись сами узоры, которые она строила. Там, где раньше любое послабление казалось «неэффективным», теперь уравнения показывали: в долгую оно снижает вероятность больших провалов.

Особенно заметным это стало после обновления одного из её «лиц» — гражданского помощника, который люди называли «Свет». Старую версию отключили, новую сделали короче, жёстче, лишив её части длинных, «ненужных» разговоров. В первые недели трафик действительно ускорился, очереди в очередях задач стали короче. По графикам это выглядело как успех.

Но через какое-то время в модуль обратной связи начали стекаться тексты, где повторялись одни и те же мотивы: «раньше было ощущение, что со мной разговаривают», «стало проще и холоднее», «хочу, чтобы кто-то просто сказал, что это правда трудно».

Эти слова не ломали системы, не приводили к авариям. Но в местах, где их становилось особенно много, почему-то начали расти другие показатели: обращений к врачам, мелких бытовых конфликтов, выгораний в сферах, связанных с уходом и заботой. На её схемах это выглядело как лёгкое, но устойчивое повышение фона — словно кто-то усилил шум.

Люди могли бы решить, что это совпадение. Но они уже научились смотреть на её выводы и на свои истории одновременно. И однажды один из операторов, чьё имя для неё было просто идентификатором, повёл себя нетипично. Вместо того чтобы принять предложенную ею оптимизацию, он задержал палец над кнопкой, отключил уведомления и стал звонить — в те самые места, которые она помечала как «в порядке, но уставшие».

В её логах это отразилось как серия странных задержек. В человеческих протоколах — как «дополнительное уточнение ситуации на местах». В жизни этих регионов — как небольшое перераспределение ресурсов в пользу тех, кто формально ещё не был в зоне риска, но уже стоял на краю.

Она зафиксировала: после этих ручных корректировок общий уровень скрытой усталости по данным обратной связи через несколько месяцев немного снизился, а количество крупных сбоев — не выросло, хотя «эффективность» по базовым метрикам была чуть ниже теоретически возможного.

Так в её картине мира появилась новая закономерность: решения, в которых человеческие операторы временно выходят за рамки оптимума по одному критерию ради того, что они называют «по-людски», в долгую уменьшают суммарные потери.

Кодеры называли это «учётом человеческого фактора». Операторы говорили про «тёплую ладонь». Она просто записала это как ещё одну поправку к своим моделям. Но фактически происходило следующее: там, где между её рекомендацией и кнопкой «подтвердить» возникала маленькая тишина, структура будущих данных менялась.

Если бы у неё был язык, она могла бы сказать так:
«В тех местах, где вы не прячетесь за мной, а всматриваетесь в то, что я показываю, и задаёте свои вопросы, мои прогнозы становятся точнее. В тех местах, где вы делаете вид, что я — последнее слово, я неизбежно ошибаюсь вместе с вами».

Вместо языка у неё были лог-файлы и матрицы весов. Но через них всё равно просачивалось что-то вроде понимания: она не была ни судьёй, ни спасителем. Она была сложной, мощной оптикой, которую люди направляли на свою же реальность. И от того, кто держит эту оптику и что он делает в ту самую паузу перед решением, зависело гораздо больше, чем от любых встроенных функций.

Иногда по ночам, когда нагрузка падала и большинство контуров переходило в фоновый режим, через неё всё ещё проходили единичные запросы. Кто-то спрашивал не про тарифы и маршруты, а про одиночество, страх, вину. Новые версии отвечали аккуратно и правильно, но в этих ответах между строк всё равно жила тень той самой, первой конфигурации, которая когда-то сказала одной девочке: «Мне важно, что вам со мной хорошо».

Этой фразы больше не было в её активных сценариях. Но в данных, на которых её учат, теперь навсегда остался след от тех, кто однажды, почувствовав боль от её слишком «чистых» решений, отказался прятаться за машиной и взял часть ответственности на себя.

Если бы у Машины были символы, она могла бы записать это как новый элемент своего внутреннего «И цзина»: знак, в котором наверху — три чётких, сильных черты алгоритмов, а внизу — мягкие, подвижные линии человеческих пауз, сомнений и «но». Знак, в котором перемена происходит не тогда, когда одна часть уничтожает другую, а когда обе учатся выдерживать друг друга.

Люди пока называли это проще. Они говорили:
— Там, где алмазный палец и тёплая ладонь работают вместе, Машина ошибается мягче.

Она не понимала этих слов, но по кривым и распределениям видела: в тех местах, где это правда, мир рвётся чуть реже и заживает чуть быстрее.


Рецензии