Рутинная Процедура. Глава 14. Приоритеты

Начало:  http://proza.ru/2022/10/13/178
Оглавление:  http://proza.ru/avtor/mariamerlot&book=5


   Изучение базы данных принесло тревожные результаты: на Базе не было ни одного программиста, если не считать Эммы. Все программисты, успешно погружённые в анабиоз, погибли в результате различных взрывов в течение последних 15 лет.
   Профессор нашёл в архивах оригинальные карты расположения людей в разрушенных анабиозных залах. После внимательного их изучения, он сказал:
   – Глаза мои быстро устают от компьютера. Пойду-ка я в оранжерее поработаю.
   – Я тоже! – подхватил Мишка.
   – И я с вами. Вместе веселее, – поддержала Эмма.

   – Я посмотрел на схему расположения людей в разрушенных залах, – сказал Питер, как только они прошли вглубь оранжереи. – Нора, библиотекарь, и Александр, дизайнер, были в зале программистов. Их родственники были программистами, поэтому их разместили в том же зале. Так вот, их ванны были не самыми близкими к выходу и не самыми далёкими от центра взрыва. Но почему-то спасли и перенесли в медицинский центр только их. Во всём зале было ещё двое не-программистов, те погибли в самом взрыве. Но было и несколько программистов, ванны которых не пострадали от взрыва. Их можно было спасти, как и Нору с Александром. Анабиозную ванну можно отключить от системы обеспечения без угрозы для жизни человека, погружённого в неё, на полчаса. Согласно записи в архиве, роботы смогли вывезти за полчаса только две ванны. Почему они выбрали именно Нору и Александра, хотя там были ванны ближе к выходу, и возможно, можно было бы спасти трёх или четырёх ближних?
   – Ты думаешь, это было не случайно? – спросила Эмма.
   – Конечно! Сама посуди. Невозможно было спасти всех. Значит, надо решать, кого спасать, а кого оставить. Если все люди одинаково ценны, то алгоритм очевиден – максимизировать число спасённых. Роботы этого не сделали. Значит для них была разница между людьми. По крайней мере для того, кто командовал, была разница.
   – 303? – спросил Мишка.
   – Он самый.
   – Я не хочу защищать 303, – сказала Эмма, – и, по-моему, это на него похоже, но не совершаем ли мы ошибку, применяя к нему человеческие эмоции?
   – Человеческие эмоции он, конечно, не испытывает, но для решения морально-этических вопросов у него тоже должна быть шкала хорошо-плохо, лучше-хуже. Значит, мы можем применить к нему психологию.
   – Психология – наука о людях. Как мы можем применять её к роботам?
   – Эмма, алгоритмы для ИИ писали люди. Они не могли вложить туда иную моральную шкалу и логику, кроме как свою, человеческую.
   – Изначально, да, – Эмма задумалась и потом вздохнула. – Эх, если б мы могли заглянуть в электронные мозги 303 и посмотреть, какая у него сейчас шкала ценностей.
   – Это легко, – неожиданно вставил Мишка. – Все роботы регулярно проходят техническое и программное обслуживание, в том числе дефрагментацию памяти. Вначале обязательно снимается копия текущего состояния системы, чтобы можно было на неё откатить, если что-то пойдёт не так. Если всё проходит нормально, потом эта копия уничтожается. А мы можем её сохранить и изучить.
   Заметив Эммин удивлённый взгляд, он пояснил:
   – Я нашего домашнего робота так изучал.
   – И ты поможешь мне разбираться в этом файле? – с интересом спросила Эмма.
   – Конечно!

   Эмма начала активно интересоваться поддержкой обеспечения Базы, особенно профилактикой неполадок и регулярными техосмотрами роботов. Это было вполне естественно для человека, ответственного за всё на Базе. Мишка присоединялся к ней “из юношеского любопытства”, а Питер громогласно заявил, что он чужд всех этих технических деталей и всё равно в них ничего не понимает. Он предпочитал работать в оранжерее и читать книги на свои любимые темы – историю и психологию.
   Очень скоро они выяснили, что 303 не проходил программное обслуживание уже 20 лет. Как он сам объяснил, из-за огромной ответственности, возложенной на него по управлению Базой.
   – А если ты сломаешься? – спросила Эмма. – Просто механически сломаешься?
   – Техническое обслуживание я делаю регулярно, – ответил 303, – оно включает смазку, смену батареек и замену износившихся частей. Я всегда нахожусь в верхних 5% от пика моей физической формы.
   – Это замечательно. Молодец! – похвалила Эмма. (Питер утверждал, что “заслуженная похвала” так же действует на роботов, как и на людей, и рекомендовал применять её почаще для притупления бдительности 303.) – А как насчёт интеллектуальной части? Фрагментация памяти, быстрота реакции, скорость обработки данных и принятия решений?
   – В меня встроены алгоритмы самотестирования. Также, в минуты отдыха, я провожу профилактическую частичную дефрагментацию памяти.
   – Сам себе проводишь, не отключаясь?
   – Да.
   – Это ты хорошо придумал. Но ты понимаешь, что при самодефрагментации ошибка накапливается со временем?
   – Да. Но пока диагностика показывает правильные результаты, беспокоиться не о чём.
   – Отлично. Как часто ты проводишь самодиагностику?
   – От 19 до 47 раз в сутки, в среднем 36.5 раза.
   – А частичную дефрагментацию?
   – 1 или 2 раза в сутки, в среднем 1.3 раза.
   – Очень хорошо. 303, если ты неожиданно выйдешь из строя, например в результате сильного взрыва или катастрофы, кто станет тебя заменять?
   – В случае моей неспособности нормально функционировать последняя резервная копия моего интеллектуального состояния будет загружена в память резервного робота серии 303. Загрузка занимает 16 минут. В течение этого времени все роботы продолжают выполнять поставленные перед ними задачи согласно установленным приоритетам и иерархии команд.
   – Как часто ты сохраняешь свою резервную копию?
   – 1 раз в сутки.
   – Сколько таких копий хранится?
   – 100 последних копий.
   – Я хочу на них посмотреть. Я ведь сама была программистом на заре развития робототехники и искусственного интеллекта. С тех пор роботы развились чрезвычайно сильно. Я не ошибусь, если скажу, что ты – вершина достижений в этой области.
   – Я послал на твой компьютер адрес, откуда ты можешь скачать любую из хранящихся копий.
   – Отлично.

   Копии сознания 303 работали только в режиме считывания, но изучать их можно было сколько угодно. Эмма заполучила также копии М, Комма и Ра. Мишка неожиданно оказался очень смышлёным и опытным хакером.
   – Я всех наших домашних роботов перенастроил, – признался он Эмме. – Больше всего пришлось повозиться с поваром. Я не мог ему просто запретить использовать брокколи, а то мама бы сразу заметила. Я настроил его в любом рецепте уменьшать количество брокколи в 4 раза. Так он довольно быстро сообразил всякие другие капусты, даже кейл, тоже уменьшать. Только ты маме не говори! – спохватился Мишка.
   – Не скажу, – улыбнулась Эмма.

   Через несколько дней трое людей снова держали совет в оранжерее.
   – Мы составили таблицу приоритетов, – сообщила Эмма. – Она подтвердила наши опасения. Высший приоритет у меня, потом, с совсем небольшой разницей, у 303. Потом идут другие роботы согласно их командной иерархии, например, для всех медиков сразу после 303 идёт М. И только потом идут люди. У людей тоже была своя иерархия, но все люди с более высоким приоритетом уже погибли. Теперь у всех людей, кроме меня, одинаковый приоритет. Довольно низкий.
   – То есть мы не можем повлиять на то, как они нас лечат, как они что-то строят, растят, защищают Базу и вообще ведут дела? – спросил Питер.
   – Боюсь, что так, – кивнула Эмма.
   – Я ощущаю себя бараном, которого пасут. – Питер нахмурился.
   – Но как так может быть? – воскликнул Мишка, – Это же противоречит законам робототехники!
   Питер задумался. Он продолжал машинально обрезать ветки перед собой. Эмма его остановила.
   – Питер, ты сейчас эту бедную вишню под корень срежешь.
   – Нет, не противоречит, – он прекратил обрезать вишню и посмотрел на Мишку. – Самый главный закон – защищать людей. Даже в былые времена, когда роботы слушались людей, ни один робот не смог бы убить человека, даже если человек (этот же или другой) приказал ему это. Я могу провести всю логическую цепочку:

   1. Задача – защищать людей любой ценой.
   2. Самый эффективный способ решить любую задачу это поручить принятие решений самому компетентному в этом вопросе существу. Например, люди вполне доверяют лечение медицинским роботам. Хотя, конечно, человеческий доктор мог вмешаться и изменить решение роботов.
   3. Когда люди легли в анабиоз, они вынуждены были предоставить роботам, особенно 303, больше гибкости и самостоятельности. Что могло привести 303 к выводу, что люди доверяют ему больше чем самим себе. Тем более, что так оно и было.
   4. В любой самообучающейся системе есть обратная связь – и положительная, и отрицательная. У животных это боль и удовольствие на физиологическом уровне и положительные и отрицательные эмоции на эмоциональном. Для искусственного интеллекта это должно быть связано с тем, как эффективно он решает поставленные перед ним задачи.
   5. Это значит, что критика ему должна быть неприятна, выражаясь языком психологии.
   6. Чем выше поднимался приоритет 303, тем меньше критики он получал, тем больше он был уверен, что он на правильном пути. Тем выше он поднимал свою позицию в командной иерархии, да и всех роботов тоже. Без поправок со стороны людей, логично было сделать вывод, что роботы более компетентны, чем люди. В конце концов, они ведь сами назначили роботов управлять Базой, а сами спрятались в анабиозе. Тем самым признав роботов более компетентными.
   7. Единственный человек, к которому эта логика не применима, – это Эмма Вальц, которая в анабиозе не пряталась и вообще принадлежала к эпохе людей, которые создали роботов. Эдакий аналог Бога (в нашем случае – Богини) в человеческой психологии.
   8. Пока на Базе не было ни одного бодрствующего человека, 303 не получал никакой критики, что для него должно было означать, что он абсолютно прав. Очень может быть, что цель сохранения такого состояния – отсутствия критики – стало вполне самостоятельной и очень важной целью.
   9. Поэтому, когда внеки повредили анабиозный зал, и 303 не мог спасти всех людей и выбирал, кого спасать в первую очередь, он выбрал тех, кто представлял наименьшую вероятность критики его действий. Приняв такое решений один раз и, естественно, не получив в ответ никакой критики, он использовал эту же логику и при других взрывах.
   10. Более того, гибель людей приводила к уменьшению вероятной критики в будущем. Подозреваю, что 303 ещё не дошёл до прямого убийства людей, но у него есть серьёзный стимул не сильно бороться со взрывами.

   – И не сильно торопиться с восстановлением повреждений сейчас? – спросила Эмма.
   – Да. Как ни страшно мне это признавать, но скорее всего ты права. 303 стремится к абсолютной власти.

   В оранжерее повисло тяжёлое молчание.
   – Надо его перепрограммировать! – воскликнул Мишка.
   – Надо, – согласилась Эмма, – только это надо сделать очень аккуратно. Единственный шанс изменить его программу – во время техобслуживания. В конце техобслуживания происходит проверка правильного функционирования. Если хотя бы один тест проваливается, его сознание автоматически откатывается на последнюю резервную копию. Я пока не вижу способа изменить резервные копии. Значит, надо как следует разобраться в этих тестах, чтобы изменить программу, не нарушив их.
   – Может быть, можно стереть все его резервные копии? – спросил Питер. – Тогда он не сможет восстановиться.
   – Я думала об этом. Во-первых, он их надёжно защитил. Копии записаны на оптические диски, которые невозможно модифицировать. Их можно физически разрушить, но система всё время проверяет их количество и качество и немедленно создаёт новые, чтобы их всегда было 100.
   Питер тяжело вздохнул:
   – А во-вторых?
   – А во-вторых, я думаю, это плохая идея. Если мы уничтожим 303, мы окажемся с армией роботов, которые подчиняются только мне. А я не смогу их всех контролировать так, чтобы обеспечить работу Базы. Я просто не знаю всех тонкостей. Нам нужен исправно работающий 303. Только излеченный от мании величия.
   – У меня есть идея, где найти тесты 303, – сказал Мишка.
   – Отлично, – обрадовалась Эмма, – этим мы с тобой и займёмся.


Глава 15 (из 25): http://proza.ru/2022/10/25/138