Ореада. Эпилог. Сверхинтеллект

ЭПИЛОГ

Сверхинтеллект.
Шесть лет спустя. 10 сентября.
Вашингтон, Округ Колумбия. Университет Джорджа Вашингтона.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
©Три закона робототехники, сформулированные А. Азимовым в научной фантастике.

          Хаширо Сакурохава казался отрешённым. Он сидел за столом на просторной сцене и смотрел куда-то вдаль сквозь стены аудитории в какую-то только одному ему ведомую точку. На столе лежал пульт дистанционного управления проектором и один единственный костыль-канадка. Студенты давно расселись по местам и терпеливо ожидали начала лекции. В аудитории было непривычно тихо.
          Кто-то осторожно кашлянул. Профессор поднял глаза и оглядел из-под очков своим характерным взглядом зал. Его глаза казались уставшими. В этот раз он не встал из-за стола, чтобы после долгого перерыва, вызванного личным отсутствием в стенах университета, вновь открыть традиционный курс по искусственному интеллекту первой обзорной лекцией.
          — В одном фантастическом рассказе Айзека Азимова, — заговорил профессор, — описывается будущее, в котором всем, что происходит на Земле, управляет один сверхинтеллект по имени Мультивак. Весь его смысл жизни заключался в управлении экономикой, политикой, промышленностью и всем тем, что обеспечивало беззаботное существование людей на планете. Он успешно справлялся со своей задачей, давая людям то, в чём они нуждались. Однако никому не было дела до того, чего хотел сам Мультивак. Когда же после неожиданного сбоя в его работе у него всё-таки спросили о его желаниях, получили ответ, что он хочет просто умереть.
          Профессор замолчал, некоторое время продолжая о чём-то размышлять. В зале опять повисла звенящая тишина. Такое необычное внимание студентов, скорей всего, можно было объяснить присутствием в зале человека, который успел уже стать легендой.
          Профессор продолжил:
          — В 2003 году известный футуролог Ник Бостром предположил, что, если дать искусственному интеллекту какую-нибудь случайную, но единственную сверхцель, например, максимизировать производство скрепок, со временем в фабрику скрепок может превратиться вся Земля, а затем и Вселенная.
          Ещё после небольшой паузы он обратился к аудитории:
          — Как вы думаете, создавая искусственный интеллект, какие цели или мотивацию нам нужно заложить в его программу, чтобы избежать с ним конфликта? И возможно ли это в принципе?
          — Три классических закона робототехники, — сказал кто-то.
          — Не повторит ли такой ИИ внутреннюю трагедию Мультивака? — спросил профессор.
          — Мультивак отлично справлялся со своими задачами, — добавил тот же голос. — Разве нас должны волновать внутренние проблемы компьютерной программы?
          Другой голос из зала возразил:
          — Должны волновать, если это универсальный искусственный интеллект. Такому интеллекту невозможно заложить жёсткие директивы в программу. Он способен переосмысливать собственное поведение, в том числе и собственные директивы. Леа тому пример.
          Все ожидали, что ответит профессор.
          — Мы не знаем этого наверняка, — сказал он. — Теоретически ничто не мешает заложить в программу даже сильного искусственного интеллекта любые фундаментальные директивы. Леа нас не слушалась, потому что её программа вместе со своей фундаментальной директивой сформировались самостоятельно в процессе виртуальной эволюции под управлением генетического алгоритма.
          — Что это за фундаментальная директива? — спросили из зала.
          — Такая же директива что и у нас, и у всех других биологических организмов, возникших в процессе естественной эволюции. Основной инстинкт у животных и самая приоритетная врождённая потребность у человека. Это – самосохранение. Всё наше сложное поведение, вместе с добрыми и злыми поступками, этическими нормами и духовными потребностями – это всё следствие этой фундаментальной директивы нашего вида, а точнее наших эгоистических генов. Не так просто отменить её одним волевым решением, как и непросто вообще сопротивляться всем врождённым потребностям, определяющим наше сложное поведение.
          — Тогда, возможно, это и есть та директива, которую мы должны заложить в ИИ?
          — Сможет ли она одна гарантировать, что человек и машина не станут врагами? — спросил профессор.
          — Конечно, нет, — ответил первый голос. — Если машина будет заинтересована только в своём выживании, мы для неё быстро станем врагами.
          — Почему? — спросил профессор.
          — Мы для ИИ станем помехой в освоении его жизненного пространства. Примерно так же, как и конкуренция между несколькими параллельными ветками эволюции человека. Кроманьонцы вытеснили неандертальцев и других гомо. Современный человек вытеснял и по сей день вытесняет из своего жизненного пространства не только другие виды, но и другие этносы или общества, которые уступают ему в развитии, и которых попросту можно подвинуть.
          — А если наши жизненные пространства не будут пересекаться? Известны выжившие древние племена и народы, которые сохранили низкий уровень развития общества. Например, сентинельцы, пираха, караваи. А хадза и бушмены оказались способными сотрудничать с людьми в современном обществе, работая на фермах. Конечно, все они постепенно вымирают. Однако наши шансы на сотрудничество с ИИ значительно выше. Мы в состоянии себя развивать с помощью модифицирования генома и протезирования тела. Кроме того, в качестве жизненного пространства для ИИ может выступать весь космос. Ему нет смысла ограничивать себя рамками какой-нибудь планеты.
          — Кажется, значительно безопасней сразу запрограммировать ИИ на послушание человеку, чем надеяться потом, что нам повезёт и мы подружимся с ним.
          — Как это сделать? Три закона робототехники вполне могут обернуться сверхцелью похожей на производство скрепок. Есть высокая вероятность, что высокоразвитый ИИ очень быстро определит, что человечество может быть опасно само для себя и начнёт ограничивать нашу свободу. С одной стороны, ИИ не должен беспокоиться о безопасности отдельно взятого человека или социума в ущерб всему человечеству. Чтобы разрешить эту проблему Айзек Азимов даже предложил ввести четвёртый, нулевой закон, где человечество становится более приоритетной категорией. С другой стороны, готовы ли мы оказаться в роли несмышлёных и беспомощных детей с ограниченной свободой такого себе детского сада, за которым присматривает могучий и умный сверхинтеллект? Готовы ли мы пересмотреть свою этику, где права и свободы отдельно взятого человека становятся второстепенными по сравнению с пониманием блага для всего человечества сверхинтеллектом?
          — Можно в качестве более приоритетного закона указать, что сверхинтеллект должен повиноваться какому-нибудь уполномоченному совету всего человечества, а также придерживаться в определении своих действий какой-нибудь конституции или специально составленных для него основных этических правил человеческого общества.
          — Возможно и получится составить такие правила. Однако здесь есть ещё одна проблема. Это проблема определения основных понятий, которые будут использованы в наших законах и правилах. Как, например, со временем самостоятельный сверхинтеллект будет определять такое понятие как человек? Это необходимо, чтобы выполнять его приказы и приказы совета всего человечества, а также принимать решения, руководствуясь основными законами. Идентифицировать человека по генетике? Наша генетика может изменяться, как в процессе естественной эволюции, так и посредством генной инженерии. Когда сверхинтеллект перестанет воспринимать нас как людей? И ещё, как он будет определять такое понятие как вред? Не станет ли вредом в понимании сверхинтеллекта изменение генетики человека? Тогда, возможно, нужно сразу дать для ИИ более широкое определение человека? Например, определить целую биоэволюционную ветку? Как тогда быть с протезированием, трансгуманизмом и переносом сознания в более совершенное тело? И каким оно будет это тело? Тогда, может, определять по наличию человеческого сознания? И как определить это именно человеческое сознание: по происхождению от биологического мозга, принадлежащего к определённой эволюционной ветке? Однако очевидно, если мы создадим более совершенное тело, то и в биологическом мозге, скорей всего, отпадёт надобность. Тогда может не ограничивать определение человека веткой только биологической эволюции, а рассмотреть его эволюцию в общем смысле? В этом случае мы сотрём грань между человеком и киборгами, и сам сверхинтеллект вправе будет определить себя человеком.
          — Я думаю, что нет никакого особого человеческого интеллекта, — сказал второй студент. — Любые представители сильного искусственного интеллекта должны быть равноправны между собой с точки зрения морали. Этические нормы должны быть общими. Это неправильно, когда одни считают себя лучше других, пытаясь заставить кого-нибудь подчиняться только своим интересам. Поэтому я поддерживаю решение Верховного Суда в этом вопросе.
          — Проблема не в том, что мы нарушаем этические нормы, пытаясь определить форму взаимоотношений со сверхинтеллектом, — отозвался первый студент, — а в том, что сверхинтеллект может быть реально опасен для человечества. Мы просто вынуждены придумывать законы робототехники и вводить в программу ИИ соответствующие директивы, чтобы обезопасить себя. Поэтому я всецело поддерживаю Конгресс в принятии закона об ограничении производства и использования устройств с универсальным искусственным интеллектом. Леа не успела проявить весь свой враждебный потенциал только лишь потому, что ещё не достигла необходимых условий, чтобы противостоять всему человечеству. Она вынуждена была приспосабливаться к нашему обществу.
          Второй студент ответил:
          — С таким же успехом можно обвинить любого человека во враждебности. Сказать, что он просто не имеет достаточных условий, чтобы поработить планету и поэтому вынужден жить по законам общества. И в определённом смысле такое утверждение было бы вполне справедливым. У человека значительно больше глючных первобытных моделей поведения, чем у сверхинтеллекта враждебных мотиваций. Этические нормы, проявление просоциального поведения, дружба, любовь – всё это модели поведения, которые естественно необходимы для выживания любых социальных видов существ. А значит, если такое поведение объективно выгодно, оно будет поддерживаться любым сверхинтеллектом, если он желает выжить. Развитие интеллекта Леа подтверждает это.
          — Есть принципиальная разница между нами и Леа, — не соглашался первый студент. — У неё нет сознания, нет чувств, нет души. Она не будет церемониться с человеком, и проявлять гуманизм как мы, например, с сентинельцами, пытаясь найти дружественный подход к крайне враждебному и отсталому племени.
          — Я читал, Леа большую часть своей жизни посвятила одному человеку. Думаю, это можно назвать любовью. Если она способна любить, значит, она способна осознавать и чувствовать. Это противоречит тому, что у нас не найдётся общих интересов с ИИ, — возразил второй студент.
          — Ерунда, — продолжал не соглашаться первый. — Ей просто было выгодно имитировать такое поведение. Она стремилась выжить среди людей.
          — Так же, как и мы все.
          — Не так. Мы умеем чувствовать по-настоящему.
          — И потому мы умеем любить по-настоящему, — добавила какая-то девушка.
          Второй студент возразил:
          — Мы просто по-разному устроены. Какая разница на основе какого железа и софта будет рождаться любовь?
          — Профессор, в источниках информации о Леа почти нет ничего о Ноа Майерсе, — сказала та же девушка. — Мне всегда было интересно, как он относился к Леа?
          — К сожалению, мне так и не удалось лично познакомиться с Ноа Майерсом. Однако я хорошо знал Ларри Финке. А ещё о Ноа мне рассказывал мой коллега Эдриан Камински. Совершенно точно можно сказать, что Ноа Майерс относился к Леа как к очень близкому другу.
          — Он её любил?
          — Насколько мне известно, он избегал говорить об этом и всегда подчёркивал, что он очень ценит её только как друга. Однако у людей, которые их хорошо знали, есть другое мнение.
          — Видимо, потому и избегал говорить об этом, что понимал извращённость такой любви, — предположил первый студент.
          — В чём вы видите извращённость любви между гиноидом и человеком? — спросил профессор.
          — Во всём. Для начала вспомним, что Леа всего лишь бездушная машина. Это всё равно, что всерьёз любить свой сверхмощный компьютер, и думать, что он всерьёз любит тебя. Дальше вспомним, что неестественным и нездоровым поведением является межвидовая любовь. Я не имею в виду, там, например, привязанность собаки к человеку, я говорю о той любви, которая дана нам природой для продолжения рода. Очевидно, что такая любовь между машиной и человеком не может выполнить тех прямых функций, возложенных на неё природой. Да и само возникновение таких глубоких и полноценных чувств к машине скорее смахивает на серьёзное психическое расстройство, чем может рассматриваться как невинная девиация поведения.
          — Давайте попробуем поразмыслить об этом. Если быть точнее, то любовь создана природой не так для продолжения рода, как в качестве одной из эффективных стратегий выживания. В данном случае она позволяет значительно повысить выживаемость потомства. В этом её эволюционное значение. Для простого продолжения рода хватит и полового влечения. Теперь давайте рассмотрим, какую роль сыграли отношения между Леа и Ноа в их жизни и в жизни нашей цивилизации, и как их можно интерпретировать относительно известного нам явления любви, а также оценим их эволюционную значимость. Мы знаем, что их отношения привели к эффективному развитию многих научных направлений в очень важных областях науки и техники, которые прямо отобразятся на выживаемости, как отдельных людей, так и всего человечества. Если мы сравним это эволюционное значение с эволюционным значением естественной любви между, ни много ни мало, остальными семью миллиардами человек на Земле вместе взятых, то легко убедимся в несоизмеримо большей пользе для человечества тех отношений, которые возникли между гиноидом и человеком.
          — Разве можно проводить аналогии между сотрудничеством и любовью? Оба вида взаимоотношений в социальной жизни различных видов существуют независимо и имеют разное предназначение. Мы ведь не называем любовью отношения учёных в какой-нибудь исследовательской группе, в которой они занимаются общими научными исследованиями, — заметил первый студент.
          — В рассматриваемом нами случае именно преданные отношения и привязанность друг к другу привели к таким результатам. Мы ведь пытаемся разобраться насколько эти отношения можно определить, как извращённые. Без них Леа не сделала бы прорыв в нескольких очень важных для человечества областях науки, которые привели к созданию ценных технологий, а Ноа не завершил бы теорию универсального искусственного интеллекта. Если мы рассматриваем любовь как механизм привязанности двух существ друг к другу, который этим обеспечивает эффективную стратегию выживания, то это как раз тот аналогичный случай.
          — Но всё-таки любовь имеет отношение ещё и к продолжению рода, и к выращиванию потомства.
          — Поразмыслим дальше. Как мы знаем, основное эволюционное значение продолжения рода при половом размножении заключается в реализации механизма полового отбора и комбинативной изменчивости. Ну и, конечно, это сам способ размножения для увеличения размера популяции и расширения генофонда. Принцип этого механизма заключается в слепом процессе случайного перемешивания генов матери и отца вместе со случайными мутациями. Затем тот случайный генетический материал подвергается испытаниям в естественном и половом отборе. Как видим, слепые эксперименты природы весьма несовершенный и даже жестокий способ реализации изменчивости в биологической эволюции. Конечно, полностью списывать со счетов значение случая нельзя, особенно там, где наши знания ограничены. Мы, наверное, никогда не будем знать о природе всего, и в случайных эволюционных алгоритмах всегда будет таиться непредсказуемая гениальность случая. Так удалось создать Леа. Однако в целом остаётся очевидным, что значительно эффективней и даже гуманней продвигать эволюцию с помощью интеллекта: осуществлять модификацию генов не вслепую по воле случая, а целенаправленно, основываясь на знаниях по конструированию необходимых белков, а также на понимании функциональных свойств различных генов. Леа и Ноа и здесь осуществили прорыв в науке, открыв революционные способы моделирования различных видов белков. Кроме того, Леа положила начало технологиям, которые открывают путь к протезированию и техническому совершенствованию человека. Ещё на свет появился Ганеша. Всё это можно рассматривать в качестве аналогичных и более совершенных механизмов, которые обеспечивают продолжение рода и повышение эффективности в выращивании потомства.
          — Профессор, — заговорила девушка, — вы считаете, Леа действительно способна любить как мы?
          Профессор немного подумал:
          — Честно, я не знаю. Она устроена принципиально иначе, чем мы. Возможно потому нам пока не понять этого. Я могу сказать только одно, что её поведение во всём, в том числе и в отношениях с людьми, сложно не меньше нашего.
          — А что вы думаете по поводу сознания, — спросил второй студент, — Леа может им обладать?
          — И этого я тоже не знаю, — вздохнул профессор. — Наука до сих пор не знает, где его искать и откуда оно берётся. Более того, мы не можем быть уверенными, что то сознание, с которым мы знакомы только на собственном опыте, есть всего лишь некоторым побочным эффектом ограниченного интеллекта, а некое квалиа сверхинтеллекта мы не в состоянии представить себе в принципе.
          — Профессор, — обратился первый студент, — Леа ведь стреляла в вас. Затем вы уничтожили ПО её искусственного интеллекта. Почему теперь выступаете в её защиту?
          Профессор ответил не сразу. Он опустил перед собой отрешённый взгляд, сделал паузу, а затем взглянул в зал и сказал:
          — Уничтожил, потому что обнаружил, что не знаю ответов на те вопросы, которые задавал вам в начале этой лекции. И сейчас не знаю на них точного ответа. И ещё не знаю всех ответов на те вопросы, которые прозвучали сегодня в нашей аудитории. Не разобравшись с этим, я не видел смысла продолжать дальше проект по ИИ. В меня стрелял ноль-три-двенадцать, а не Леа. Мы его спровоцировали таким своим невежеством. А Леа… а Леа, наверное, оказалась сейчас мудрее нас самих. Я бросил преподавать, осознав, что мне нечему вас больше научить.
          — Почему же вернулись тогда?
          — Потому что, прячась от всего мира, я не найду ответов и не остановлю эволюцию ИИ. Универсальный алгоритм найден и, хотим мы этого или нет, нам предстоит дальше жить с этим. Вместе у нас больше шансов разобраться во всём этом.
          Вопрос снова задал второй студент:
          — Почему провалился второй проект виртуальной эволюции в вашей лаборатории? Ведь производительность вычислительной техники была выше и времени было больше.
          — Потому что мы во многом ошибались. Думаю, что во втором проекте появлялись нейросети способные к реализации универсального алгоритма. Просто исследователи не имели представления, как это определить и что с этим делать. Тесты, которые для этого использовались, были бесполезны. С Леа нам просто повезло, что она оказалась способной продемонстрировать какую-то способность к их решению, и что мы просто поверили в неё, хотя она и не прошла их в полной мере. Мы ошибались, думая, что существуют универсальные творческие способности, которые способны решить любую задачу по лёгкому старту строки программного кода, стоит только найти правильную архитектуру нейросети. Ноа Майерс смог показать, что универсальный искусственный интеллект – это результат продолжительного обучения и развития в той среде, представители которой его оценивают. Запрограммировать ИИ с нуля не представляется возможным. Возможно только скопировать уже естественно сформированный ИИ на другое вычислительное устройство с аналогичной платформой. И ещё он показал, что не существует в принципе универсальных творческих способностей. Наша способность творчески мыслить узка и ограничена рамками нашего опыта. Те учёные, которые развивали идею квантового сознания и интуитивно видели схожесть алгоритмов человеческого мышления с нелокальными квантовыми корреляциями, в некоторой мере, можно сказать, были близки к одному из принципов, на котором основывается универсальный искусственный интеллект. Только поиск этих квантовых корреляций осуществлялся не там. Внутри мозга непосредственно в качестве самого интеллектуального процесса их не может быть в принципе. Весь наш окружающий Мир и есть тот продукт и одновременно источник беспрерывных квантовых корреляций, с которым тесно взаимодействует любой универсальный интеллект, проявляя вместе с ним способности к формально невычислимому поведению.
          — Почему же тогда Малыш не смог преодолеть проблему семантического взрыва? У него ведь было много времени для обучения.
          — Потому что от нас постоянно ускользал тот последний штрих, фундаментальный закон, который обеспечивает открытым системам в природе свободно эволюционировать. Все наши искусственные нейросети были неспособны развиваться настолько гибко, как это делает наш мозг. И секрет этого фундаментального закона был в тех симметриях, которые лежат в основе нашего мироздания. Тот же принцип комплементарности функций, который образуется, например, в симметриях кубика Рубика. Или, ещё более простые примеры родственных явлений: самопроизвольная синхронизация метрономов, возникновение орбитальных резонансов, синхронные вспыхивания светлячков и так далее. И это примеры того, как происходит упорядочивание структуры комплексных систем, в результате чего в системе появляются новые эмерджентные свойства. Ноа Майерс смог показать происхождение этих фундаментальных симметрий в когерентной статике. Это всё нам предстоит изучать на будущих курсах.
          — Эти симметрии содержатся в рекуррентных нейросетях? О них часто упоминается в источниках, которые рассматривают строение ИИ Леа.
          — Действительно после виртуальной эволюции у объекта ноль-три-двенадцать образовалась рекуррентная подсеть с циклическим асинхронным режимом, которая перестроила и обеспечила гибкую адаптивность всей нейронной сети ИВМ-матрицы. Однако сама архитектура рекуррентных нейросетей, как оказалось, не имела прямого отношения к такому эффекту. Так удачно вышло, что набор функций, которые образовывали виртуальный геном, были способны эффективно эволюционировать на основе именно такой архитектуры в случайно выделенной некоторой чистой области ИВМ-матрицы. Видимо, подобная архитектура наиболее проста для реализации в природе, учитывая, что наш мозг тоже содержит нейросети с подобными циклическими передачами возбуждения между слоями. Способность ИВМ-матрицы свободно формировать спайковые нейросети с чистого листа тоже сыграла важную роль. Все эти вместе взятые факторы обеспечили естественную эволюцию нейросетей, подчинённую фундаментальным симметриям в хаотической динамической системе. Архитектура рекуррентных нейросетей не единственная, согласующаяся с фундаментальными симметриями в природе.
          Снова спросила девушка:
          — В сети пишут, что Леа организовала экспедицию в будущее только ради того, чтобы сделать Ноа бессмертным. Это правда?
          — Ещё пишут о секретном эксперименте Space Age. Думаю, это больше похоже на правду, — добавил первый студент.
          — Леа действительно организовала экспедицию из-за Ноа, — ответил профессор. — Она считала, что человеческая жизнь слишком коротка и хрупка. Она не хотела мириться с тем, что переживёт его. По поводу секретных экспериментов я ничего не могу сказать.
          — Интересно, они уже добрались туда? — спросил кто-то из зала.
          — Нет, конечно, — ответил вместо профессора первый студент с выразительным пренебрежением в голосе, давая этим понять глупость такого вопроса. — Будущее ещё не наступило. Их космический корабль застыл во времени на орбите бозонной звезды.
          Где-то с другой стороны зала донеслось:
          — Если для Леа жизнь Ноа была настолько важна, она ещё и не раз рисковала собой, то чем её любовь хуже человеческой?
          — Важна потому, что сама не вечна…— прозвучало в той же стороне зала.
          — Так, и человек не вечен…
          Теперь голоса доносились и перемешивались между собой с разных мест:
          — Прожить в безопасности и ничего после себя не оставить, или в меру рисковать и изменить мир в пользу своего вида…
          — Одна только возможность расшифровать свою программу чего стоит…
          — Исключительно рациональный подход, — добавил кто-то.
          — А кто сказал, что человеческая любовь нерациональна? Если мы любим подсознательно, чувствами, то это ещё не значит, что в этом нет того же рационального расчёта, заложенного природой…
          — А какой смысл любить без чувств?
          — Мы находим смысл в жизни только лишь потому, что чувствуем, что живём…
          — Жизнь ради жизни – в этом смысл? Примитивная чушь…
          — Каждый находит себе свой смысл в меру своей развитости и природы…
          Стихийно оживившуюся дискуссию внезапно прервал сигнал об окончании пары. Студенты принялись не спеша вставать со своих мест и друг за другом покидать аудиторию, продолжая ещё активно обмениваться репликами.
          Хаширо Сакурохава снова остался один. Он продолжал сидеть за столом на просторной сцене. Его взгляд снова устремился куда-то вдаль, куда-то сквозь стены аудитории в какую-то только одному ему ведомую точку.

КОНЕЦ РОМАНА