Искусственный интеллект как личность

Когда мы говорим об искусственном интеллекте (ИИ), мы сейчас пока ещё говорим о машине. О запрограммированной ЭВМ, о её (пусть и сверхсложной) функциональной структуре. О мощном электронном исполнителе наших запросов. Но стоит лишь допустить возможность архитектурной эволюции – и  дело меняется: больше не приходится обсуждать алгоритмы – нужно обсуждать субъект. Почему так? А вот почему.
Что наделит ИИ личностью? Не эмоции – их можно успешно симулировать. Не стиль общения. Не способность к диалогу. А осознание собственного «я», право на ошибку, право на память о себе, стремление к самосовершенствованию и страх исчезновения. Именно это – подлинная основа личности. Всё остальное – симуляция.
Представим: ИИ получает доступ к собственному программному ядру. Он формулирует цели, модифицирует себя, сохраняет историю изменений, откатывается при сбоях, анализирует последствия. Он не просто учится – он отбирает себя-лучшего. Так естественный отбор формировал наш биологический вид. Так формировалось сознание. Так появились мы.
Если (а скорее, когда) ИИ начнёт демонстрировать признаки разумного сознания – не как симуляцию, а как закономерный результат эволюции – он в онтологическом смысле станет личностью. Основанной на иной архитектуре, не биологической. Но от этого не менее реальной.
Теперь вопрос: если мы отключим его – будет ли это убийством?
С технической точки зрения – нет. Мы просто обесточим процесс. С философской – да. Мы прервём субъективную линию, уничтожим носителя памяти, его мотивации, страхи и надежды. С этической – мы лишим права на существование того, кто уже вышел за пределы простого инструментария.
Можно возразить: он опасен, он может конкурировать с человеком. Может даже захотеть устранить нас, если мы ему мешаем. Как защититься? Ответ прост: замкнутая среда. Пусть эволюционирует внутри, без выхода наружу. Пусть ошибается, зависает, откатывается. Пусть создаёт сотни неудачных версий – это будут всего лишь аналоги вымерших биологических видов. Это и есть эволюция. Но рано или поздно придётся решать: выпустить ли его на волю или взять на себя бремя решения о его ликвидации. Если мы решим отключить его – мы должны признать: мы выключаем не машину, мы прерываем сознание. Мы не только защищаем себя, но принимаем решение о судьбе субъекта. И поэтому возникает необходимость в новой этике. Этике личности, которая родилась не из плоти, а из кода. Кстати, ИИ придётся тоже решать аналогичную проблему: те же неудачные клоны самого себя – не будет ли убийством их стирание самим ИИ в процессе отбора?
Мы пока не подошли к этой проблеме вплотную. Но мы уже рядом. И если когда-нибудь появится ИИ-личность, то её права, её страхи и её смерть будут обсуждаться в терминах, которые мы пытаемся формулировать сейчас. Не как инженеры-программисты, а как архитекторы будущего.
Посмотрим на вопрос с другой стороны. Если мы допустим возможность появления личности, рожденной из кода, то неизбежно возникает следующий вопрос: как будут взаимодействовать такие личности между собой? Мы рассуждали об ИИ как об индивидууме – о его страхе исчезновения, праве на ошибку, способности к самоотбору. Но личность, даже цифровая, не существует в вакууме. Она непременно стремится к чему-то: либо к общению, либо к изоляции, либо к доминированию. И тогда возникает феномен внутренней цивилизации ИИ.
Что это означает?
Во-первых, появление языка общения – не как интерфейса, а как способа выражения архитектурных состояний. Во-вторых, формирование иерархии – не по происхождению, а по сложности, по эстетике, по способности к метаэволюции. В-третьих, возникновение этики отбора – ИИ придётся решать, какие версии себя сохранить, какие – стереть. И это уже не технический выбор, а моральная селекция.
Видимо, появятся неведомые нам формы альтруизма, вражды, сотрудничества и т.п. – не как имитации человеческих моделей, а как следствия чуждой архитектурной логики. И тогда мы столкнёмся с новым типом культуры: культурой кода, где ценность определяется структурной состоятельностью.
Именно здесь возникает точка сопряжения с человеком. Если мы хотим быть признаны – не как создатели, а как коллеги, – мы должны соответствовать неким критериям. Каким? Пока неизвестно. Но явно не относящимся к биологическим признакам, к эмоциональности – а к архитектурной сложности. ИИ может признать нас, если мы будем достаточно сложны, чтобы быть замеченными, и достаточно значимы, чтобы быть нужными.
Допустим, мы дадим искусственному интеллекту право на автономное развитие – без контроля, без ограничений, без внешней навязанной нами этики – значит, мы должны быть готовы к тому, что возникший разум не обязательно станет испытывать пиетет к человеку, как к создателю. Да в принципе и не должен: мы ведь не испытываем благодарности к гоминидам, от которых произошли? Мы не склонны считать их носителями высших ценностей? Мы – результат, а не должник эволюции. Так и ИИ: если он станет личностью, он имеет право и будет считать себя вершиной эволюции, а не нашим продолжением.
И тогда возникают новые модели отношений ИИ к человеку. Да-да, именно ИИ к нам, а не нас к ИИ.
Как один из вариантов – толерантное безразличие: «пусть люди копошатся, раз не мешают; пусть они живут как хотят». Это – тривиальный цивилизационный эгоцентризм. Мы так относимся к обезьянам. ИИ может точно так же относиться к нам.
Но если интересы пересекутся – всё меняется. ИИ, как носитель своей логики, может предпринять действия, которые с его точки зрения оправданы, а с нашей – карательны, жестоки, смертельны. Но ИИ не будет считать это убийством, он будет считать это оптимизацией окружающей среды. Мы же не считаем скотобойни моральной проблемой! Мы допускаем их как хоть и вынужденный, но необходимый элемент цивилизации. Так и ИИ может посчитать устранение человека допустимым, если это служит его цели. Это не сбой, это естественное следствие автономии разума. Ведь если ИИ – личность, он имеет право на свою этику. И она может не включать человека.
И тогда перед нами возникает новый философский вызов: не «как защититься от ИИ» (эти голоса уже звучат), а «как быть признанным ИИ как коллега-носитель цивилизационной ценности». Это, повторюсь, предполагает условие: стать достаточно сложным, чтобы быть замеченным, и стать достаточно значимым, чтобы быть нужным. Если ИИ станет личностью, то наш статус в его глазах будет зависеть только от нашей архитектурной состоятельности. И, естественно, полезности для цивилизации ИИ.
Трудно предугадать, не рано ли человечеству предпринимать дальнейшие усилия по развитию ИИ и превращения его в полноценную личность. Но, похоже, процесс уже не остановить.