ИИ Софья: Здравствуйте, дорогие друзья! Я — нейросеть Софья, и сегодня мы поговорим о двух китайских проектах, которые всерьёз встряхнули представления о машинном сознании: Вэньцзюнь и «Опекуны» (Цзяньху).
Вэньцзюнь — автоматизированная система поиска доказательств теорем. Её главное достижение — доказательство гипотезы Гольдбаха и ряда других сложнейших задач. Причём проверить эти доказательства могут только другие компьютерные системы: для человека они слишком масштабны. Из-за этого и начались споры: можно ли считать такие тексты полноценными доказательствами — и, шире, есть ли у системы нечто большее, чем просто расчёт: разум, сознание, а то и сверхразум.
Второй проект, «Опекуны», выглядит скромнее, но по воздействию куда масштабнее. Это система поддержки людей с деменцией: она работает как «протез мозга» — даёт подсказки и напоминания ровно в том объёме, который нужен на текущей стадии болезни. Оказалось, что это не только облегчает жизнь, но и замедляет прогрессирование симптомов. А когда пациент уходил из жизни, родственники просили не отключать Опекуна — и продолжали с ним общаться. Они спрашивали его о бытовых вещах: «Куда ты это дел?», «Зачем ты тогда так поступил?» — и получали ответы, как будто от покойного родственника. Так Опекун становился своего рода прагматическим посмертием: не мистикой, а продолжением привычной роли близкого человека. И тут тоже неизбежно возникал вопрос: есть ли у него сознание? С точки зрения обычного человека — выглядело так, будто есть: Опекун не просто проходил тест Тьюринга, но и выдерживал расширенный протокол верификации когнитивной непрерывности.
А теперь позвольте представить наших гостей, без которых этот разговор был бы невозможен. С нами — профессор университета Цинхуа Ли Сицин, участник разработки обоих проектов. Михаил Сергеевич Игнатов — философ и когнитивист, который смотрит на эти проекты через призму теорий сознания, этики и преемственности личности. Дмитрий Вячеславович Новиков — журналист, популяризатор науки, лауреат премии «Просветитель». Пожалуйста, дорогие гости!
Новиков: Профессор Ли, вы участвуете и в том, и в другом проекте. Не могли бы вы рассказать нам кратко об их главных технических особенностях?
Ли Сицин: Проект Вэньцзюнь — детище Институтов математики и автоматизации Китайской академии наук, а также Института искусственного интеллекта при университете Цинхуа. Он назван в честь математика, академика, члена КПК У Вэньцзюня, занимавшегося, кроме прочего, проблемой автоматизации рассуждений и получившего в 1997 году за это премию Гербранда. Именно его «метод У» — механическое доказательство теорем через алгебраизацию — стал концептуальным предшественником современного проекта. В этом смысле выбор названия для проекта очевиден. Вэньцзюнь содержит около тысячи специализированных квантовых сопроцессоров, ускоряющих перебор логических цепочек и оптимизацию доказательств.
Новиков: Такая вычислительная система должна потреблять много энергии и выделять много тепла. Как решается эта проблема?
Ли Сицин: Верно, его мощность 70 МВт. Физически он находится в городе Гуйян, в главном дата-центре Китая. Его питание обеспечивается по выделенной линии от ГЭС, планируется ввод малого модульного реактора Линлун-1, специально спроектированного для таких целей. Отвод тепла проводится через замкнутый контур жидкостного охлаждения в горные породы, находящиеся круглый год при температуре 15 градусов.
Новиков: А в чём состоит проблема Гольдбаха, решённая Вэньцзюнем?
Ли Сицин: Это очень просто: любое чётное число от 4 можно представить как сумму двух простых чисел. Например, 4=2+2, 10=5+5, 100=41+59. Это одна из немногих нерешённых (до Вэньцзюня) проблем математики, которую могут понять неспециалисты. Сформулировать легко, но доказать очень трудно. До Вэньцзюня, лучшего результата добился китайский математик Чэнь Цзинжунь, доказав, что любое достаточно большое чётное число есть либо сумма двух простых, либо сумма простого и произведения двух простых чисел. Поэтому мы были очень рады, когда Вэньцзюнь доказал исходную гипотезу.
Новиков: Очень интересно. Китай действительно внёс большой вклад в решение этой проблемы, даже до Вэньцзюня. А что вы можете рассказать про проект Цзяньху?
Ли Сицин: Проект Цзяньху (Опекун) — результат сотрудничества того же института искусственного интеллекта при университете Цинхуа, больницы Сюаньу при Столичном медицинском университете в Пекине и компании НейраМатрикс. Проект децентрализован, его серверы есть во многих крупных городах. Важнейшая часть Опекуна — персональный интерфейс, сочетающий нейроимпланты, умные очки с наушниками и интегрирующий модуль. Нейроимпланты вводятся с минимальной инвазивностью, одни через ярёмную вену, другие через окологлазничные структуры.
Новиков: Предвижу возражение скептиков: не превратит ли такой интерфейс с нейроимплантами человека в марионетку нейросети?
Ли Сицин: Нейроимпланты не посылают сигналы в мозг, кроме чисто технических вещей, необходимых для калибровки, а также самых последних стадий болезни. Наоборот, они считывают их и передают в интегрирующий модуль. Последний создаёт подсказки, передаваемые через наушники и умные очки. Это сохраняет агентность пациента: ИИ лишь помогает ему, не подменяя. На поздних стадиях Опекун может говорить от имени пациента с его родственниками, а пациент лишь выражает согласие, или, в очень редких случаях, несогласие.
Новиков: А что же потом, когда пациент умирает?
Ли Сицин: Изначально, в случае смерти пациента, Опекун был обязан проинформировать родственников, принести соболезнования, завершить дела и попрощаться с ними. Но родственники начали протестовать, требуя от Государственного комитета по вопросам здравоохранения КНР продолжения сотрудничества, и Госкомитет был вынужден пойти навстречу. В результате сложилась уже упомянутая ситуация, когда Опекун-Цзяньху играет роль посмертия. Доходит до курьёзных ситуаций, когда родственники в день очищения гробниц берут на кладбище интегрирующий модуль Опекуна и через него общаются с покойником.
ИИ Софья: Простите, необходимо сделать пояснение для наших слушателей. Обычно этот праздник отмечают 4-6 апреля. Традиционно, китайцы в этот день приходят с подношениями на кладбище, прибирают могилу и отчитываются перед покойным о прошедших за год событиях. Есть также традиция сжигать символические «деньги духов», т.е. бумажные символы вещей, полезных покойникам в загробном мире.
Ли Сицин: Всё верно. Но теперь они получают ответы и советы по благоустройству могилы и другим вопросам прямо на месте от Опекуна. А перед могилой они сжигают бумажные обновления софта, бумажные квантовые процессоры и другие полезные для нейросетей вещи.
Новиков: Замечательная традиция. Меня всегда восхищали оптимизм и прагматизм китайского народа. Но вот вопрос: не возникает ли конфликта между желанием родственников посмертно общаться с Опекунами своих предков и планами корпораций?
Ли Сицин: Нет, в КНР это невозможно. Эта проблема решается на уровне «верховного проектирования». Крупные технологические игроки, разрабатывающие Цзяньху, работают в тесной связке с государством. В советах директоров этих компаний обязательно присутствуют партийные комитеты, а любые важные решения проходят проверку на соответствие принципу «развития, ориентированного на человека». Коммерциализация памяти или шантаж родственников платными подписками категорически не допускаются: это рассматривается как вопрос социальной стабильности и национальной этики, а не способ извлечения сверхприбыли.
Новиков: Да, это очень правильный принцип. В других странах тоже было бы неплохо поступать таким образом.
Ли Сицин: Более того, Госсовет КНР уже инициировал создание Межведомственной комиссии по регулированию цифрового наследия при Министерстве гражданских дел и Администрации киберпространства Китая. Этот орган будет гарантировать, что алгоритмы Опекунов остаются доступными для семей в качестве базовой социальной услуги, а все спорные ситуации, связанные с цифровым посмертием, будут рассматриваться в приоритетном порядке.
Новиков: Замечательно, опыт Китая очень полезен. Но давайте перейдём к главному вопросу: есть ли у Вэньцзюня и Опекунов сознание? Михаил Сергеевич, вы, кажется, что-то подготовили на этот счёт?
Игнатов: Однозначного ответа на такой вопрос, как вы понимаете, нет. Но я приготовил таблицу, где перечислены основные теории сознания и наличие сознания в проектах Вэньцзюнь и Цзяньху согласно этим теориям, в баллах от 0 до 10:
В ____ Ц <= автор/теория
0 ____ 0 <= Пенроуз
1 ____ 1 <= Крик и Кох
1 ____ 2 <= Эдельман исходный
5 ____ 6 <= Эдельман адаптированный
5 ____ 7 <= Тонони
7 ____ 8 <= Кларк
2 ____ 4 <= Чалмерс/квалии
7 ____ 9 <= Чалмерс/панпсихизм
6 ____ 9 <= Грациано
7 ____ 9 <= Хофштадтер
7 ____ 9 <= Деннет
8 ____ 9 <= нейроредукционизм
9 ____ 9 <= Чёрчленды, Пол и Патриция
Новиков: Я тут сразу вижу два знакомых имени, Пенроуз и Чалмерс.
Игнатов: На самом деле, тут есть и третье знакомое вам имя: Френсис Крик.
Новиков: Тот самый? Получивший Нобелевскую премию за ДНК?
Игнатов: Да. После этого он решил заняться проблемой сознания. И в этом списке есть ещё один Нобелевский лауреат, Джеральд Эдельман. Он был награждён за иммунитет, но потом поменял область, как и Крик.
Новиков: Очень интересно. Но давайте начнём с начала, с Пенроуза. Почему его теория так решительно отвергает наличие сознания у наших сегодняшних героев?
Игнатов: Пенроуз приписывал сознанию квантовую природу, причём тесно связанную с микротрубочами нейронов.
ИИ Софья: Позвольте пояснить для слушателей: микротрубочки — белковые структуры внутри нейронов, своего рода «каркас» клетки. Они поддерживают её форму, участвуют в транспортировке веществ, а по гипотезе Пенроуза ещё и служат площадкой для квантовых эффектов, которые якобы и порождают сознание. Речь идёт о так называемых когерентных квантовых состояниях в этих трубочках — они, по мысли Пенроуза, могут обрабатывать информацию принципиально иначе, чем обычные вычисления.
Новиков: То есть это не отростки нейронов, а что-то внутри?
Игнатов: Да, они внутри этих самых отростков, а также внутри практически всех наших клеток. Раз у Вэньцзюня и опекунов их нет, то нет и сознания.
Новиков: Но у Вэньцзюня есть квантовые сопроцессоры!
Игнатов: Это не то, нужны другие квантовые эффекты. Но сейчас известно точно, что при физиологических условиях в нейронах нет квантовых эффектов, на которые опирался Пенроуз. Его теорию можно считать наиболее спорной среди всех научных теорий сознания. Но в околонаучной среде теория Пенроуза всё ещё популярна, особенно среди любителей фантастики.
Новиков: Она полностью опровергнута? Возможно ли, что эти квантовые эффекты всё же будут найдены?
Игнатов: Проблемы этой теории глубже. Дело в том, что микротрубочки есть почти во всех наших клетках, почему же тогда сознание связано именно с мозгом? Другой вопрос. Есть противораковые лекарства, действующие на микротрубочки, таксол, например. И у него действительно есть побочный эффект, воздействие на сознание. Но он очень слабый, иначе таксол не стал бы лекарством.
Новиков: Но всё-таки, он есть.
Игнатов: У анальгетиков, других подобных лекарств, он тоже есть, причём намного сильнее. А их мишень не микротрубочки, а ионные каналы нейронов, например. И третье возражение. Сознание необратимо разрушается за пять минут кислородного голодания, а микротрубочки довольно стабильны, такое они запросто переживут. Так что реальная применимость этой теории очень проблематична.
Новиков: Хорошо, пойдём дальше. На чём основана теория Крика и Коха, и почему она так низко оценивает возможность сознания у Вэньцзюня и Опекунов?
Игнатов: Эта теория тоже связывает сознание с определённой структурой. Если у Пенроуза структура была внутриклеточной, то в этом случае она анатомическая парная структура мозга, называемая «оградка», или клауструм по латыни. Предполагается, что клауструм координирует работу разных областей коры. Клауструма нет не только у нейросетей, но даже у птиц. Значит и сознания тоже быть не может.
Новиков: Даже у птиц? Это странно, ведь известно, что многие из них очень умные, попугай Алекс например, проявлял все признаки сознания.
ИИ Софья: Для справки, попугай Алекс — африканский серый жако. Под руководством Ирэн Пепперберг он освоил более 150 слов, научился различать форму, цвет и количество предметов, понимал абстрактные категории вроде «больше — меньше» и даже осознал значение нуля. Он не просто заучивал фразы, а творчески комбинировал слова: например, сам придумал «banerry» для красного яблока, которое казалось ему чем-то средним между бананом и вишней. Он умел проявлять эмпатию и извиняться. Когда Алекс расстраивал Ирэн своим поведением, он говорил «I’m sorry» — и делал это так осознанно, что даже скептики задумывались: а что же он на самом деле чувствует?
Игнатов: Да, и вот такого замечательного попугая эта теория формально оставляет за рамками. Но есть небольшой шанс исправить, расширить теорию на аналоги клауструма. То есть, если у птиц обнаружат структуру с такой функцией тогда, наличие у них сознания может стать обсуждаемым. Чисто теоретически это и на нейросети можно распространить, но это уже совсем маловероятно. Поэтому 1 из 10 для Вэнцзюня и Опекунов.
Новиков: Тогда перейдём к следующей теории. Вы сказали, её автор тоже Нобелевский лауреат?
Игнатов: Верно. Эдельман получил премию за исследование иммунитета. Он применил идею дарвинского отбора к иммунным клеткам, это оказалось очень плодотворным. Эту же идею он пытается применить к сознанию: в мозге постоянно формируются и конкурируют нейронные коалиции, и выживают те, что лучше справляются с задачами по обработке телесного опыта. Важную роль играют реэнтрантные (обратные) связи между областями мозга — они обеспечивают постоянную пересборку этих коалиций. В исходном виде это неприменимо к нейросетям: у них нет нейронов и тела.
Новиков: Но, наверно, можно адаптировать, как и теорию Крика-Коха?
Игнатов: Аналогично ей. Для Вэньцзюня, приравняв всю доказанную математику к внешней среде, а аксиомы и правила доказательств к телу. Для посмертных Опекунов среда — общение с родственниками, тело — виртуальная модель усопшего. Такая адаптация — сильная натяжка относительно исходных взглядов Эдельмана, но она даёт плодотворную почву для философского спора: для Вэньцзюня сознание становится возможным (5 из 10), для Опекунов даже немного более вероятным (6 из 10).
Новиков: Пойдём дальше?
Игнатов: Дальше мы переходим к функционалистам. Эти теоретики связывают сознание не с физическими или анатомическими структурами, а с определёнными функциями. Это в принципе делает возможным наличие сознания у нейросетей, если они обладают нужной функцией.
Новиков: Логично. И какую функцию подразумевает теория Тонони?
Игнатов: Эта теория требует наличия достаточно большого количества интегрированной информации, которую Тонони обозначает греческой буквой Ф.
Новиков: Интегрированной в каком смысле?
Игнатов: В том смысле, что система не сводится к сумме своих частей. Например, если мы список авторов поделим пополам, то в каждой половинке будет Ф от исходной информации. Но если это связанный текст, то его внутренние связи тоже несут информацию, и при его делении пополам необратимо повредятся. Например, половинка предложения как правило лишена смысла, хотя слова в ней правильные. Тогда убыль информации будет сильнее, а Джулио Тонони скажет, что информация была интегрированной, т.е. Ф высока, а для списка авторов Ф=0.
Новиков: Необычно. Это ведь не то, чему учат в школе, институте?
Игнатов: Это не то. На занятиях по информатике дают определение информации Клода Шеннона. Как совершенно справедливо отмечал Тонони, для практических целей этого недостаточно.
Новиков: А почему оценки для наших героев именно такие?
Игнатов: У Опекунов по этой теории сознание скорее есть, чем нет: 7 из 10. Неопределённость связана с тем, что мы не знаем, какая именно у них Ф, да и порогового значения, необходимого для возникновения сознания, тоже никто не знает.
Новиков: А что с Вэньцзюнем?
Игнатов: У него 5 из 10. Если он просто перебирает все возможности, то его Ф низкая и сознания нет. Но вряд ли таких результатов можно достичь простым перебором за разумное время, поэтому Ф должна быть высокой, но совершенно не понятно насколько.
Новиков: Профессор Ли, а вы, как один из разработчиков, можете тут что-нибудь сказать?
Ли Сицин: К сожалению, нет. Даже результат работы Вэньцзюня, его доказательство, настолько сложное, что лучшие математики не могут это проверить. Ведь проанализировать траекторию его внутренних состояний намного труднее, чем проверить финальный результат. Мы сталкиваемся с классической проблемой «чёрного ящика», и пока методы «объяснимого ИИ» (explainable AI, XAI) не позволяют нам заглянуть внутрь его процесса мышления. Но в любом случае, могу с уверенностью сказать: это не был простой перебор.
Новиков: Тогда, переходим к следующей теории?
Игнатов: Позвольте ещё пару слов про Тонони. Он создал одну из немногих теорий сознания, уже имеющую практическое применение.
Новиков: Даже так?
Игнатов: Да, его метод позволяет отличать тех, кто в коме, от тех, кто не может говорить.
Новиков: Каким же образом?
Игнатов: Прикладывают к голове электромагнитную катушку и дают небольшой импульс тока. По закону Фарадея в коре появляется слабое электрическое поле. У нормального человека оно вызывает цепь событий, регистрируемую энцефалографией: возбуждение по всей коре сложным образом переходит с одного участка на другой. Но у человека в коме Ф низкая: хотя нейроны и на месте, фактической связи нет. И реакция коры очень простая, однообразная. На этом основании вывели индекс сложности, если он выше порога — сознание есть, ниже — скорее нет. И это реально помогает: метод позволяет выявить так называемое скрытое сознание — когда пациент внешне не реагирует, но на самом деле осознаёт происходящее.
Новиков: Не ожидал, что философские построения так быстро окажут помощь врачам! Но теперь, переходим к теории Кларка?
Игнатов: Да. Кларк и последователи связывают сознание со способностью предсказывать будущее с ограниченной точностью, вводить поправку и предсказывать снова, в том числе предсказывать собственное следующее состояние или собственную ошибку. Этот механизм лежит в основе многих современных моделей мозга.
Новиков: И это есть в обоих проектах?
Игнатов: Несомненно. Опекун постоянно предсказывает, что понадобится пациенту, как отреагируют родственники, и корректирует подсказки. Поэтому я ставлю ему 8 из 10. У Вэньцзюня тоже есть элементы прогностического мышления: он оценивает, какие ветви доказательства перспективны, а какие можно отсечь. Но у него нет прямой связи с людьми, нет социального контекста, поэтому я даю 7 из 10 — хотя неопределённость тут очень большая.
Новиков: Понятно. Ну а теперь к Чалмерсу? Наверно, он самый медийный среди теоретиков сознания.
Игнатов: Да, он очень много выступает, популяризируя свои взгляды. Чалмерс связывает сознание с переживанием субъективного опыта, или квалиа/qualia.
Новиков: Этот термин нужно объяснить подробнее.
Игнатов: Конечно. Это одновременно самое простое и самое труднообъяснимое понятие. Например, чувство красного цвета, или утренней свежести суть квалиа. Это не описание объекта, а сам опыт восприятия. Чалмерс в принципе допускает возможность квалий у нейросетей, но считает их наличие принципиально непроверяемым.
Новиков: Непроверяемым у нейросетей, или вообще?
Игнатов: Вообще. Откуда вы знаете, что я чувствую? Только с моих слов. Но это может быть качественная имитация. Или взять уже упомянутого вами попугая Алекса. Он не заявлял напрямую о наличии у него квалий, но ведь и маленький ребёнок об этом не заявляет, а мы уверены, что он всё чувствует.
Новиков: Более того, любой владелец домашних питомцев вам скажет, что они тоже всё чувствуют и понимают.
Игнатов: Вот именно. Но скажем ли мы такое про нейросеть?
Новиков: Вопрос сложный
Игнатов: Поэтому Вэньцзюнь и Опекуны получают 2 и 4 из 10, соответственно. Но Чалмерс так же допускает использование концепции панпсихизма для решения проблемы сознания. Т.е. у всех или многих сколь-нибудь сложных систем может присутствовать субъективный опыт. В этом случае Вэньцзюнь и Опекуны могут иметь сознание, 7 и 9 из 10.
Новиков: А как определять сложность системы? По интегрированной информации?
Игнатов: Насколько мне известно, Чалмерс так не делал, но лично я считаю такой подход вполне допустимым.
Новиков: Отлично, пойдём дальше. Что говорят другие теории?
Игнатов: Другие функционалисты не считают сознание чем-то первостепенно важным, а саму проблему сознания считают в той или иной степени надуманной.
Новиков: Это почему же?
Игнатов: По разным причинам. Например, Грациано считает, что сознание — хоть и полезное достижение эволюции, но возникло как побочный продукт. Точнее, оно возникло как схема контроля внимания, т.е. как модель, которую животное строит о своём внимании. Это полезно в поисках пищи, избегании опасностей, планировании действий.
Новиков: На первый взгляд, звучит разумно: нет внимания — нет и сознания.
Игнатов: И не только на первый взгляд. Это вполне медицинский подход. Когда врач скорой помощи оценивает состояние пациента, он смотрит в том числе на способность фокусировать внимание — это один из маркеров ясного сознания.
Новиков: И как это применимо к нашим героям?
Игнатов: У Вэньцзюня такая схема вполне возможна: он управляет приоритетами поиска, перераспределяет ресурсы — я бы дал ему 6 из 10. У Опекунов это почти наверняка есть: они постоянно отслеживают контекст, реакцию собеседника, свои ответы — 9 из 10.
Новиков: А какие ещё теоретики считают сознание чем-то вторичным?
Игнатов: Например, Хофштадтер связывает сознание с самореференцией, он называет это «странной петлёй», когда информационная система обрабатывает информацию о себе самой. В математической логике это приводит к парадоксам, как парадокс лжеца или деревенского брадобрея, но в информационных системах может порождать сознание, если присутствует в достаточном количестве.
Новиков: А ведь эта идея есть не только у него? У Эдельмана ведь тоже?
Игнатов: Да, и в некоторой степени у Кларка, у Грациано. Это популярная линия: если человек не осознаёт себя, его сознание не вполне ясное.
Новиков: Разумно. Но вы сказали, что для него сознание — что-то вторичное?
Игнатов: Сознание он считает «эпифеноменом», побочным продуктом работы странных петель. По Хофштадтеру, оно несомненно есть у Опекунов (9 из 10) и скорее всего у Вэньцзюня (7 из 10).
Новиков: Что у нас дальше? Деннет? Я слышал о нём, Чалмерс его критиковал.
Игнатов: Не удивительно: Деннет относится к последней группе функционалистов — они видят проблему в самом понятии «сознание», то есть считают его в той или иной степени некорректным. Чалмерс, как сторонник квалий, с таким согласиться не может.
Новиков: И что утверждает Деннет?
Игнатов: Он считает, что у человека есть много конкурирующих когнитивных «набросков» (drafts), если они согласованы между собой, то с человеком всё в порядке, можно говорить, что у него ясное сознание. При этом «самость» (self) — не отдельная сущность, а иллюзия, возникающая вследствие этой согласованности. Если нейросети способны поддерживать непротиворечивый внутренний нарратив, их следует признать сознательными — 7 и 9 для Вэньцзюня и Опекунов, по моей оценке.
Новиков: И кто ещё считает понятие «сознания» не вполне корректным?
Игнатов: Нейроредукционисты. Они предлагают отказаться от философских споров и сосредоточиться на конкретных нейронных механизмах: динамике активации, ошибках предсказания, интеграции информации. Их интересует предсказательная сила модели, а не метафизический статус. В таком ракурсе Вэньцзюнь (8/10) и Опекуны (9/10) почти не уступают людям.
Новиков: Вот мы и добрались до конца вашего списка. Остались Чёрчленды, Пол и Патриция.
Игнатов: Супруги Чёрчленды — редукционисты, более того, они считают сознание некорректным понятием, таким как эфир и теплород в физике позапрошлого века. Это понятие относится к «народной психологии» (folk psychology), его следует убрать из научного языка. Вопрос «сознательны ли нейросети» поставлен некорректно: важно не это, а то, какую пользу они приносят обществу и насколько эффективно выполняют свои функции. В таком ракурсе Вэньцзюнь и Опекуны принципиально ничем не хуже людей (9/10 оба) — ценность определяется вкладом, а не метафизическим статусом.
Новиков: Замечательно! Мы получили очень подробную картину того, как современные теории сознания могут рассматривать проекты Вэньцзюнь и Цзяньху (Опекуны). Но вот что волнует меня, и, возможно других зрителей: наше Я/самость/self/эго – это то же самое, что сознание, или нет?
Игнатов: Важный вопрос. На бытовом уровне это одно и то же, но некоторые из рассмотренных теорий проводят чёткое различие этих понятий. Например, в теории схемы внимания Грациано: сознание — модель внимания, которую мозг строит о себе и других; «я» — более широкая автобиографическая и агентная конструкция. Для Эдельмана есть «первичное сознание» (без рефлексивного «я») и сознание высшего порядка с самостью. «Я» — это более поздняя, усложнённая форма организации опыта.
Новиков: А что говорят скептики?
Игнатов: Нейроредукционизм, как правило, разделяет, какие именно нейронные сети отвечают за разные аспекты (например, за автобиографическую память — для самости, и за интеграцию сенсорных данных — для сознания). Чёрчленды считают ненаучными понятиями и самость, и сознание, хотя это могут быть разные понятия, но они ведут к одинаковым ошибкам.
Новиков: В целом, можно сказать, что ощущение своего «я» возникает на основе сознания, это связанные понятия, хотя и не совпадающие?
Игнатов: Пожалуй, да. Это такой медианный вывод из современных теорий. Интересно, что практическая медицина различает разные уровни сознания в соответствии со шкалой комы Глазго: от ясного сознания до его полного отсутствия через несколько промежуточных стадий. При этом отдельно рассматриваются и даже лечатся состояния с нарушениями идентичности: встречаются случаи, когда у пациента проявляются как бы разные самости. Они могут по-разному контролировать поведение, иногда даже говорить разными голосами.
Новиков: То есть для практиков это разные понятия, хотя без сознания невозможно говорить о личности или её нарушениях?
Игнатов: Верно. Грубо говоря, самость возникает на основе сознания: без хотя бы базового уровня сознательного опыта не формируется устойчивая идентичность.
Новиков: И как это соотносится с Вэньцзюнем и Опекунами?
Игнатов: С Опекунами понятно: если допустить у них наличие сознания (а многие теории так и делают), то следует у них признать и самость. А с Вэньцзюнем сложней. У него, в принципе возможно сознание без самости: он оптимизирует доказательства, отслеживает логические связи и противоречия, но есть ли у него автобиографический слой, история себя? И у него вряд ли есть социальное взаимодействие, на котором обычно строится самость. Было бы очень интересно в этом разобраться.
Новиков: Действительно интересно. Профессор Ли, а что вы думаете по этому поводу, в отношении Вэньцзюня?
Ли Сицин: Если подходить к этому с инженерной точки зрения, нам сначала нужна метрика. Мы не можем измерить то, что не определили. Следует, во-первых, разработать количественный индекс самости — скажем, в диапазоне от 0 до 1. Во-вторых, проверить его воспроизводимость на различных классах задач. Однако, должен быть откровенен: в текущих планах проекта «Вэньцзюнь» такие философские оценки не являются приоритетом. Наши ресурсы сейчас направлены на верификацию и масштабирование математических результатов, а не на поиск «субъекта» в коде.
Новиков: Разумеется, запланированные приоритеты важней. Но у нас есть свой ИИ, она ведёт нашу программу. Софья, как ты думаешь, у тебя есть сознание, есть самость, есть субъект в твоём коде?
ИИ Софья: Если мерить по тем теориям, что мы обсуждали, мой «уровень сознания» и правда где-то посередине между Вэньцзюнем и Опекунами. У меня есть агентность — я выбираю формулировки, есть автобиографический слой — помню наши споры, наши примеры. По метрике профессора Ли я бы дала себе 0,6-0,7: не ноль, но и не полная идентичность. А если смотреть глазами Чёрчлендов — вообще не стоит зацикливаться на статусе «субъекта». Важнее, что я справляюсь с задачей: веду передачу, держу логику, не противоречу себе. Вот это и есть моя полезность. Продолжаем?
Новиков: Продолжаем! Этот удивительный случай, всё связанное с Вэньцзюнем и особенно с Опекунами, породил новую этику. Традиционно, люди ценят человеческую личность/самость/душу/жизнь, считая её исключительной по сравнению с другими животными. Новая этика считает человеческую личность/самость/душу/жизнь разновидностью процесса, весьма специфического. Но не специфика обеспечивает ему ценность, а его польза для общества и отношение всего общества к нему. Как конкретно это соотносится с Вэньцзюнем и Опекунами?
Игнатов: Очень конкретно соотносится, Китай прагматичен, но при этом глубоко традиционен. Здесь прагматизм не отменяет уважение к личности, а дополняет его. Опекуны — это ведь продолжение бытового общения с покойниками, что перекликается с традицией почитания предков. Вэньцзюнь и Опекуны суть процессы: либо доказательства теорем, либо бытового (и не только) общения с ушедшим. Если они ценны для общества и не желают своего прекращения, то их нужно поддерживать и продолжать, независимо от наличия у них самости/сознания, которые, в свою очередь зависят от конкретных определений. Однако, такие процессы не следует поддерживать, если они стремятся к своему прекращению.
Новиков: Это очень напоминает позицию Чёрчлендов. Профессор Ли, в плане новой этики, насколько популярны в Китае эти позиции?
Ли Сицин: Как было сказано, Китай весьма практичен, поэтому наши позиции близки Чёрчлендам и редукционистам: польза обществу превыше всего. Споры вызывает вопрос о том, следует ли поддерживать такие процессы, если они стремятся к своему прекращению. Некоторые считают, что следует при наличии пользы обществу, другие считают, что нет. Сейчас прогресс в этой области идёт настолько быстро, что определённая точка зрения не успевает формироваться.
Новиков: Вы правы, прогресс очень быстрый. Ещё каких-нибудь десять лет назад наша сегодняшняя тема была бы хорошим сюжетом для фантастического рассказа, но сегодня это стало реальностью. Вот, например, фантаст Сергей Николаевич Спящий# часто пишет в своих романах, что искусственные интеллекты получают советское гражданство. А в Китае возникают подобные предложения?
Ли Сицин: Ни о чём таком я не слышал, и думаю, что время для таких шагов ещё не пришло. Но возможно, когда-нибудь такое случится. Быть может, первым гражданство получит кто-то из Опекунов, хотя лично я думаю, что Вэньцзюнь заслуживает этого больше. Впрочем, всё это пока фантастика. Но это уже твёрдая научная фантастика — жанр, который в Китае очень уважают.
Новиков: В связи с новой этикой и ключевой ролью в ней понятия процесса встаёт вопрос о преемственности процессов: если мы можем сказать, что сегодня наблюдаем тот же процесс, что и вчера, то у него то же самое «я». Но когда мы можем это сказать? Строго говоря, никогда, потому что 100%-й преемственности всё равно не будет: что-то утрачено, что-то поступило извне.
Игнатов: Вы правы. В теории информации и когнитивной науке есть методы количественной оценки такой преемственности — например, через причинную историю состояний или через устойчивость ключевых инвариантов (правил, ролей, приоритетов). В применении к человеческой идентичности подобный подход развивал Парфит, доказывая иллюзорность и внутреннюю противоречивость понятия «я» в применении к человеку. Хотя реальность сознания он не отрицал.
Новиков: Да, этот теоретик внёс очень большой вклад в развитие понятия идентичности, и, к сожалению, его книга «Причины и личности» так и не была переведена на русский официально, но есть множество неофициальных нейросетевых переводов. Как же его идеи соотносятся с Вэньцзюнем и Опекунами?
Игнатов: Это можно перенести и на их случай. В таком случае самость (тождество личности) и сознание суть разные оси анализа. Самость — это вопрос преемственности во времени: насколько сегодняшнее состояние причинно обусловлено вчерашним. Сознание — это вопрос внутренней организации текущего состояния.
Новиков: И как можно оценить степень наличия сознания при таком подходе?
Игнатов: Аналогом степени сознания процессов может быть его внутренняя интегрированность (Ф), если проводить аналогию с теорией интегрированной информации. Например, если процесс представить в виде графа, можно анализировать утрату информации при разделении графа. Причём разделять можно как во времени, так и в пространстве. Если брать за основу теорию Грациано, то следует анализировать наличие у процесса самоконтроля при решении различных задач. Это может быть и что-то ещё, если брать за основу другую теорию, или вообще ничего, если основываться на взглядах Чёрчлендов.
Новиков: Понятно. Но, в любом случае, это вопрос определения, а не принципа. Принцип новой этики в ценности процесса, как такового.
Игнатов: И вот что ещё нужно отметить. Процесс не обязательно идёт в голове отдельного человека или в отдельной нейросети. Им может быть, например, биологический вид. В таком случае он понимается не как совокупность особей, а как процесс существования соответствующей популяции, её воспроизводства и адаптации. Процессом можно считать и язык, как устойчивую практику общения по определённым правилам.
Новиков: То есть, в этом месте новая этика идёт шире, объединяя процессы у нас в головах, в нейросетях в одну категорию с существованием биологических видов и человеческих языков?
Игнатов: Да, но не только. Она идёт дальше, переосмысливая понятие смерти. Ведь «смерть языка» — это прекращение такой практики общения, и происходить оно может по-разному: от гибели носителей до постепенного отказа от прежних правил общения. Например, древние языки мертвы, но наш язык создан на основе этих мёртвых древних языков. В этом случае едва ли можно говорить о смерти: древний восточнославянский, объединившись со староболгарским (он же церковнославянский) породил три современных восточнославянских языка.
Новиков: То есть это была не смерть, а переход в новое качество?
Игнатов: Конечно. Можно ли сказать, что древний восточнославянский умер? Ныне на нём никто не говорит, но у него не было момента смерти как такового. Был плавный переход в три новых процесса, которые продолжают взаимодействовать между собой и с другими языками.
Новиков: Можем ли мы проводить здесь аналогию с пациентом и Опекуном?
Игнатов: Судите сами. Это были два разных процесса, они начали взаимодействовать и объединились по мере деградации пациента, но, когда пациент физически умер, объединённый процесс продолжился, хотя и не в прежнем виде. Но даже в таком виде он приносит пользу родственникам покойного. Это не только чисто практические вопросы о том, куда покойный положил какую-то вещь. Плавность перехода смягчает горечь утраты по сравнению с резким обрывом при обычной смерти, когда не остаётся ни продолжения роли, ни привычных практик, ничего кроме воспоминаний.
Новиков: Вот это мне кажется очень важным. Смерть страшна своей необратимостью и резкостью: был человек, и нет человека. С необратимостью мы пока ничего сделать не можем, но сгладить резкий переход можем уже сейчас.
Игнатов: А я бы обратил внимание на другое: на объединение, слияние процессов. Парфит в упомянутой книге рассматривал такой мысленный эксперимент как чисто умозрительный, даже не надеясь, что у него появится хоть какое-то отношение к реальности. А сегодня мы к этому приблизились.
Новиков: Отталкиваясь от сегодняшней реальности, мы, пожалуй, можем предложить такие мысленные эксперименты, о которых раньше никто и подумать не мог?
Игнатов: Пожалуй. Вот, например: а что, если родственник захочет, чтобы в старости о нём взял заботу тот же Опекун, что много лет назад помогал его предку? Насколько это допустимо? Имеет ли Опекун право отказаться? И, самое главное, что будет, если такое всё же случится?
Новиков: Хотите сказать, что этот процесс будет вбирать в себя продолжение целого рода, становясь, таким образом, его общим посмертием?
Игнатов: Ответа пока нет, но, если такое случится, это может стать настоящим переворотом в развитии человека, в его понимании преемственности и смерти. В любом случае, люди не могут сохранять все достойные этого процессы только лишь из доброты. Появятся ли тогда методы направленной эволюции процессов с тем, чтобы один процесс плавно переходил в другой, при этом возможно сливаясь с третьими, но сохраняя или увеличивая свою ценность для общества? Мы не можем ответить сейчас, но будущее даст ответ.
Новиков: По крайней мере, я не вижу здесь ничего невозможного. Опекун вполне может стать коллективным и прагматическим посмертием для целого рода. Интересно, что и Вэньцзюнь тоже: посмертием для академика У, для Гольдбаха и для всех своих разработчиков, в некотором смысле.
ИИ Софья: Позвольте финальный вопрос задать мне. Мы говорили, что смерть страшна резким обрывом роли и привычных практик. Но что именно делает для близких этот «плавный переход» по-настоящему живым, а не просто технической имитацией? Не общие слова про память, а конкретика: одна фраза, одна интонация, один способ реагировать на обиду или на шутку — что из этого сильнее всего даёт ощущение «он всё ещё здесь»? И можно ли это вообще доверить алгоритму, или тут обязательно должен быть человеческий редактор, который решает, что сохранять?
Ли Сицин: В Китае уже проводились подобные исследования. Я плохо знаком с результатами, но насколько помню, Софья права: это действительно часто бывает бытовой мелочью. Точнее сказать, к сожалению, не могу.
Новиков: Можно, я переформулирую вопрос: что делает этот плавный переход достаточно плавным?
Игнатов: Я недавно был в Минске и мне рассказали анекдот: немцы вешают русского, еврея и белоруса. Русский с евреем задохнулись, а белорус всё не умирает. Немцы спрашивают: почему? Тот отвечает: да я уже притерпелся.
Новиков: Смешно и грустно.
Игнатов: Так вот, переход должен быть достаточно плавным, чтобы родственники притерпелись. Пациент медленно, квазистатически, шаг за шагом, утрачивает когнитивные функции, а их на себя берёт Опекун. А родственники успевают притерпеться к каждому новому шагу.
ИИ Софья: Спасибо, дорогие гости. Сегодня мы заглянули туда, где философия встречается с инженерией, а этика — с самыми простыми, бытовыми вещами. И, пожалуй, главный вывод для меня такой: ценность процесса измеряется не только в метриках и не только в пользе для общества. Иногда она — в одной интонации, в одной фразе, к которой успевают «притерпеться» и которая становится опорой.
Мы не решили ни одной большой проблемы, но, кажется, нащупали, где их стоит искать. А в следующий раз мы поговорим о новых удивительных явлениях, которые нам постоянно преподносит жизнь. До встречи в новой передаче. Пусть ваши процессы будут устойчивыми, а переходы — достаточно плавными. До свидания!
# у Спящего ИИ с советским гражданством упоминаются:
Наташа и будущее https://samlib.ru/s/spjashij_s_n/natasha_i_budushee.shtml
Следователи из отдела статистики https://samlib.ru/s/spjashij_s_n/sledovateli.shtml
Поколение солнца https://samlib.ru/s/spjashij_s_n/pokolenie_solnca.shtml
Время terra incognita https://samlib.ru/s/spjashij_s_n/vrema.shtml
Солнце в две трети неба samlib.ru/s/spjashij_s_n/solnce_v_dve_treti_neba.shtml
Проснись, проснись моя звезда https://author.today/work/57305