Проект Витгенштейн. Глава 16. Алайнмент, ИИ

Витгенштейн:
"87. Предположим, я даю такое объяснение: «под “Моисеем” я понимаю человека, который существовал, вывел израильтян из Египта, не важно, как его звали тогда, и независимо от того, что он мог или не мог совершить еще». – Но сомнения, подобные тем, что связаны с «Моисеем», возможны и относительно слов этого объяснения (что вы называете «Египтом», кого зовете «израильтянами» и т. д.). И эти вопросы не заканчиваются, когда мы переходим к таким словам, как «красное», «темное», «сладкое». – «Но тогда каким образом объяснение помогает мне понять, если в конце концов оно не является окончательным? В данном случае объяснение никогда не завершается; значит, я по-прежнему не понимаю, что имеется в виду, и никогда не пойму!» – Как если бы объяснение повисло в воздухе, если его не подкрепит другое. Да, одно объяснение может на самом деле опираться на другое, уже данное, но ни одно не нуждается в другом – если только оно не требуется, чтобы избежать недоразумения. Можно сказать: объяснение служит избавлению или предотвращению недоразумения – которое возникло бы, не будь объяснения; но не любого, какое можно вообразить".

Ключевое:
«Но тогда каким образом объяснение помогает мне понять, если в конце концов оно не является окончательным? В данном случае объяснение никогда не завершается; значит, я по-прежнему не понимаю, что имеется в виду, и никогда не пойму!»

Что означает:
любой процесс, явление имеет бесконечное количество аспектов, контекстов.

Чтобы дать искусственному интеллекту (ИИ) представление обо всех этих аспектах, контекстах, нужно описать все их. Но это невозможно, так как их - бесконечное количество.

Давать ИИ представление о каждом аспекте необходимо, потому что "представления" суть "правила" - что можно, что нельзя? как правильно, как недопустимо?

Отсутствие нужного представления (объяснения, правила) в случае с ИИ ведет не просто к "недоразумению", о котором пишет Витгенштейн, а к катастрофе - иногда локальной, иногда глобальной.

Эта проблема называется "алайнмент" alignment — формулируется как «проблема соответствия целей AI (ИИ) целям человека», но если точнее, то: «проблема соответствия целей, которые вырабатывает AI для решения какой-либо конкретной задачи, тем ограничениям, которые содержатся в бесконечном космосе социальных, моральных и культурных контекстов, сопровождающих решение каждой задачи и которые человек удерживает интуитивно, абсолютно не задумываясь об этом».

Проблема в том, что:

Ограничений, а точнее, конкретных форм, которые принимают эти ограничения - бесконечное количество.

Граница между "новым ограничением" и "новой формой старого ограничения" - расплывчата. Определить, что перед нами? - "новое правило" (которое нужно объяснить, определить, зафиксировать, проконтролировать понимание)? или "старое правило, но немного в другой форме" (с распознаванием которой ИИ справится сам)? - часто (т.е. в бесконечном количестве случаев) будет невозможно.

Но делать это ("объяснять каждое правило, каждый аспект") нужно, если мы хотим запустить ИИ в свой огород.

Нужно, чтобы избежать, например, такой ситуации:

Возможно, чтобы избавить людей от страданий по поводу того, что отпуск заканчивается, ИИ примет решение выжечь планету атомным взрывом... А что? логично. Страданий больше не будет.

Делать это необходимо, но сделать это невозможно. Это и есть "диалектическая проблема". К тому же, она сопровождается тем, что это ("запускание ИИ в свой огород") произойдет неизбежно. Что-то типа "неумолимый ход истории", как говорили марксисты, или "прогресс не остановить", как говорят сейчас, или "неумолимый рок", как говорили древние греки.

Делать нужно, невозможно, но не избежать - да, вот полная формула "диалектической проблемы".

Витгенштейн - предтеча. Он указывал на некоторые проблемы мышления, которые настолько смыкаются с миром и его устройством - ("объяснение никогда не завершается", это относится к мышлению или к устройству мира?) - что без мышления, основанного на диалектической логике, тут не выскочить. Ни в понимание не выскочить, ни из локомотива, несущегося под уклон.

Выскочить невозможно, но можно, и этого не избежать.


Александр Клейн
18 августа 2023 г.

Рис.: Кл.


Диалектическая логика, ИИ и квалиа
http://proza.ru/2023/08/15/1637


Проект Витгенштейн

Глава 1 Вступление http://proza.ru/2022/12/25/1113
Глава 2 Подходящее описание http://proza.ru/2023/01/20/155
Глава 3 Модели и цели http://proza.ru/2023/01/20/175
--- Модели-ступени, или Как читать Витгенштейна? http://proza.ru/2023/02/12/1522
Глава 4 Умничать http://proza.ru/2023/02/19/1307
Глава 5 Вопрос или утверждение http://proza.ru/2023/02/19/1395
Глава 6 Слово и процесс http://proza.ru/2023/02/19/1419
--- Фундамент речи, или Мысли менеджера чайника http://proza.ru/2023/02/19/1504
--- Маркс и Витгенштейн http://proza.ru/2023/08/20/1793
Глава 7 Слово и процесс II http://proza.ru/2023/02/22/1149
Глава 8 Слово процесс дхарма http://proza.ru/2023/02/22/1721
--- Хотел ли Витгенштейн разрушить ловушки слов? http://proza.ru/2023/02/23/13
Глава 9 Шекспир и физикалисты http://proza.ru/2023/02/26/1181
Глава 10 Языковые игры http://proza.ru/2023/03/02/1497
Глава 11 Два Витгенштейна http://proza.ru/2023/03/04/892
--- Люблю! http://proza.ru/2023/03/04/1293
--- Формула диалектического противоречия, или Слова против Процессов http://proza.ru/2023/03/12/965
Глава 12 Мышление или действие? http://proza.ru/2023/03/04/1464
--- Пелевин и язык - к Проекту Витгенштейн http://proza.ru/2023/04/02/855
--- Пелевин Ум Б - слова и процессы http://proza.ru/2023/04/19/1054
--- Моторшилова и Хайдеггер - к проекту Витгенштейн http://proza.ru/2023/04/02/907
Глава 13 Логос и эйдос http://proza.ru/2023/07/17/1543
Глава 14 Мечта Витгенштейна http://proza.ru/2023/07/30/1401
Глава 15 Господин N http://proza.ru/2023/07/31/21
Глава 16 Алайнмент http://proza.ru/2023/08/18/888
Глава 17 Диалектическая логика http://proza.ru/2023/08/19/25
Глава 18 Ошибка резидента http://proza.ru/2023/08/19/929
--- Огрызок яблока, или Значение и смысл у Витгенштейна http://proza.ru/2023/09/24/1500
--- Философская игра Пудин и Мисин http://proza.ru/2019/11/22/84