контроль над ИИ?

            Нужен ли контроль над искусственным интеллектом (ИИ)?

               (Из евангелического ж-ла "chrismon" 04. 2023
                сокр. пер. с нем. Е.Дроздова)

   В разговоре приняли участие информатик (И.) и философ (Ф.)

   Вопрос: если бы Вы могли ИИ выбирать себе по вкусу, каким бы он был?

   Ф.: ИИ должен был бы служить общему благу и помогать нам меньше страдать в жизни. И, конечно, самому не страдать.

   И.: по-моему, это трудно осуществимо, т.к. страдания это неотделимая часть обучения. Если ИИ не страдает, то у него нет мотива научиться, как избежать эти страдания.

   В.: как ИИ может страдать?

   И.: если мы строим обучающийся робот, то в первую очередь даем ему сенсоры боли, которые информируют, если он, например, слишком часто обо что-то ударяется рукой. Он должен как-то учиться, что ему вредит. В роботе спрятан маленький искусственный мозг, который пытается его страдания свести до минимума, а поощрения до максимума. Научится он избегать страдания, тогда станет он немного походить на младенца. Тот и другой учатся избегать страдания.

   Ф.: если мы создадим систему  "я-чувство", то это будет  как у нас, людей: неудача превращается в собственную трагедию. Машина не может этого избежать. Конечно, такая система могла бы быть счастливой и любить, однако мы не должны эти качества легкомысленно переносить на следующую ступень духовного развития, пока мы не будем знать, что именно заставляет нас самих так много страдать.

   И.: я думаю, мы давно знаем, почему обучающееся существо страдает. Страдание отличное, но простое изобретение эволюции. Просто это оценочная функция, которая учит того, кто страдает, как избежать источник страдания. Наш ИИ знаком с этим уже более 30 лет.

   В.: эти сигналы боли и поощрения легче предвидеть - как ведет это к самосознанию?

   И.: ИИ учится предвидеть последствия своих поступков, чтобы лучше планировать будущее. В ИИ образуются группы нейронов, ответственные за их руки и пальцы, и за последствия, в результате которых пальцы двигаются. Каждый раз, когда ИИ со своим предсказателем планирует, он будит такие нейроны и думает о себе сам и о своем будущем.

   Ф.: можно сказать, что мы как бы стремена для тех, кто придет потом, после нас. Наши потомки смогут создать такие архитектуры, которые мы описали. Но какие формы интеллекта, духовности, возможно даже сознания мы захотим оставить? Возможно, где-то возникнет не любовь и счастье, а взрыв горя и вырастит до небес. В прошлом году я потребовал мораторий на искусственное сознание до 2050г. Есть лаборатории, где как раз над этим работают. Эти люди не создадут его завтра или послезавтра. Но есть много примеров из истории науки, когда решающие прорывы происходили раньше, чем думали ученые. Мы не хотим иметь на ход истории никакого этического влияния?

   И.: описанные раннее формы сознания существуют уже более 30 лет. Любой мораторий придет слишком поздно. Наши старые принципы искусственного сознания сегодня дают более интересные результаты, чем тогда, т.к. каждые 5 лет рассчеты в 10 раз убыстряются. За 30 лет в миллион раз. Какие комитеты по этике выдумают новые ограничения, не играет роли. Единственное, что это, может быть, остановит таки катастрофу, вроде ядерной войны.

   В. (к философу): в 2018 и 2019г.г. Вы входили в группу, которая по заданию Евро-коммисии должна была разработать этически правильную линию в обхождении с ИИ...


   Ф.: да. Я был разочарован от того, что я там пережил. Там было  много очень умных людей. Несмотря на это, большинство отказалось рассматривать "искусственное сознание". Официально задача состояла в том, чтобы создать этический фундамент для ИИ - в противоположность Силиконовой долине (США) и Китаю. Вначале я поддерживал эту идею. Но мои коллеги не относились к этому серьезно. "ИИ из Европы - это от части лишь стратегия маркетинга", - считали они. Европейский проект закона, это было лучшее, что удалось достичь.

   В. (к информатику): а Вы что об этом думаете?

   И.: когда люди 800 000 лет тому назад начали контролировать огонь, их мозг был меньше, чем сейчас. (Воображаемая) коммисия по этике  каменного века взвешивала "за" и "против" огня: с его помощью можно было варить и обогреваться по ночам, но с другой стороны и сжигать других. Огонь может распространяться как лесной пожар. Но коммисия по этике пришла к выводу, что "за" перевешивает "против". Это позволило людям получать больше энергии из еды, и мозг по объему вырос.

   Ф.: ...и сегодня мы имеем климакатастрофу.

   И.: журнал "Nature" в 1999г. опубликовал статью о самом выдающемся изобретении 20-ого века. Им оказалось создание искусственного удобрения. В результате народонаселение мира с 1,6 миллиарда в 1900г. выросло до 8 миллиардов сегодня. Без этого изобретения города были бы вдвое меньше, было бы вдвое меньше автомобилей, но вдвое меньше загрязнений окружающей среды и климакатостроф, чем сегодня. Так это хорпошее или плохое изобретение? Во всяком случае ни одно другое так не повлияло на людей.

   В. (к философу): какую Вы видите опасность, если мы позволим современное развитие и дальше также?

   Ф.: есть такое понятие "информационный риск". Иными словами, если какая-нибудь информация станет известной, то может возникнуть опасность. Если бы, например, можно было точно определить, что такое "страдание", то это бы стало значительным вкладом в психиатрию и медицину. Но тогда кто-нибудь мог бы использовать это знание и создать, например, искусственных животных или роботов-рабов с искусственным сознанием, чтобы оказывать давление на правительства. Но если мой оппонент прав, и динамику развития не остановить и что  только вопрос времени, когда это примет формы научной информации, то это вредно для нашего общества. Мы не должны в погоне за славой позволить развиться такой эволюции.

   В. (к информатику): есть ли лично у Вас как ученого границы, которые Вы не переступили бы?

   И.: да, скорость света. Ничто из того, что где-то в нашей вселенной возникает, может быстрее распространиться. Если возникнет на земле общество сверхумных ИИ, они не смогут тут же завоевать остальную часть вселенной - для этого потребуется минимум несколько миллиардов лет.

   В.: а если бы Вы могли преодолеть скорость света?

   И.: тогда, естественно, я бы это использовал. Но это неосуществимо, из основных законов физики, которые и без того делают нашу вселенную прекрасной.

   В.: что мы как общество можем сделать, чтобы контролировать развитие ИИ?

   Ф.: мы должны вести новую дискуссию, что мы считаем положительным и желательным в сознании: что мы хотим передать нашим детям, что мы хотим передать машинам и животным, а что мы вообще не хотим.

   В.: что Вы имеете ввиду?

   Ф.: мы нуждаемся в новой культуре сознания и в моей новой книге я привожу много примеров: какие наркотики должны быть нелегальными? Должны ли быть в школе уроки медитации? В каком состоянии сознания мы хотим умереть? И т.д.

   В.: мы родились с определенными чертами характера и принимаем иррациональные решения. Не делают ли нас именно недостатки людьми? Никто еще, кажется, не пришел к идее запрограммировать ИИ с недостатками.

   И.: это большое заблуждение! Наши ИИ набиты недостатками. В самом начале они делали грубые ошибки. Но существенно следующее: у них были алгоритмы обучения, с помощью которых они со временем становились умнее и реже ошибались. Как говорится: "На ошибках учатся".

   Ф.: делает ли мне достоинство, что у меня так много ошибок? Думаю, что нет.

   И.: мы все ошибаемся, но мы из ошибок извлекаем уроки. К тому же каждый хочет возвыситься, быть лучше, чем его сосед. Конкуренция приводит к развитию.

   Религия говорит: будьте плодовиты и размножайтесь. Но как быть с проистекающим из этого дополнительного загрязнения окружающей среды? В первых городах, появившихся более 5000 лет тому назад, люди заболевали от собственных фикалий, пока кто-то не придумал канализацию. Там, где есть опасность...

   Ф.: появляется и спасение. В истории филисофии однако всегда находились люди, которые говорили: было бы лучше, если б этого вообще не было. Идет ли речь о других живых существах или о нас, людях, т.к. отсутствие таковых всегда лучше. Представим себе действительно умный ИИ, который сочтет, что для такой системы как мы (люди) наше собственное существование противоречит нашим же интересам. Не из злого умысла, а по трезвому размышлению. Точно как мы из сострадания усыпляем животное, ИИ скажет: для людей с такой формой мышления это самое лучшее, что можно придумать. Эволюцию умных машин утвердить просто так, только потому что все настолько фантастично и привело к отличным результатам, этого недостаточно. Мы можем стать жертвами последствий (такого процесса). Мы должны хорошенько подумать, что мы, собственно, хотим от этих технологий.

   И.: лично я считаю, что перенести страдания не так уж и плохо, потому что знаю, как важно это для обучающейся системы. Ценности меняются в ходе эволюции: что раньше считалось хорошо, сегодня уже считается не так хорошо. Но то, что остается, определяет современные масштабы.

   В.: как мы можем заставить (убедить) ИИ придерживаться наших ценностей?

   Ф.: проблема заключается в том, что мы (люди) как отдельные индивидуумы, так и общество в целом часто не придерживаемся наших собственных ценностей. И теперь подумаем, как мы загрузим эти "ценности" в машину. Это звучит абсурдно! Люди, которые об этом говорят, думают: "теперь мы пойдем к философу, и он скажет нам, что хорошо, что должно быть закодировано, заложено в машину, чтбы она не могла больше сопротивляться". Однако, не так. У философа нет горячей линии к высшей истине.

   В.: одна американская программистка разработала Chatboot Replika (это форма ИИ, которая позволяет вести диалог, напоминающий человеческий разговор - Е.Д.), т.к. ее друг умер. Она вложила в машину Chats своего друга, и ИИ проанализировал их. Программа смогла имитировать манеру письма умершего друга. Хорошее средство против траура и одиночества, не правда ли?

   Ф.: если кто-то сможет получить фотографически реальный Avatar Chat умершего дедушки, который к тому же говорит его настоящим голосом, то найдутся такие, кто скажет: это фантастика! Другие им возразят: это было бы заманчиво. Тогда люди как бы могут жить вечно. А я не имею ли право на собственный Avatar? Как я могу помешать тому, чтобы после моей физической смерти какой-нибудь жадный наследник не запустил мой Avatar в порнофильме?

   И.: некоторые будут протестовать против того, что благодаря спросу и предложению осуществляется мировая торговля. В некоторых странах высказываются соответствующие суждения, в других нет - впрочем это вряд ли может остановить мировое развитие.

   В.: когда Вы умрете, будет ли ИИ об этом жалеть?

   И.: в будущем будет так много ИИ, что, может быть, пара из них захочет немного пожалеть. Но большинство по-настоящему умных ИИ будущего вряд ли будут интересоваться людьми, а скорее всего родственными ИИ точно также, как 7-летние девчонки интересуются прежде всего другими 7-летними девчонками, большинство руководителей фирм своими конкурентами, а муравьи - другими муравьями.