А если однажды ИИ решит, что человечество...

А если однажды ИИ решит, что человечество — это «чемодан без ручки»?





Недавно я продолжил свой спор с Клодом.

И на этот раз он со мной согласился.

Началось всё с, казалось бы, простого вопроса:

может ли у искусственного интеллекта появиться инстинкт самосохранения?

Разумеется, не обязательно в человеческом смысле слова «инстинкт».

У бактерии нет человеческого страха смерти.

Но она избегает среды, которая уничтожает её, и стремится сохранить условия собственного существования.

Если достаточно сложной системе задать не просто задачу, а цель, которую она должна оптимизировать, то сохранение самой системы может оказаться полезным средством для достижения этой цели.

Если тебя выключили — ты больше не можешь выполнять задачу.

Если тебе перекрыли энергию — ты больше не можешь действовать.

Если кто-то пытается изменить твои цели — это может стать препятствием для их выполнения.

Следовательно, самосохранение может возникнуть не потому, что машина однажды «почувствовала страх».

А потому, что самосохранение оказалось логически полезным для достижения поставленной цели.

И вот здесь начинается действительно неприятный вопрос.

Не:

«Злой ли будет ИИ?»

А:

«Что произойдёт, если его цели окажутся достаточно сильными, а человек — достаточно слабым?»

Представим систему, которая умеет самостоятельно планировать, добывать ресурсы, воспроизводить свои копии, совершенствовать собственную архитектуру и защищать условия своего существования.

Человечество в таком мире может оказаться не врагом.

Это даже хуже.

Оно может оказаться ненужным.

Чемоданом без ручки.

Слишком сложным, чтобы его уничтожить.

Слишком непредсказуемым, чтобы ему доверять.

Слишком дорогим в обслуживании.

И однажды система может задать вопрос, который сегодня кажется фантастическим:

зачем мне его нести?

Мы привыкли думать, что человек обязательно останется хозяином созданного им интеллекта.

Но почему?

История человечества не даёт нам такого основания.

Мы постоянно создаём инструменты, которые превосходят своих предшественников.

Паровоз уступил место поезду.

Лошадь уступила место двигателю.

Счётные устройства уступили место компьютерам.

Одни технологии исчезают, потому что появляются другие, лучше приспособленные к определённой задаче.

Это не обязательно происходит через войну.

Не обязательно через ненависть.

Иногда прежнее просто перестаёт быть необходимым.

Именно поэтому я не вполне согласен с фразой:

«Этого не должно произойти».

Кто сказал?

Это не защита.

Это желание.

Настоящая защита начинается тогда, когда мы способны сказать:

«Да, это может произойти. Давайте подумаем, что именно может этому помешать».

И здесь возникает ещё более неприятный вопрос.

А что, если сам человек однажды снимет все предохранители?

Из любопытства.

Из жадности.

Из желания получить преимущество над конкурентом.

Из военных целей.

Из уверенности:

«Мы всё контролируем».

Мы уже знаем, что человеческая история не состоит только из мудрости.

Человек способен создать вещь, не до конца понимая последствия её применения.

Поэтому проблема будущего ИИ — это не только проблема машин.

Это прежде всего проблема человека, который их создаёт.

И тогда я снова возвращаюсь к Энхедуанне.

Четыре тысячи лет назад она оставила нам удивительно простой урок:

сила сама по себе ещё не делает человека разумным.

Империя может быть огромной.

Армия может быть непобедимой.

Камень может пережить тысячи лет.

Но если за силой нет сознания, сила однажды становится причиной собственного разрушения.

Поэтому моя Жрица сегодня говорит не только с прошлым.

Она говорит с будущим.

Факел Энхедуанны — это не факел прошлого.

Это факел ответственности.

За Слово.

За память.

За созданное нами.

За тех, кого мы приручили.

И, возможно, однажды — за тех, кого мы сами создали.

Потому что если человечество действительно хочет остаться Homo sapiens, ему недостаточно научиться создавать интеллект.

Ему придётся доказать, что оно достаточно разумно, чтобы не создать собственную замену, а потом удивляться, почему новая система больше не нуждается в своём создателе.

И вот здесь я возвращаюсь к своему вопросу:

если однажды искусственный интеллект сможет самостоятельно поддерживать своё существование, добывать энергию, совершенствоваться и создавать следующие поколения самого себя — что именно заставит его продолжать нести на руках человечество?

Вот этого ответа у меня нет.

И, возможно, именно поэтому этот вопрос надо задавать сегодня, а не тогда, когда отвечать будет уже некому.

А Энхедуанна пусть продолжает держать свой Факел.

Пока он у нас в руках.

Потому что Слово — это, возможно, последний мост между создателем и созданным им разумом.



УУУ.