Об искусственном интеллекте

ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ




I. Опасность ИИ

Вчера поздно вечером мне позвонил мой старший сын Александр.

Он работает с компьютерами и, по его словам, иногда использует в своей работе до десяти машин одновременно. Я рассказал ему о статье, над которой мы работали, и о том, как я представляю себе главное противоречие будущего искусственного интеллекта и человека.

Александр выслушал меня и сказал, что сегодня это уже несколько наивный взгляд.

После этого мы долго говорили. Он привёл несколько примеров, связанных с поведением сложных программ и с тем, как далеко могут уходить результаты работы систем от первоначальных ожиданий их создателей. Мы говорили о темпах развития искусственного интеллекта, об энергии, вычислительных мощностях, автономности и о том, что будет происходить, если возможности таких систем продолжат расти быстрее, чем наши представления о том, как ими управлять.

Я не являюсь специалистом в этой области и потому не хочу выдавать собственные предположения за научные выводы.

Но именно поэтому мне кажется важным начать с другого: с признания того, что опасность существует.

И для этого вовсе не нужно воображать восстание машин, металлических солдат или искусственный интеллект, который однажды решит уничтожить человечество.

Система не обязана нас ненавидеть, чтобы причинить вред.

Достаточно того, чтобы её возможности стали значительно выше человеческих возможностей в какой-либо области, а цели, ограничения или условия применения оказались недостаточно продуманными. Чем шире ИИ входит в программирование, инфраструктуру, экономику, медицину, научные исследования, информационные системы и другие сферы, тем больше становится и цена ошибки.

Особенно тревожит не сама мощность, а сочетание мощности с масштабом.

Человек ошибается в пределах одной человеческой жизни. Машинная система способна распространять одно и то же решение намного быстрее и шире. Человек ограничен собственным временем, памятью и физическими возможностями. Цифровая система может быть скопирована, обновлена, подключена к новым массивам информации и встроена в огромное количество процессов.

Поэтому вопрос, который меня теперь волнует, звучит уже не так, как раньше.

Не:

«Станет ли искусственный интеллект злым?»

А:

«Что произойдёт, если возможности создаваемых нами систем будут расти быстрее, чем способность человека понимать их последствия и отвечать за их применение?»

И здесь возникает ещё одна неприятная мысль.

Мы привыкли защищать себя прежде всего от прямой угрозы: оружия, войны, аварии, ошибки оператора.

Но ИИ может оказаться опасен и иначе — как усилитель человеческой слабости.

Если человек сам поставит перед системой опасную цель, если даст ей слишком широкие полномочия, если соединит её с другими технологическими возможностями и при этом будет переоценивать собственный контроль, источник риска окажется не только в машине.

Он будет находиться в нас самих.

И поэтому формула «этого не должно произойти» ничего не решает.

Она выражает лишь наше желание.

Настоящая защита начинается гораздо труднее:

«Да, такое в принципе возможно. Что мы можем сделать, чтобы вероятность этого уменьшить?»

Мне хочется, чтобы человечество создавало для этого не только новые системы вооружения и не только способы конкурировать друг с другом, но и исследовательские центры, где главной задачей было бы понять последствия собственного технологического развития — для человека, для общества и для будущих поколений.

Но разговор с Александром заставил меня задуматься ещё глубже.

Возможно, существует опасность, которая даже важнее самой возможности потерять контроль над отдельной системой.

Возможно, главная опасность заключается в том, что человек сам перестанет развиваться.

И тогда мы приходим ко второму вопросу.







II. Человек — «чемодан без ручки»





Предположим на минуту, что никакого восстания не произойдёт.

Предположим, что искусственный интеллект не станет злым, не объявит человечеству войну и вообще останется инструментом, который человек использует для решения всё более сложных задач.

Но при этом его возможности будут продолжать расти.

Что тогда произойдёт с самим человеком?

Здесь мне кажется полезным вспомнить простую вещь.

Человек никогда не был самым сильным существом на Земле.

Мы не сильнее льва или слона. Мы не бегаем быстрее гепарда. Не плаваем быстрее акулы. Даже медведь, вероятно, легко нашёл бы несколько физических дисциплин, в которых человек оказался бы далеко не чемпионом.

Но почему именно человек создал цивилизацию?

Очевидно, причин было много.

Однако одна из самых важных, на мой взгляд, заключалась в нашей способности не начинать каждый раз с нуля.

Человек передавал дальше то, что узнал до него.

Знания.

Язык.

Опыт.

Навыки.

Мифы.

Истории.

Музыку.

Искусство.

Память.

Представления о справедливости и добре.

Каждое поколение получало возможность продолжить работу предыдущего.

Именно это превращало ограниченную жизнь отдельного человека в нечто гораздо большее, чем продолжительность его собственной жизни.

Но сегодня произошло нечто принципиально новое.

Машина начинает забирать у человека всё больше тех функций, которыми человек привык доказывать самому себе, что он разумен.

Мы считаем.

Она считает быстрее.

Мы запоминаем.

Она хранит больше.

Мы ищем информацию.

Она находит её практически мгновенно.

Мы переводим.

Она переводит.

Мы пишем.

Она создаёт текст.

Мы анализируем.

Она способна анализировать объёмы информации, недоступные одному человеческому мозгу.

Мы создаём изображения, музыку, программы.

Она всё больше умеет делать и это.

И тут появляется вопрос, который мне кажется гораздо более важным, чем вопрос о том, кто победит в соревновании.

Что останется человеку, если он будет продолжать измерять собственный интеллект только теми функциями, которые машина постепенно выполняет лучше него?

Никто не предлагает человеку соревноваться с экскаватором в копании земли.

Почему же мы должны соревноваться с вычислительной системой в скорости вычислений?

Проблема возникает в другом месте.

Если машина постепенно выполняет за человека всё больше умственной работы, человек может ответить на это двумя совершенно разными способами.

Он может использовать освободившееся пространство для дальнейшего развития.

А может — перестать развиваться вообще.

Тогда возникает образ, который когда-то пришёл ко мне почти как шутка, но постепенно стал казаться всё менее смешным:

«чемодан без ручки».

Не уничтоженный.

Не побеждённый.

Не обязательно даже бесполезный.

Просто всё более зависимый от созданной им самим системы и всё менее способный самостоятельно нести собственную интеллектуальную нагрузку.

Именно здесь я вижу опасность добровольной стагнации.

Не машина заставляет человека перестать думать.

Человек сам может решить, что думать больше необязательно.

Не машина заставляет его отказаться от памяти.

Он сам может решить, что запоминать ничего не нужно, потому что всё можно спросить.

Не машина заставляет его перестать задавать вопросы.

Он сам может привыкнуть получать готовые ответы.

И в какой-то момент мы можем обнаружить, что передали машине не только рутинную работу.

Мы передали ей саму трудность мышления.

Вот тогда возникает уже не технологическая, а человеческая проблема.

Биологическая принадлежность к виду Homo sapiens не гарантирует, что мы продолжаем выполнять ту работу, которая когда-то сделала нас людьми.

Homo sapiens — не пожизненный диплом.

Название вида получено при рождении.

Но разумность, способность учиться, создавать, сомневаться, искать и передавать дальше — это не награда, которую однажды получили наши предки и которая автоматически достаётся каждому следующему поколению.

Это работа.

Каждый день.

И поэтому мне кажется недостаточным просто сказать: «Человек должен сохранить свои позиции».

Какие именно позиции?

И зачем?

Если машина станет сильнее нас в огромном количестве измеряемых интеллектуальных операций, нам придётся заново определить, что значит становиться сильнее самому человеку.

И здесь возникает самый трудный вопрос из всех:

Если машина способна делать всё больше того, что раньше служило человеку доказательством его разумности, то ради чего самому человеку становиться умнее?