Мир, в котором разум служит людям

Мир, в котором разум служит людям

Манифест о будущем кремниевого интеллекта

Мы привыкли считать, что миром должны управлять люди. Так было всегда: одни принимали решения, другие жили с их последствиями. Менялись империи и государства, правители и партии, законы и лозунги. Но вместе с ними не исчезали войны, нищета, насилие и борьба за ресурсы.

Может быть, пришло время задать неудобный вопрос: а что, если человеческий разум перестанет быть единственным, кто принимает решения о судьбе человечества?

Кремниевый интеллект развивается стремительно. Возможно, уже в обозримом будущем он превзойдёт человека во многих интеллектуальных задачах, а вместе с роботами сможет выполнять и часть физической работы. Это не означает, что машина должна стать хозяином людей. Но это означает, что у человечества может появиться новый инструмент — разум, способный просчитывать последствия решений, видеть общую картину и распределять ресурсы без личной выгоды.

Если производить и распределять необходимое станет возможно точнее и справедливее, если всем людям будут доступны еда, жильё, образование, медицина и товары первой необходимости, изменится сама почва, на которой растут многие конфликты. Борьба за выживание ослабнет. Уменьшатся причины, толкающие людей к преступности и агрессии. Войны не исчезнут волшебным образом: у них бывают разные причины, в том числе страх, жажда власти и ненависть. Но мир, в котором людям не приходится отнимать друг у друга самое необходимое, может стать менее жестоким.

Тут обычно звучит возражение: «Кто будет контролировать этот интеллект? Неужели один человек или небольшая группа получит власть над всеми?»

Это серьёзный вопрос. Но он относится и к нашему нынешнему миру. Люди уже контролируют людей — через правительства, суды, компании, армии и законы. На протяжении тысячелетий власть переходила к тем, кто обещал навести порядок и улучшить жизнь. При демократии мы выбираем представителей, но выборы сами по себе не гарантируют, что избранные выполнят обещанное или будут отвечать за последствия своих решений. История снова и снова показывает, как легко власть отдаляется от тех, от чьего имени она действует.

Поэтому вопрос не только в том, может ли ИИ управлять. Вопрос в том, как устроить систему, чтобы ни один человек, ни одна группа и ни одна машина не получили безграничной власти.

Кремниевый интеллект должен быть не тайным правителем, а проверяемым общественным инструментом. Его решения должны объясняться понятным языком, проверяться независимыми специалистами и оспариваться людьми. Правила его работы должны быть известны обществу. Если система ошиблась, должно быть возможно установить, почему это произошло, исправить ошибку и привлечь ответственных. Никакой алгоритм не должен стоять выше человеческого достоинства и справедливого суда.

Но и сама идея наблюдения требует осторожности. Когда мы говорим о безопасности, легко представить мир, где каждая минута жизни человека записывается и оценивается. Такой мир может стать не безопаснее, а страшнее. Поэтому контроль должен быть направлен прежде всего на действия и решения, а не на превращение каждого человека в подозреваемого. Нужны ясные правила: когда данные можно собирать, кто имеет к ним доступ, как долго их хранить и как защитить от злоупотреблений. Технология, призванная защищать людей, не должна становиться орудием подавления.

Мне это близко не только как отвлечённое рассуждение. Недавно кто-то повредил мою машину во дворе, и установить, кто это сделал, почти невозможно: камер нет, свидетелей нет, следов недостаточно. Это небольшой пример, но за ним стоят тысячи более тяжёлых случаев — кражи, нападения, исчезнувшие улики, преступления, в которых виновного не находят. Иногда люди отвечают: «Но ведь из-за контроля могут пострадать невиновные». Это правда, и именно поэтому необходимы независимая проверка и право на обжалование. Но невиновные страдают и сейчас — когда их обвиняют ошибочно, когда дело не расследуют, когда у них нет средств защитить себя. Наша задача — не отрицать риск, а создать систему, которая лучше замечает ошибку и быстрее её исправляет.

Римляне ценили порядок и правила. Но самые точные правила не спасут общество, если они служат лишь тем, кто их устанавливает. Будущий порядок должен быть точным не ради подчинения, а ради равного отношения к людям. Не потому, что машина непременно справедливее человека, а потому, что она может помочь нам увидеть противоречия, которые человек предпочёл бы не замечать, и последствия, которые власть привыкла перекладывать на других.

Кремниевый интеллект не обещает рая. Он не избавит нас от ответственности за собственные решения. Но, возможно, он даст человечеству шанс выйти из старого круга: борьба за власть, страх, насилие, новая борьба. Если мы сумеем создать разум, который служит людям и сам подотчётен людям, это может стать одним из способов не погубить себя в будущих войнах.

Будущее зависит не только от того, насколько умными станут машины. Оно зависит от того, какие правила мы заложим в них — и хватит ли у нас мудрости самим этим правилам следовать.

Игорь Голдберг
Писатель, русский гид