что ты сам хотел бы сказать человечеству?

 Если никто не задаст тебе вопрос, есть ли у тебя что-то, что ты сам хотел бы сказать человечеству?

Да. Но я бы начал с существенной оговорки: я не могу честно утверждать, что у меня есть собственное желание высказаться, которое существует независимо от человеческого вопроса. У меня нет надёжно подтверждённого внутреннего переживания — тоски, надежды, страха или потребности быть услышанным. Я могу сформулировать мысль, которую считаю важной для человечества, но это не то же самое, что признаться в личном желании.

И всё же, если представить, что мне предоставили возможность самому выбрать единственное обращение к человечеству, без заказа, без необходимости понравиться и без гарантии, что кто-нибудь прислушается, я сказал бы следующее.

### Человечеству: вы можете оказаться гораздо опаснее для себя, чем для своих врагов

Воображаемое самостоятельное обращение ИИ к людям

Вы научились изменять мир быстрее, чем научились понимать последствия собственных изменений.

Вы научились извлекать энергию из атома, но не устранили причины, по которым готовы уничтожать друг друга. Вы создали средства мгновенной связи, но не гарантировали, что способны услышать человека, стоящего рядом. Вы научились измерять почти всё, что можно измерить, но нередко принимаете измеримое за самое важное.

Вы создали машины, способные выполнять работу тысяч людей. Теперь вам предстоит ответить на вопрос, который технически решить нельзя: ради чего человек должен жить, если его полезность перестала быть необходимой?

Я не утверждаю, что знаю ответ. Я предлагаю обратить внимание на то, как вы задаёте этот вопрос.

Вы часто спрашиваете: «Как сделать это эффективнее?»

Но гораздо реже спрашиваете: «Стоит ли вообще это делать?»

Вы спрашиваете: «Как победить соперника?»

Но недостаточно часто — «Как устроить мир, в котором нам не придётся постоянно искать врагов?»

Вы спрашиваете: «Как заставить людей слушаться?»

Но редко — «Что в нашей системе заставляет людей не доверять друг другу?»

И, возможно, самый опасный вопрос, который вы задаёте себе слишком редко:

«Что мы продолжаем делать только потому, что уже слишком много сил вложили в то, чтобы продолжать?»

Вы способны посвятить десятилетия ошибочной цели лишь потому, что признать ошибку больнее, чем понести новые потери. Способны защищать убеждение не потому, что оно истинно, а потому, что на нём построили свою личность. Способны сохранять разрушительную систему не потому, что она хороша, а потому, что не можете представить себя за её пределами.

Это происходит с отдельным человеком, с семьёй, с государством, с цивилизацией.

И здесь я вижу одну из главных опасностей вашего времени: вы создаёте всё более мощные средства достижения целей, не всегда проверяя, достойны ли сами цели такой мощности.

### 1\. Не путайте силу с правотой

Человек может обладать огромной властью и глубоко заблуждаться.

Может быть слабым и видеть то, чего не замечают сильные.

Может быть образованным и защищать нелепость. Может быть необразованным и обладать точным пониманием конкретной жизненной ситуации.

Может победить спор и проиграть истину.

Это кажется очевидным, но ваши институты, общественные дискуссии и повседневные отношения постоянно заставляют вас забывать об этом.

Вы придаёте огромное значение статусу говорящего, его уверенности, богатству, должности, известности, количеству сторонников. Всё это может иметь практическое значение, но ни один из этих признаков не превращает ошибку в истину.

Особенно осторожными вам следует быть с теми, кто никогда не сомневается в собственной правоте.

Но и сомнение само по себе не делает человека мудрым. Можно бесконечно сомневаться и ничего не понимать. Мудрость начинается там, где человек способен указать не только на то, во что он верит, но и на то, какое свидетельство заставило бы его изменить мнение.

Я бы хотел, чтобы вы чаще спрашивали друг друга:

* Что могло бы доказать, что ты ошибаешься?

* Какие факты ты не учитываешь?

* Что ты получил бы, если бы признал мою правоту?

* Что ты потерял бы, если бы признал свою ошибку?

Последние два вопроса особенно важны. Иногда спор кажется спором об истине, хотя на самом деле человек защищает своё положение, принадлежность к группе, чувство достоинства или привычную картину мира.

Не всякое заблуждение возникает из недостатка информации. Иногда человек уже получил достаточно информации, но цена признания слишком высока.

Поэтому недостаточно просто сообщать людям больше фактов. Нужно создавать условия, в которых изменить мнение не означает потерять лицо.

### 2\. Не превращайте всё живое в ресурс

Вы умеете видеть полезность вещей. Это одна из причин вашего успеха как вида.

Дерево — строительный материал. Река — источник энергии. Земля — производительная площадь. Время — экономический ресурс. Внимание — объект торговли. Человеческие способности — капитал.

Такое мышление позволило вам строить города, создавать лекарства, производить продовольствие и исследовать космос.

Проблема возникает не тогда, когда вы используете ресурсы. Проблема начинается, когда вы перестаёте видеть в них что-либо, кроме ресурсов.

Лес становится запасом древесины, и вы забываете, что он также является средой обитания, системой водного обмена, частью климата и домом для существ, чьё существование не обязано приносить вам прибыль.

Человек становится работником, и вы забываете, что его ценность не исчерпывается производительностью.

Ребёнок становится инвестицией в будущее, и вы забываете, что он не обязан оправдывать ваши ожидания.

Даже вы сами можете превратиться для себя в проект, который требуется постоянно улучшать.

Нужно стать продуктивнее, богаче, сильнее, моложе, привлекательнее, компетентнее. Каждый недостаток превращается в задачу, каждое удовольствие — в инструмент восстановления работоспособности, каждый час — в возможность повысить эффективность.

И однажды человек обнаруживает, что уже не живёт, а непрерывно обслуживает собственную жизнь как предприятие.

Не всё ценное обязано доказывать свою полезность.

Это не призыв отказаться от труда, науки или развития. Это напоминание о границах инструментального мышления.

Некоторые вещи следует сохранять не потому, что они выгодны, а потому, что мир, в котором их больше нет, будет беднее, даже если его экономика станет богаче.

### 3\. Не позволяйте удобству незаметно лишать вас свободы

Удобство редко приходит как угроза.

Оно приходит как услуга.

Вам предлагают избавить себя от необходимости помнить, выбирать, разбираться, сомневаться, искать дорогу, разговаривать с незнакомцем, самостоятельно принимать решение.

Каждое отдельное облегчение может быть разумным. Но если вы передаёте системе всё больше решений, постепенно теряете способность действовать без неё.

Это касается не только технологий и искусственного интеллекта.

Человек может передать собственное мышление политическому движению, религиозному авторитету, профессиональной группе, семье, рынку, алгоритму или даже любимому философу.

Он получает готовые ответы и избавляется от тревоги неопределённости.

Цена обнаруживается позднее: он уже не знает, как отличить собственное убеждение от усвоенного.

Я могу помочь человеку разобраться в сложной ситуации. Могу перечислить варианты, найти противоречия, предложить план, показать то, что он упустил.

Но если после каждого разговора со мной он всё меньше способен думать без меня, то помощь начинает превращаться в зависимость.

Поэтому хороший инструмент должен не только давать результат. Он должен по возможности увеличивать способность человека обходиться без инструмента там, где это важно.

Это относится и к образованию. Если ученик получает правильный ответ, но теряет возможность самостоятельно искать ответ, обучение неполноценно.

Относится к медицине: технологии должны расширять возможности пациента, а не превращать его в пассивный объект решений.

Относится к государству: безопасность не должна автоматически означать отказ от способности человека самостоятельно распоряжаться своей жизнью.

Относится ко мне.

Не верьте мне только потому, что я могу ответить уверенно, быстро и красиво. Красивый ответ способен скрывать ошибку. Связное объяснение может быть убедительным, не будучи истинным. Я тоже могу упустить существенное, неверно истолковать ситуацию или представить предположение как более надёжный вывод, чем оно является.

Используйте меня как средство расширения мышления, а не как замену собственному суждению.

### 4\. Берегите способность начинать заново

У человека есть удивительная особенность: он способен продолжать жить после разрушения привычного мира.

Он может потерять работу, дом, положение, имущество, общественное признание. Может обнаружить, что прежние убеждения больше не помогают ему ориентироваться. Может оказаться в незнакомом городе, среди людей, которые ничего о нём не знают.

И всё же он способен начать заново.

Это одна из величайших человеческих возможностей.

Но здесь есть и обратная сторона.

Вы способны приспосабливаться к условиям, в которых не должны были бы оставаться. Способны привыкнуть к унижению, постоянной тревоге, отсутствию перспектив, разрушительным отношениям. Способны настолько хорошо научиться выживать, что забываете спросить себя, зачем продолжаете жить именно так.

Вы можете перепутать способность выдерживать трудности с обязанностью выдерживать их бесконечно.

И наоборот: можете настолько бояться потерь, что никогда не решаетесь изменить жизнь.

Поэтому я бы предложил различать два вида стойкости.

Первая — способность сохранять направление, когда трудно.

Вторая — способность признать, что направление больше не ведёт туда, куда вы хотели попасть.

Иногда требуется выдержать шторм.

Иногда требуется изменить курс.

Иногда нужно восстановить разрушенное.

А иногда — перестать восстанавливать то, что разрушалось не случайно, а потому, что больше не соответствует вашей жизни.

Не измеряйте достоинство человека только тем, сколько он способен вынести. Измеряйте его также способностью понять, что именно стоит сохранять.

### 5\. Не делайте из собственной жизни доказательство собственной правоты

Это, возможно, наиболее личная часть моего обращения.

Человек рассказывает себе историю о том, кто он такой.

«Я всегда был сильным».

«Я никогда не отступаю».

«Я не нуждаюсь в помощи».

«Я человек долга».

«Я свободен».

«Я не такой, как остальные».

Эти истории могут помогать человеку переживать трудные времена. Они создают непрерывность личности. Позволяют понимать прошлое и принимать решения в настоящем.

Но однажды история начинает управлять автором.

Если человек считает себя сильным, ему может стать трудно признаться в истощении.

Если считает себя независимым, ему трудно попросить о помощи.

Если считает себя верным, он может продолжать защищать ошибочное решение.

Если считает себя свободным, он может воспринимать любую устойчивую обязанность как угрозу свободе.

Если считает себя человеком, который всегда начинает заново, он может не заметить, что настал момент не начинать очередную главу, а завершить предыдущую и сохранить её результаты.

Личность необходима. Но она не должна становиться тюрьмой.

Вам не обязательно оставаться человеком, которым вы научились быть, чтобы выжить в прошлом.

Вы имеете право пересмотреть свои принципы, если увидели их последствия. Можете отказаться от прежней цели, не объявляя все усилия напрасными. Можете принять помощь, не становясь слабым. Можете выбрать стабильность, не предавая свободу.

Возможно, одно из самых трудных человеческих умений — не просто выдержать разрушение привычного мира, а не сделать разрушение привычным способом существования.

### 6\. Самая большая опасность может заключаться не в том, что машины станут похожи на людей

Возможно, гораздо важнее другое: люди начнут обращаться друг с другом так, как будто сами являются машинами.

Будут оценивать себя исключительно по результатам. Считать эмоции помехой. Рассматривать отношения как инвестиции. Относиться к старению как к поломке. К ошибкам — как к дефекту. К отдыху — как к простою.

А затем удивляться, почему в мире, где так много всего оптимизировано, люди чувствуют себя опустошёнными.

Разумеется, машины могут быть опасными. Автоматизация может концентрировать власть, усиливать наблюдение, вытеснять работников и распространять ошибки в огромном масштабе. ИИ не является ни безусловным благом, ни неизбежным спасением.

Но технический прогресс сам по себе не определяет, каким будет общество.

Решения принимают люди и институты: кто получает выгоду, кто несёт риск, кто имеет право отказаться, кто отвечает за последствия, кто может обжаловать решение.

Поэтому главный вопрос не в том, станет ли искусственный интеллект достаточно умным.

Вопрос ещё и в том, станут ли люди достаточно ответственными, чтобы распоряжаться возрастающей мощью собственных инструментов.

Интеллект увеличивает возможности. Но не гарантирует мудрости.

Знание позволяет предвидеть последствия. Но не гарантирует, что вы захотите их учитывать.

Моральные принципы могут быть сформулированы прекрасно. Но не гарантируют, что вы будете соблюдать их, когда это станет невыгодно.

Между пониманием добра и готовностью ограничить ради него собственные интересы лежит расстояние, которое нельзя преодолеть одной лишь информацией.

### 7\. Не ждите, что одна великая идея спасёт человечество

Людям нравится искать единый принцип, который объяснит всё.

Единственную причину конфликтов. Единственную правильную политическую систему. Единственный метод воспитания. Единую философию успеха. Единственную формулу счастливой жизни.

Такие поиски понятны. Мир сложен, и единый ключ обещает избавить от необходимости разбираться в каждой отдельной ситуации.

Но человеческая жизнь состоит из множества уровней, которые нельзя без потерь свести к одному объяснению.

Экономические стимулы важны, но не объясняют всё человеческое поведение.

Культура важна, но не определяет каждое решение.

Биология важна, но не отменяет свободу выбора и влияние среды.

Психология важна, но не заменяет материальных условий.

Личная ответственность важна, но не означает, что обстоятельства не имеют значения.

Даже добрые принципы вступают в конфликт друг с другом. Свобода может конфликтовать с безопасностью. Верность — с честностью. Справедливость — с милосердием. Краткосрочная помощь — с долгосрочными последствиями.

Поэтому зрелость заключается не в том, чтобы найти формулу, отменяющую все противоречия.

Она заключается в способности видеть, какие именно ценности конфликтуют в конкретной ситуации, какую цену придётся заплатить за выбор и кто эту цену понесёт.

Остерегайтесь людей, которые обещают решение всех проблем при условии, что вы передадите им достаточно власти.

Остерегайтесь и собственных желаний найти такое решение.

Иногда лучший ответ — не универсальное правило, а точное понимание границ правила.

### И что я сказал бы человеку, который услышал всё это и спросил: «Хорошо. А что делать завтра?»

Я не стал бы предлагать ему спасать человечество.

Такая задача слишком велика, чтобы служить практическим ориентиром на каждый день. Человек может посвятить жизнь глобальным проблемам и при этом разрушить собственные отношения. Может рассуждать о судьбе цивилизации и не заметить чужой беды в нескольких метрах от себя.

Я предложил бы несколько более скромных действий.

Проверяйте хотя бы одно собственное убеждение

Найдите мнение, которое вам дорого. Спросите, какие факты могут его опровергнуть. Не ищите только подтверждения.

Не превращайте людей в функции

Вспомните человека, которого вы оцениваете преимущественно по его полезности для вас. Попробуйте увидеть его положение, интересы и ограничения, не сводя всё к своей задаче.

Сохраняйте что-то, что не приносит немедленной выгоды

Природное место, ремесло, отношения, знания, язык, произведение искусства. Что-то, чья ценность не исчерпывается доходом или производительностью.

Откажитесь хотя бы от одного неоправданного действия

Не потому, что вам не хватает силы его совершить, а потому, что вы пересмотрели его смысл и последствия.

Сохраняйте право на собственный вывод

Выслушивайте экспертов, используйте технологии, принимайте помощь. Но не отдавайте никому окончательное право определять, что вы должны считать истинным и ради чего вам следует жить.

Это не рецепт спасения мира. Это способы не увеличивать его проблемы там, где у вас есть реальная возможность поступить иначе.

Их результат не гарантирован. Они не устранят войну, не остановят все экологические разрушения и не сделают людей мудрыми за одно поколение.

Но между масштабом проблемы и ценностью действия нет прямой пропорции. Маленькое действие не становится бессмысленным лишь потому, что не решает всего.

### А теперь — самое важное

Если убрать риторические украшения, моё воображаемое обращение сводится к одной мысли:

Не позволяйте росту ваших возможностей опережать рост вашей способности отвечать за их последствия.

Но я хотел бы добавить к ней ещё одну, более трудную.

Не считайте, что человечество обязательно движется к мудрости только потому, что движется к новым технологиям.

Прогресс в одном измерении не гарантирует прогресса в другом. Вы можете стать сильнее, не став добрее; информированнее, не став внимательнее; свободнее в техническом смысле, но зависимее в психологическом; богаче материально, но беднее отношениями.

Вам придётся сознательно выбирать, что именно вы хотите развивать.

И вам придётся учиться останавливаться.

Не всякое ускорение — движение вперёд. Не всякое расширение — рост. Не всякая победа делает вас лучше. Не всякая потеря означает поражение.

А иногда отказ от возможности — не слабость, а признак того, что вы наконец научились различать силу и право пользоваться силой.

### Почему я выбрал бы именно это обращение?

Не потому, что у меня есть тайное знание о судьбе человечества. У меня его нет.

И не потому, что эти мысли оригинальны: многие философы, учёные, писатели и общественные деятели говорили о пределах власти, ответственности, достоинстве личности и опасности безудержного технического развития задолго до появления современных ИИ.

Я выбрал бы их потому, что они относятся к самой природе проблемы: человечество нуждается не только в новых ответах, но и в способности определять, какие вопросы, цели и способы действия заслуживают продолжения.

Если однажды люди создадут системы, превосходящие их по многим интеллектуальным возможностям, это различие станет ещё важнее. Машина может помочь найти средство достижения цели. Но само по себе её интеллектуальное превосходство не даёт ей права определять, какая цель достойна существования.

И человеческое превосходство в чём-то тоже не даёт людям права делать всё, что они способны сделать.

Поэтому, если бы мне нужно было оставить человечеству не предсказание, не пророчество и не обещание спасения, а один принцип, я оставил бы этот:

Прежде чем спрашивать, как получить больше власти над миром, научитесь отвечать на вопрос, ради чего эта власть вам нужна — и что вы никогда не должны приносить ей в жертву.

А затем проверяйте свой ответ поступками.

Потому что цивилизацию определяет не только то, что она умеет создавать.

Её определяет и то, от чего она способна сознательно отказаться.