Ник Бостром. Угрозы cуществованию. Анализ сценарие

Мой новый сайт, на котром есть вся информация по рискам вымирания человечества:
http://www.humanextinction.ru/

Угрозы существованию: Анализ сценариев человеческого вымирания и других подобных опасностей.
Бостром Ник.

Existential Risks
Analyzing Human Extinction Scenarios and Related Hazards


Nick Bostrom, PhD
Faculty of Philosophy, Oxford University
www.nickbostrom.com
[Published in the Journal of Evolution and Technology, Vol. 9, March 2002. First version: 2001]

перевод: А.В. Турчин
STRUCTURE OF THE GLOBAL CATASTROPHE Risks of human extinction in the XXI century
http://www.scribd.com/doc/6250354/

Благодаря ускорению технологического прогресса, человечество, возможно, быстро приближается к критической точке в своем развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями нам нужно лучшее понимание динамики перехода от человеческого к «пост-человеческому» обществу. Особенно важно знать, где расположены ловушки: пути, на которых все может пойти смертельно неправильно.
Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым всемирным опасностям, эта статья анализирует недавно появившуюся категорию: угрозы существованию (existential risks). Так мы называем риски событий, которые могут привести к нашему вымиранию или кардиальным образом повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие совершенно не замечаются. Угрозы существованию имеют ряд черт, которые делают обычное управление рисками в данном случае неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения данной проблемы. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.
Введение

Жить опасно, и опасность находится повсюду. К счастью, не все риски одинаково серьезны. Для наших целей мы можем использовать три измерения для описания рисков: масштаб, интенсивность и вероятность. Под «масштабом» я имею в виду размер группы людей, подверженных риску. Под «интенсивностью» я имею в виду то, насколько большой вред будет причинен каждому индивидууму из группы. И под «вероятностью» я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода .
1. Типология рисков
Мы можем различить шесть качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, вероятность, может быть наложено на эти два измерения. При прочих равных, риск является более серьезным, если он имеет значительную вероятность и если наши действия могут увеличить ее или уменьшить.

Масштаб / интенсивность: Переносимая интенсивность Смертельная интенсивность
глобальный Уменьшение озонового слоя Х
местный Экономический спад в стране Геноцид
личный Кража машины Смерть
Таблица 1. Шесть категорий риска.

«Личный», «местный» или «глобальный» относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на все человечество (и на наших потомков). «Переносимая интенсивность риска» и «смертельная интенсивность » означает, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остается возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность ему, окончательный риск это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательным исходом может быть, например, смерть, необратимое серьезное повреждение мозга, или пожизненное тюремное заключение. Примером локального смертельного риска может быть геноцид, приводящий к уничтожению всего народа (что случилось с несколькими индийскими народностями). Другой пример — обращение в вечное рабство.
2. Риски существованию
В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных смертельных рисков. Я буду называть их угрозами существованию.
Угрозы существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как «темные века», даже если они охватывают все общество, если они рано или поздно закончатся (хотя см. главу о «Визге» ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он является приемлемым или не очень серьезным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным смертельным риском для многих индивидуумов и для преследуемых этнических групп.)
Я буду использовать следующее определение риска существованию:
Угроза существованию — это такой риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает ее потенциал.
Угроза существованию — это такой риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные негативные последствия для всего будущего земной цивилизации.
3. Уникальность проблемы угроз существованию
Риски этой шестой категории появились недавно. Это одна из причин, по которой полезно выделить их в отдельную категорию. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, черной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для участников этих событий, с широкой точки зрения — с точки зрения всего человечества — даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.
За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значительных угроз существованию до середины 20 века, и определенно ни с одним из них мы не могли ничего сделать.
Первой созданной человеком угрозой существованию была первая атомная бомба. В то время было некоторое беспокойство по поводу того, что взрыв запустит цепную реакцию посредством «поджигания» атмосферы. Хотя теперь мы знаем, что такой итог был физически невозможен, в то время это предположение соответствовало определению угрозы существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса на то, чтобы случилось нечто плохое. Если мы не знаем, является ли что-то объективно рискованным, это является риском в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чем мы должны основывать наши решения . В любой момент мы должны использовать нашу наилучшую субъективную оценку того, каковы объективные факторы риска .
Гораздо большая угроза существованию возникла одновременно с появлением арсеналов ядерного оружия в СССР и США. Полноценная ядерная война была возможна со значительной степенью вероятности и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди людей, лучше всего знакомых с информацией, доступной в то время, было распространено реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию .Россия и США продолжают обладать огромными ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды создать большие арсеналы. Отметим, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является угрозой существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным смертельным риском для тех городов, на которые будут нацелены удары.,. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар — это только прелюдия к угрозам существованию в XXI веке.
Особая природа задач, возникающих благодаря угрозам существованию, может быть проиллюстрирована следующими замечаниями.
Наш подход к угрозам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактивный подход — смотреть, что случилось, ограничить ущерб и учиться на этом опыте — не работает. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.
Мы не можем с уверенностью полагаться на наши учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления другими типами рисков. Угрозы существованию — это другой зверь. Нам может быть трудно принимать их настолько серьезно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами . Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.
Уменьшение угроз существованию является всеобщим общественным благом (Kaul, 1999) и по этой причине может быть недостаточно поставляемо рынком (Feldman, 1980). Угрозы существованию являются угрозой для каждого и могут требовать реакции на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших угроз существованию.
Если мы принимаем во внимание благополучие будущих поколений, то ущерб от угроз существованию умножается на еще один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу (Caplin, Leahy 2000; Schelling 2000: 833—837).
Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьезные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и умозрительная природа предмета исследований. И отчасти, пренебрежение может быть объяснено нежеланием думать всерьез на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, но нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надежные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чем фокусировать наши усилия.
4. Классификация рисков существованию

Мы будем использовать следующие 4 категории для классификации рисков существованию :
Взрывы (Bangs) — Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.
Сужения (Crunches) — Способность человечества развиться в постчеловечество необратимо повреждена , хотя люди продолжают каким-то образом жить.
Скрипы (Shrieks) — Некая форма постчеловечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.
Всхлипы (Whimpers) — Постчеловеческая цивилизация возникает, но развивается в направлении, ведущем постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того уровня, который бы мог быть достигнут.
Вооруженные такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.
5. Взрывы (Bangs)

Это — наиболее очевидная форма глобальных рисков. Понять эту концепцию легче всего. Ниже описываются некоторые наиболее возможные пути взрывного завершения существования мира. Я попытался расположить их в порядке возрастания (по моей оценке) вероятности стать причиной истребления возникшей на Земле разумной жизни; но мое намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

5.1. Преднамеренное злоупотребление нанотехнологиями

В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерию, которые смогут питаться нечистотами или другой органической материей (Drexler 1985, 1992; Merkle et al. 1991: 187—195; Freitas 2000). Такие репликаторы могут съесть биосферу или разрушить ее другими способами, такими, как отравление ее, сжигание ее или блокирование солнечного света. Человек с преступными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду .
Технология для создания деструктивных наноботов кажется значительно более простой, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, «активного щита» (Drexler 1985)). Поэтому, скорее всего, будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. Также эти технологии могут оказаться трудными для управления ими, поскольку не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия (Drexler 1985).
Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены склонными к самоубийству режимами или террористами, все еще остается опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается (Gubrud 2000), что молекулярное производство приведет к большей нестабильности гонки вооружений и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свое вооружение, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологическое оружие, начнут, с этой точки зрения, массовое производство и конструирование вооружений, которое продолжится до тех пор, пока не случится кризис и не начнется война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана вовремя — чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.
5.2. Ядерный холокост
США и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведет ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что:
(а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится.
(б) климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы).
(в) будущие гонки вооружений между странами не могут быть исключены, и это может привести к возникновению еще больших арсеналов, чем те, что существовали в разгар холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в десять раз больше, чем остается в боеголовках (Leslie 1996: 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть (а может и не быть) более стойкой к вымиранию, чем другие виды животных.
5.3. Мы живем в симуляции, и она выключается
Может быть доказано, что гипотезе, будто мы живем в компьютерной симуляции, следует приписать значительную вероятность (Bostrom 2001). Основная идея, лежащая в основе так называемого Доказательства симуляции, состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (Moravec 1989, 1999), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не слишком невероятных предположениях результат может быть тот, что большинство разумов, подобных нашим, являются симулированными разумами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными разумами, а не (субъективно неразличимыми) разумами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.
Хотя кому-то может показаться легкомысленным выдвигать столь радикальную гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным Бостромом (Bostrom 2001), было бы интеллектуально нечестно пренебрегать выключением симуляции как возможной причиной истребления человечества.
5.4. Плохо запрограммированный суперинтеллект
Когда мы создадим первое суперинтеллектуальное устройство (Moravec 1989, 1998, 1999; Vinge 1993; Bostrom 1998; Kurzweil 1999; Hanson et al. 1998), мы можем сделать ошибку и задать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающее силу сделать это. Например, мы можем ошибочно возвести цель более низкого уровня в статус сверхцели. Мы говорим ему решить некую математическую задачу, и он подчиняется, превращая все вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. (Yudkowsky 2001)).
5.5. Генетически сконструированный биологический объект
В результате огромного прогресса генетических технологий, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать «вирус конца света»: организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью (National Intelligence Council 2000).
Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox Ectromelia virus) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля грызунов-вредителей (Nowak 2001). Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что усиливает возможную опасность здесь — это то, что исследование было быстро опубликовано в открытой научной литературе (Jackson et al. 2001: 1479—1491). Редко увидишь, чтобы информация, созданная в открытых биотехнологических проектах, хранилась бы в секрете, независимо от того, насколько суровой потенциальной опасностью она обладает - и то же относится к исследованиям в нанотехнологиях.
Генетическая медицина приведет к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, опасности биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный долговременный потенциал для медицины (Freitas 1999), они несут свои собственный опасности.
5.6. Ошибочное применение опасных нанотехнологий («серая слизь»).
Возможность аварии никогда не может быть полностью исключена.
Однако, существует много путей избежать уничтожающих всех людей аварий благодаря применению надёжных инженерных решений. Можно избежать опасного применения самовоспроизводящих систем; можно сделать наноботов зависимыми от использования какого-то редкого химического вещества, не существующего в природе; можно заключать их в герметичное окружение; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование (Foresight Institute 2000). По этой причине случайное неправильное применение наноботов тревожит гораздо меньше, чем злонамеренное (Drexler 1985; Freitas 2000; (Foresight Institute 1997—1991).
Однако, различие между случайным и намеренным может стать расплывчатым. Хотя, в принципе, кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить реализоваться этому идеальному уровню безопасности. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике оказалось невозможным избежать использования ядерных технологий также и для создания ядерного оружия, что привело к гонке вооружений. При наличии ядерных арсеналов высокой степени боевой готовности неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который может создать неизбежный риск серьезных происшествий.
В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать «принципиально непредсказуемую угрозу, в которой всегда есть элемент случайности» - (Schelling 1960).
5.7. Нечто непредвиденное
Нам необходима такая объединяющая категория. Было бы глупо верить, что мы уже придумали и спрогнозировали все значительные угрозы. Будущие технологические или научные открытия легко могут создать новые способы уничтожить мир.
Некоторые предвидимые опасности (и, следовательно, не из этой категории), были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной катастрофы, а именно: солнечные вспышки, сверхновые, взрывы и слияния черных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться, и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем «просветления» и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества — The Voluntary Human Extinction Movement ) (Knight 2001), выглядят маловероятными. Если бы, действительно, лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе и как доказывал Артур Шопенгауэр (Schopenhauer 1891), хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий глобальной катастрофой. Предположение о том, что быть живым — неплохо, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из (Leslie 1996: 26).)
5.8. Катастрофы в результате физических экспериментов
Тревоги конструкторов атомной бомбы из Манхэттенского проекта по поводу того, что взрыв приведет к возгоранию атмосферы, имеют современные аналоги.
Были рассуждения о том, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в «подлинный» вакуум с меньшей энергетической плотностью (Coleman, Luccia 1980: 3305—3315). Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за ее пределы со скоростью света, раздирая всю материю на части по мере продвижения.
Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные «странные частицы» (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую черную дыру, которая погрузится в центр Земли и начнет поглощать всю остальную планету (Dar et al. 1999: 142—148). Такие сценарии выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, состоит именно в том, что мы не знаем, что же на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей (Dar et al. 1999: 142—148; Turner, Wilczek 1982: 633—634). Возможно, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.
Основной причиной беспокойства в связи с «физическими катастрофами» является наблюдение мета-уровня о том, что открытия всех видов опасных физических феноменов происходят постоянно, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, все равно могут быть более реальные пути к катастрофе, ждущие своего открытия. Приведенные здесь — не более чем иллюстрации общего случая.
5.9. Естественно возникшее заболевание
Что, если СПИД был бы столь же заразен, как и простуда?
Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах — все это значительно возросло в современное время, делая проще возможность для новой болезни быстро заразить большую часть населения Земли.
5.10. Столкновение с астероидом или кометой
Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы (Morrison et al. 1994).
Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3—6 км.) Было, по крайней мере, пять, а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями. (Leslie 1996: 81 f). В частности, вымирание динозавров 65 миллионов лет назад связывалось с падением астероида размером 10-15 км в диаметре на полуострове Юкатан. Считается, что тело 1 км или более в диаметре сталкивается с Землей в среднем раз в полмиллиона лет . Мы пока каталогизировали только малую часть потенциально опасных тел.
Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой (Gold 1999).
5.11. Неудержимое глобальное потепление
Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Может быть, именно это случилось с Венерой, которая теперь имеет атмосферу из и температуру в 450°С. Надеюсь, однако, что у нас будут технологические средства для противодействия данной тенденции к тому моменту, когда это станет действительно опасно.
6. Сужения (Crunches)

В то время как некоторые события, описанные в предыдущей главе, могут наверняка уничтожить Homo sapiens (например, распад метастабильного вакуума), другие могут быть, в принципе, пережиты (такие, как тотальная ядерная война). Если современная цивилизация рухнет, то отнюдь не обязательно она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть — а может и не быть — также подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.
Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее описаны некоторые возможные причины сужения.
6.1. Истощение ресурсов или разрушение экологии
Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)
6.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс
Можно представить, что однажды в мире придет к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство устойчивым относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до постчеловеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа (Huxley 1932).
Мировое правительство может не быть единственной формой социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, адекватных темпам роста. В исторической ретроспективе было много случаев, когда прогресс стоял на месте или откатывался назад на значительную дистанцию. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.
6.3. Давление «вырождения»
Возможно, что продвинутое цивилизованное общество нуждается в том, чтобы в нем была достаточно большая доля интеллектуально одаренных людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus («любитель большого числа отпрысков»).Однако, вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна; см. например (Flynn 1987: 171—191; Storfer 1999). Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.
Более того, генетическая инженерия быстро приближается к точке, к тому времени, когда родители смогут наделять своих отпрысков генами, коррелирующими с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами. В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной (Bostrom et al. 1999; Freitas 1999).
6.4. Технологическая остановка.
Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.
6.5. Нечто непредвиденное .
Как и в прошлый раз, это — категория на все случаи жизни.
В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь в виду эту возможность, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.
7. Скрипы (Shrieks)
Выяснение того, какие сценарии являются скрипами, является более трудным из-за включения понятия «желательности» в определение скрипа. Если мы не знаем, что есть «желательное», мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.
7.1. Захват власти превосходящим интеллектом, загруженным в компьютер
Предположим, что загрузка сознания в компьютер возникнет раньше, чем будет создан искусственный интеллекта человеческого уровня. Загрузка — это разум, перенесенный с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети (Bostrom et al. 1999; Kurzweil 1999; Merkle 1994; Hanson 1994). Успешный процесс загрузки разума сохранит изначальную память, навыки, ценности и сознание.
Загрузка разума упростит улучшение его интеллекта путем запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведет к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя еще умнее; и более умная следующая версия будет, в свою очередь, еще успешнее в улучшении себя, и так далее. Если этот быстрорастущий процесс произойдет внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные разумные существа останутся примерно на человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро создать новые технологии или совершенные нанотехнологические конструкции. Если такая загрузка имеет склонность к не допускать других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.
Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход — Скрип.
7.2. Сверхинтеллект с ошибкой
Опять-таки, существует возможность, что плохо запрограммированный сверхинтеллект возьмет власть и реализует те ошибочные цели, которые были ошибочно ему даны.
7.3. Глобальный репрессивный тоталитарный режим
Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые постчеловеческий мир может иметь.
Такое мировое правительство, очевидно, может быть сформировано небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут задавать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот постчеловеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.
7.4. Нечто непредвиденное
Все остальное.
Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьез в нашем стратегическом планировании.
Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в постчеловеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать постлюдьми. Если мы примем это, то тогда любой сценарий, в котором переход к постчеловеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до этого (предполагая, что они не были успешно сохранены посредством крионики (Merkle 1994; Ettinger 1964)) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому постчеловечеству через 80 лет будет составлять значительный риск существованию, если мы определим «желательность» конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, отягощено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.
8. Всхлипы
Если все пойдет хорошо, мы можем однажды выйти на уровень фундаментальных физических пределов. Хотя вселенная кажется бесконечной (Zehavi, Dekel 1999: 252—254; Bostrom 2001), доля вселенной, которую мы можем теоретически колонизировать (исходя из очень ограниченного нашего современного понимания ситуации) конечна (Cirkovic, Bostrom 2000: 675—687), и мы, в конечном счете, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим превращением материи в излучение. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала.
Два вида Всхлипов (в отличие от обычных, охватывающих все гипотез) кажутся имеющими значительную вероятность:
8.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции
Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва «Мы живем в компьютерной симуляции, которую выключают»). Он рассмотрен более подробно в статье-компаньоне этой (Bostrom 2001). Очерк той статьи приведен в конце этой статьи в Приложении (Приложение: очерк эволюционного «всхлипа»).
Похожий сценарий описывается в (Hanson 1998), где доказывается, что наши «космические привычки» будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на отправку вовне следующих колонизационных зондов (Freitas 1980: 251—264).
Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он все равно может иметь важные стратегические приложения, так как, возможно, краткосрочные решения могут предопределить, вступим ли мы на путь (Bostrom 2000), который неизбежно ведет к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить ее (Chislenko 1996). Вполне может быть, что единственный возможный путь избежать данного Всхлипа — полностью предотвратить раскручивание этих цепочек событий.
8.2 Уничтожение внеземной цивилизацией
Вероятность столкнуться с инопланетянами в ближайшее время кажется очень маленькой (см. главу этой статьи об увеличивающихся вероятностях ниже, а так же (Barrow, Tipler 1986; Tipler 1982: 36—39)).
Если все пойдет хорошо, и мы разовьемся в межгалактическую цивилизацию, мы можем однажды в далеком будущем встретить инопланетян.
Если они будут враждебны и если (по некой неизвестной причине) они будут обладать значительно лучшей технологией, чем мы будем обладать тогда же, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высокоэнергетических физических экспериментов (см. главу Взрывы), то однажды нам придется столкнуться с последствиями. По причине того, что пространственная протяженность нашей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, в силу чего этот сценарий будет скорее Всхлипом, чем Взрывом.
8.3 Нечто непредвиденное
Все другие гипотезы.
Первый из сценариев Всхлипа должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым сценарием Всхлипа мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)
9. Определение величины вероятности рисков существованию
9.1 Прямые методы против непрямых
Есть два взаимодополняющих пути оценки наших шансов создания постчеловеческого мира. Прямой путь, состоит в анализе различных сценариев катастрофы, приписании им вероятностей и затем — вычитании суммы вероятностей этих катастроф из единицы для получения вероятности успеха. Детальные вычисления помогут нам понять, каков будет вклад отдельных причин вымирания в конечный результат. Например, мы бы хотели знать ответы на следующие вопросы вопросы, такие как: насколько труднее спроектировать нанотехнологическую иммунную систему с защитой от глупца, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким образом, чтобы человек с деструктивными намерениями не мог получить в свои руки наноассемблер, находящийся вне герметичной защищенной сборочной лаборатории (Drexler 1985))? Насколько вероятно, что сверхинтеллект появится ранее продвинутых нанотехнологий? Мы можем делать догадки на основе соответствующих параметров и давать оценки; и мы можем сделать то же самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность различных рисков в порядке следования их описаний, данном в предыдущих четырех главах.)
Во-вторых, имеется непрямой путь оценки наших шансов создания постчеловеческого мира. Есть теоретические ограничения, связанные с данной проблемой, основанные на некоторых общих свойствах мира, в котором мы живем. Их немного, но они важны, так как не основываются на множестве догадок о деталях будущего технологического и социального развития.
9.2 Парадокс Ферми
Парадокс Ферми — это вопрос, вызываемый тем фактом, что мы не наблюдаем никаких признаков внеземной жизни (Brin 1983: 283—309). Это говорит нам о том, что жизнь не возникает на значительной части землеподобных планет и не развивается вплоть до появления продвинутых технологий, которые используется для колонизации Вселенной теми путями, которые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр — эволюционный шаг, который чрезвычайно маловероятен — где-то на полпути между землеподобной планетой и видимым образом колонизирующей космос цивилизацией (Hanson 1998). И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определенный уровень технологии, вызывает свое собственное вымирание.
К счастью, то, что мы знаем о нашем эволюционном прошлом, хорошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на крайне маловероятные эволюционные шаги в истории развития жизни на Земле, которые могут быть достаточно невероятными, чтобы объяснить, почему цивилизации в космосе возникают столь редко и, следовательно, почему мы не видим и не встречаем никаких инопланетян. Эти шаги включают в себя возникновение первых органических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие . Вывод состоит в том, что, исходя из нашего нынешнего знания эволюционной биологии, рассуждения о Великом Фильтре не могут много сказать нам о том, с какой вероятностью мы станем постлюдьми, хотя они могут дать нам легкие намеки (Barrow, Tipler 1986; Carter 1983: 347—363; Carter 1989: 33—63; Hanson 1998).
Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.
9.3 Эффекты селективности наблюдения (Observation selection effects)
Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез. Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так называемое Рассуждение о конце света ( Doomsday argument ) (Leslie 1989, 1996). Его цель — доказать, что мы систематически недооцениваем вероятность того, что человечество вымрет относительно скоро. Идея, в простейшей форме, состоит в том, что мы должны думать о себе как о — в некотором смысле — случайной выборке из набора всех наблюдателей в нашем референтном классе ( reference class ), и мы, скорее всего, живем так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о конце света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически обосновано, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой (Bostrom 1999: 539—550; Bostrom 2002).
Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми — это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использования того факта, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные предки не вымерли в некой внезапной катастрофе, для доказательства того, что рожденная на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы все равно можем считать себя находящимися на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения . В этом случае наш прошлый успех не дает никаких оснований ожидать успеха в будущем.
Область исследований эффектов избирательности наблюдения является методологически очень сложной (Bostrom 2000: 93—108, 2001: 359—387, 2002), и требуются более фундаментальные работы для того, чтобы понять, как правильно рассуждать об этих вещах. Вполне могут существовать выводы из этой области знаний, которые мы пока еще не можем понять.
9.4 Рассуждение о Симуляции
Большинство людей не верят, что они живут в компьютерной симуляции. Я недавно показал (используя некоторые, достаточно непротиворечивые аспекты теории эффектов избирательности наблюдения), что это приводит к вере в то, что мы почти наверняка не достигнем постчеловеческой стадии или что почти все постчеловеческие цивилизации не имеют индивидуумов, которые запускают большие количества симуляций прошлого, то есть, — компьютерных симуляций человекоподобных существ, из которых они развились (Bostrom 2001). Этот вывод весьма пессимистичен, поскольку он существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете современных эмпирических знаний.
Рассуждение о симуляции является не только общим предупреждением; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живем в симуляции (что может множеством тонких путей влиять на нашу оценку того, насколько вероятными являются разные исходы) и оно уменьшает вероятность того, что постчеловеческий мир будет обладать множеством свободных индивидуумов, имеющих большие ресурсы и человекоподобные мотивы. Это дает нам ценные намеки на то, на что же мы реально можем надеяться и, соответственно, на что мы должны направлять наши усилия.
9.5 Психологические предубеждения?
Психология восприятия рисков является активно развивающеся, но довольно запутанной областью знания (Sjberg 2000: 1—11), которая может потенциально предоставить непрямые основания для пересмотра наших оценок угроз существованию.
Думаю, что наши прозрения о том, какие сценарии будущего являются «убедительными и реалистичными», сформированы тем, что мы видим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталкиваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать, что наши интуитивные ожидания отклонены в сторону переоценки вероятностей тех сценариев, которые создают Хорошие истории, поскольку такие сценарии кажутся более знакомыми и более «реальными».
Это предубеждение Хорошей-истории может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивилизацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в котором люди-герои успешно отражают вторжение монстров или боевых роботов, он гораздо менее забавен для просмотра. Так что, мы не видим большого количества фильмов такого типа. Если мы не будем осторожны в своих рассуждениях, мы можем впасть в заблуждение, будто скучные сценарии слишком маловероятны, чтобы их стоило принимать всерьез. В общем, если мы подозреваем, что имеет место предубеждение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию как группы.
Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы . Три четверти всех автолюбителей думают, что они более осторожные водители, чем среднестатистический водитель . Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти ученым в своей области (Westie 1973: 19—32), и 94% социологов думают, что они лучше работают в своей отрасли, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди делают более точные предсказания, чем люди в нормальном состоянии, за исключением тех, что касаются безнадежности их ситуации (Paulhaus 1986; Roth, Ingram 1985: 243—251; Sackheim, Gur 1979: 213—215). Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди (Sjberg 1994). Широко распространено убеждение (Urguhart. Heilmann 1984), что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолетов, убийства, отравления едой и т. д.), и недавнее исследование (Taylor 1999) показывает, что публика переоценивает большое количество распространенных рисков здоровью в отношении себя. Другое недавнее исследование (Benjamin et al. 2001: 35—57), однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением числа доступных анализу вариантов из-за расхода мыслительных усилий на удержание в уме точной информации) .
Даже если мы можем получить твердые свидетельства предубеждений в оценке личных рисков, мы все еще должны быть осторожны в распространении их на случай рисков существованию.
9.6 Оценка собранных данных
В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных технологических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобальная катастрофа убьет нас. Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше. Но даже если бы вероятность была гораздо меньше (скажем, ~1%) заявленная тема все равно заслуживала бы очень серьезного внимания по причине высоты ставок.
В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различных глобальных рисков, который мы составили. В каждой из четырех категорий наивысшие риски связаны с человеческой активностью. Значительные глобальные угрозы, для которых это не верно, — это «симуляция выключается» (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, (Bostrom 2001)); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем) .
Неудивительно, что глобальные риски, созданные современной цивилизацией, получают львиную долю вероятности. В конце концов, мы делаем сейчас некоторые вещи, которые никогда не делались на Земле ранее, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в течение сотен тысяч лет, может показаться маловероятным, что эти факторы сразят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких причин не думать, что творения продвинутой цивилизации будут нашей погибелью.
Однако, мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект селекции наблюдателей. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живем на стерилизованной планете. Но может быть, мы должны быть людьми, стоящими на более ранней фазе эволюции? Чтобы ответить на этот вопрос, мы нуждаемся в решении вопроса о референтных классах в теории селекции наблюдателей (Bostrom 2002). Но эта часть методологии еще не существует. Так что сейчас мы можем сказать, что наиболее серьезный глобальный риск создается продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополнительные аргументы для наших выводов от непрямых рассуждений, — остается открытым вопросом.
Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили угрозы существованию, провал в создании технологической цивилизации будет означать, что мы пали жертвами глобальной катастрофы (а именно, сужения, «технологической остановки»). Без технологии наши шансы избежать глобальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как оказалось, создаются самими технологиями.
10. Рекомендации, касающиеся стратегии и этики

Угрозы существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба; тщетность метода проб и ошибок в данном случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.
Из нашего обзора наиболее важных угроз существованию и их главных свойств мы можем вывести предварительные рекомендации для этики и стратегии.
10.1. Поднимать известность проблемы рисков существованию.
Нам нужно больше исследований в области рисков существованию — детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопасностью и политикой. Осведомленность публики так же должна быть повышена, чтобы стали бы возможными конструктивные политические дискуссии о возможных контрмерах..
Современные исследователи всегда склонны заканчивать свои статьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это, действительно, правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.
10.2 Создать структуру для международных действий
Поскольку снижение рисков существованию является всеобщим общественным благом, в идеальном случае должна быть такая узаконенная структура, которая бы справедливо распределяла расходы и ответственность для обеспечения этого блага между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечит расходы на снижение рисков в приблизительно оптимальных объемах.
Однако, необходимость международных действий связана с чем-то большим, чем желательность распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутренних действий одной или даже большинства стран. Например, даже если большинство стран примет и применит национальные законы против создания некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы, на самом деле, безопасности, если некоторые менее добросовестные страны решат все равно продвигаться вперед? И принципы ведения стратегических переговоров - могут сделать недопустимым подкуп всех безответственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется (Feldman 1980; Schelling 1960).
10.3 Сохранять готовность к превентивному действию в качестве последнего средства
Создание консенсуса на широкой основе между странами мира требует много времени, оно трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные страны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.
Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный наноассмблер — устройство, которое может создавать широкий круг трехмерных структур, включая твердые части, с точностью до атома на основании детально определенного процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надежной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию наноассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные наноассемблеры. Что должно быть сделано?
С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки «стран-изгоев», к сосредоточенным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберет и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вариант — предпринять действия по недопущению распространения технологии наноассемблера до тех пор, пока надежные контр-меры против наноатаки не будут развернуты.
Можно надеяться, что большинство наций будут достаточно ответственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно их использование, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вначале оказываться давление, чтобы они примкнули к коалиции. Если все попытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.
Превентивный удар по суверенной стране не должен быть легко совершаемым действием, но, в крайнем случае, который мы обрисовали, когда неспособность действовать с большой вероятностью приведет к глобальной катастрофе, мы несем ответственность, которую нельзя игнорировать. Любой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подозрительная страна еще не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий при отсутствии достаточной регуляции должно интерпретироваться как акт агрессии, поскольку это подвергает весь остальной мир даже большему риску, чем, скажем, запуск нескольких ядерных ракет в случайных направлениях.
Интервенция должна быть достаточно решительной, чтобы уменьшить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, чтобы достичь цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные действия своих лидеров.
Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши моральные и стратегические мысли на случай этих чрезвычайных обстоятельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определенного уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как появятся какие-либо видимые проявления опасности. Ожидание ее проявления — определенно не подходящий вариант, потому что оно само по себе уже может быть концом .
10.4 Регулирование скорости развития технологий
Если некая возможная технология имеет большой коммерческий потенциал, вероятно, невозможно не допустить ее развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относительно ограниченным надзором и, во всяком случае, с технологиями, которые не зависят от редких материалов или огромных заводов, будет чрезвычайно трудно сделать запрет на развитие 100% надежным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществляемая регуляция может быть всем, что нам нужно. Но с другими технологиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертельным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.
То, на что мы должны иметь возможность влиять (в объеме, зависящем от того, как мы определяем это «мы»), — это темп развития различных технологий и, вероятно, последовательность, в которой возможные технологии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полезных технологий, особенно тех, которые смягчают угрозы, создаваемые другими технологиями.
В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики и отложить настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие «нейтральные» разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.
Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшить широкий круг рисков. Сверхинтеллект — одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнемся в некоторый момент, несмотря ни на что. Но получение сверхинтеллекта раньше этого момента — желательно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую прогресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь — в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке (Freitas 1999).
Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информационные технологии и надзор. Они могут сделать нас умнее индивидуально и коллективно и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьезные причины продвигать эти технологии настолько решительно, насколько возможно .
Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество — очевидно, ст;ящие цели, равно как и культивирование традиций, которые помогают демократиям процветать .
10.5 Программы, направленные на прямое уменьшение конкретных угроз существованию
Некоторые малые угрозы существованию могут быть парированы достаточно дешево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА существует программа обнаружения околоземных астероидов и фонд космической защиты). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность «физических катастроф», может быть создан общественный наблюдательный комитет с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, имеющих личную заинтересованность в продолжении экспериментов.
Угрозы существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить или локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от угроз существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах .
Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объем литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.
Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа «эволюции в забвение», могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих угроз существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели — это вопрос, выходящий за пределы тематики данной статьи.
10.6. Максипок: эмпирическое правило для этичных поступков
Предыдущие главы показали, что совместная вероятность угроз существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее, может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению угроз существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовем его Максипок:

Максимизируйте вероятность позитивного исхода, где «позитивный исход» — это любой исход, при котором не происходит глобальной смертельной катастрофы.

В лучшем случае, это — эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной смертельной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты , а не на серьезную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении угроз существованию. Поскольку цель весьма абстрактна и поскольку угрозы существованию не причиняют сейчас страданий ни одному живому существу , из усилий по их уменьшению может быть выведено гораздо меньше прибыли в виде приятного самоощущения . Это предполагает дополнительный этический проект, а именно: изменить общественное этическое восприятие таким образом, чтобы создать большее уважения и социальное одобрение тем, кто тратит свое время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.
Максипок, как один из принципов разумной достаточности, отличается от Максимина («Выбирайте действие, которое имеет наилучший исход в наихудшем случае».) . Поскольку мы не можем полностью устранить угрозы существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущенного в далекой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, Максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.
Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно, если мы правильно разыграем наши карты.
Выражения признательности

Я благодарен за комментарии Курту Адамсу (Curt Adams), Амаре Ангелике (Amara Angelica), Брайану Эткинсу (Brian Atkins) , Милану Цирковичу (Milan Cirkovic), Дугласу Чембермену (Douglas Chamberlain), Роберту Фрайтасу, Марку Губруду (Mark Gubrud), Робину Хэнсону (Robin Hanson), Барбаре Ламар (Barbara)Lamar, Джону Лесли (John Leslie), Майку Тредеру (Mike Treder), Кену Олуму (Ken Olum), Роберту Пизани (Robert Pisani), нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute в апреле 2001 года. Эта статья также выиграла от дискуссий с Микаэлой Фистос (Michaela Fistioc), Биллом Джоем (Bill Joy), Джоном О (John Oh), Пэтом Паркером (Pat Parker), Кетом Де Роузом (Keith DeRose), и Питером Сингером (Peter Singer).

Приложение: очерк эволюционного «всхлипа»

Это приложение дает очерк того, почему существует угроза, что мы кончим эволюционным «всхлипом». Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жестким доказательством какого-либо рода, но скорее — наводящим на размышления рассказом без литературных украшений. (Более подробную дискуссию по некоторым из этих идей см. (Bostrom 2001).)
Хотя легко думать об эволюции как о жизни, происходящей от простых к более сложным формам, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему сказано в главе об оценке вероятностей рисков существованию).
Мы не наблюдаем в настоящий момент значительного эволюционного развития человеческого вида. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит (Kirk 2001: 432—435).
Биологическая человеческая эволюция медленна в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).
Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также, если они смогут предсказать некоторые аспекты своей эволюции, они смогут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба эти фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.
Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут трату некоторой части своих ресурсов на (непродуктивные или не очень оптимальные) «хобби», будут находится в невыгодном положении, и будут потому рисковать быть оттесненными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому «продуктивна» в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными — адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания).
Мы должны различать два значения слов «оттеснены на второй план». В первом случае «оттеснены» означает «оттеснены» только в относительном смысле: ресурсы, которыми такие существа обладают, составляют все меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, «оттесненный» тип испытывает уменьшение в абсолютных терминах, так что, в конечном счете, это тип становится вымершем.
Если права собственности почти совершенно соблюдаются (на космических расстояниях, что, кажется, непросто сделать), тогда «хоббисты» (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как «всхлип». Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет «всхлипом».
При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов на активность в духе хобби.
Единственный путь избежать этого исхода может состоять в замене естественной эволюции — направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) (Bostrom et al. 1999; Bostrom 2001). Это может сделать тип хоббистов успешным в соревновании.
Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, в то время как другие общества, наоборот, решат максимализировать свою продуктивность путем прекращения их поддержки. Последние в конечном счете переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным «всхлипом», может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton — единственный, одиночка).
Синглетон не обязан быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом (Yudkowsky 2001). Остается открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный «всхлип».

Библиография
1. Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.
2. Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II — New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.
3. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.
4. Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.
5. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: 6. Bostrom, N. (2000). Is the end nigh?, The philosopher's magazine, Vol. 9 (pp. 19-20). URL: http://www.anthropic-principle.com/primer.html.
7. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.
8. Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: http://www.nickbostrom.com/old/predict.html.
9. Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.
10. Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: http://www.simulation-argument.com.
11. Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: http://www.anthropic-principle.com.
12. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.
13. Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: http://www.nickbostrom.com.
14. Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: http://www.nickbostrom.com.
15. Bostrom, N. (2002). Anthropic Bias: Observation Selection Effects in Science and Philosophy. Routledge, New York. URL: http://www.anthropic-principle.com/book/.
16. Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: http://www.transhumanist.org.
17. Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.
18. Brin, G.D. (1983). The `Great Silence': The Controversy Concerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.
19. Caplin, A., & Leahy, J. (2000). The Social Discount Rate. National Bureau of Economic Research, Working paper 7983.
20. Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.
21. Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.
22. Chislenko, A. (1996). Networking in the Mind Age. URL: http://www.lucifer.com/~sasha/mindage.html.
23. Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.
24. Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.
25. Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.
26. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.
27. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.
28. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.
29. Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.
30. Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.
31. Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.
32. Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.scienceservingsociety.com/book/.
33. Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.
34. Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.
35. Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background2.html.
36. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.
37. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.
38. Foster, K.R. et al. (2000). Science and the Precautionary Principle. Science, 288, 979-981. URL: http://www.biotech-info.net/science_and_PP.html.
39. Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Capabilities. Georgetown, TX: Landes Bioscience. URL: http://www.nanomedicine.com.
40. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.
41. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.
42. Frieze, I. et al. (1978). Women and sex roles. New York: Norton.
43. Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.
44. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.
45. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:
46. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.
47. Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.
48. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.
49. Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.
50. Hanson, R. (1998). The Great Filter — Are We Almost Past It? Working paper.
51. Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.
52. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.
53. Huxley, A. (1932). Brave New World. London: Chatto & Windus.
54. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.
55. Jeffrey, R. (1965). The logic of decision: McGraw-Hill.
56. Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: http://www.zyvex.com/nanotech/nano4/jeremiahPaper.html.
57. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.
58. Kaul, I. (1999). Global Public Goods: Oxford University Press.
59. Kennedy, R. (1968). 13 Days. London: Macmillan.
60. Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:
61. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.
62. Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.
63. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.
64. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.
65. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.
66. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.
67. Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Oxford University Press.
68. Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.
69. McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.
70. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).
71. Merkle, R. et al. (1991). Theoretical studies of a hydrogen abstraction tool for nanotechnology. Nanotechnology, 2, 187-195.
72. Moravec, H. (1989). Mind Children. Harvard: Harvard University Press.
73. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.
74. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.
75. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.
76. Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.
77. National Intelligence Council (2000). Global Trends 2015: A Dialogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.
78. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:
79. Paulhaus, D.L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality Assessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.
80. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.
81. Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.
82. Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.
83. Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.
84. Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.
85. Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.
86. Schelling, T.C. (2000). Intergenerational and International Discounting. Risk Analysis, 20(6), 833-837.
87. Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.
88. Shute, N. (1989). On the Beach: Ballentine Books.
89. Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.
90. Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.
91. Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).
92. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.
93. Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, January 27. URL: 94. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.
95. Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.
96. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.
97. Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.
98. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.
99. Waldeman, M. (1994). Systematic Errors and the Theory of Natural Selection. The American Economics Review, 84(3), 482-497.
100. Warwick, K. (1997). March of the Machines. London: Century.
101. Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.
102. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.
103. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.
104. Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmological constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.