Глава 1. Общие замечания

1.1 Пространство возможностей

В первой части книги мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей «холодной войны», которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность именно его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем, анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – учёт всех возможных сценариев в соответствии с их вероятностями, то есть построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, описание должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одни моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, приведённых в списке литературы.

1.2 Рассматриваемый промежуток времени: XXI век

Есть два различных класса прогнозов – о том, что именно произойдет, и о том, когда это случится. Идеальный прогноз должен отвечать на оба эти вопроса. Однако, поскольку до идеала в прогнозах обычно далеко, то одни прогнозы лучше говорят о том, что будет, а другие о том, когда. Наилучший результат в отношении времени события можно получить, вообще не вникая в фактическую суть событий, а анализируя события статистически. Например, если знать, что рецессия в США бывает в среднем раз в 8 лет с разбросом плюс минус два года, можно неплохо угадывать время следующей рецессии, не вникая в её фактически причины. C другой стороны, анализируя фундаментальные причины событий, можно совершить значительную ошибку в оценке времени их наступления, которое часто зависит от случайных и невычислимых факторов. Например, мы наверняка можем утверждать, что рано или поздно в районе Калифорнии произойдёт мощное землетрясение силой до 9 баллов, связанное с подвижкой океанической коры под материковую, то есть мы знаем, что произойдёт землетрясение, но не знаем, когда.

Исследуя глобальные катастрофы, возможные в XXI веке, мы в нашей работе пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а, допустим, через 300 лет. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Но следует заметить, что Р. Курцвел, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития.

В нашей книге анализируются угрозы существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем сейчас ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница 2100 года является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года).

Некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Граница 2100-ого года позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение ближайших нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени, возможно, содержит неустранимую ошибку, я расширяю её до 100 лет. Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни двадцати, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в разделе «Неизбежность достижения устойчивого состояния» главы 19 «Многофакторные сценарии».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, поскольку существует класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт, в первую очередь, об опасных практических приложениях биотехнологий (см. дальше в главе 4). Поэтому возможно, следовало бы говорить о первой половине XXI века. Иначе говоря, глобальные катастрофы могут случиться не с нашими потомками, а именно с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

Предлагаемый далее список возможных угроз наверняка не полон. Скорее всего, от широкой публики определённое количество рисков скрывают (просто потому что нас не считают экспертами в области ИИ, атомного оружия, коллайдера и т. д.) Почти наверняка от нас скрывают некие новые виды вооружений.

1.3 Проблемы вычисления вероятностей различных сценариев

Чтение этого раздела можно пропустить без ущерба для дальнейшего понимания текста. Основной вывод состоит в том, что невозможно вычислить объективные вероятности глобальных катастроф, поскольку это уникальные события, и поскольку наше сознание подвержено сильным когнитивным искажениям. Поэтому мы должны приписывать этим катастрофам некие условные вероятности, которые эквивалентны ставкам в игре. Пример такого подхода даёт Бостром, когда говорит, что было бы неразумно считать вероятность вымирания меньшей, чем 25%. «Разумность» оценки состоит в том, что до определённого порога мы повышаем вероятность выживания человечества, если завышаем оценку вероятности катастрофы.

Сам по себе вероятностный подход к анализу глобальных рисков может создать иллюзию знания там, где мы на самом деле ничего не знаем, и поэтому его следует применять с определённой осторожностью.

Вот цитата из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...» [Лем 1995].

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также — с хаотическим характером всей системы.

Само понятие «вероятность глобальной катастрофы» в смысле «вероятность конца света» внутренне противоречиво, так как речь идёт об, по определению, однократном событии. Даже если такое событие будет необратимо надвигаться, нам не удастся узнать, стали мы жертвой крайне случайного или закономерного события. (А если учесть эффект многомирного бессмертия, то я-наблюдатель вообще никогда не смогу обнаружить глобальную катастрофу, так как всегда найдётся мир, в котором я выживу. Но при этом я могу быть свидетелем гибели оставшейся цивилизации и быть последнем выжившим в бункере, и такой расклад должен быть приравнен к окончательному вымиранию.)

Концепция того, что такое вероятность, претерпела длительную эволюцию, и в ней есть два направления – объективистский, где вероятность рассматривается как доля событий из некого множества, и субъективистский, где вероятность рассматривается как мера нашего незнания[3]. Тот и другой подход применим к определению того, что считать вероятностью глобальной катастрофы. Далее мы обсудим три «объективных» подхода к вычислению вероятности – а именно распределения по множеству возможных будущих, по множеству всех цивилизаций в галактике и по доле различных миров в Мультиверсе, и два «субъективных» – как точную меру нашего незнания и как рациональные ожидания отдельных людей. Чтобы сделать изложение понятнее, мы в каждом случае приведём оценки вероятности для двух принципиально различных случаев – вероятности катастрофы в результате падения астероида и рисков возникновения враждебного ИИ.

1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами

Далее я привожу известные мне оценки ведущих экспертов в этой области, которые публиковали исследования с оценками рисков человеческого вымирания (но эти оценки могут быть искажены в сторону пессимизма, так как более оптимистичные исследователи занимаются другими проблемами. Дж. Лесли, 1996, «Конец света»: 30 % в ближайшие 500 лет с учётом действия Доказательство Конца Света без него – 5 % [Leslie 1996].

Н. Бостром, 2001, «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25 %, и наивысшая оценка может быть значительно больше…» [Bostrom 2001].

Сэр Мартин Рис, 2003 «Наш последний час»: 50 % в XXI веке [Rees 2003].

Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако, промежуток времени, на который даётся это предсказание, каждый раз сокращается (пятьсот лет – двести – сто), в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06 % – 0,012 %, 2001 – 0,125 %, 2003 – 0,5 %.

Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что трёх экспертов недостаточно для статистики, и что эти мнения могут взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы XXI в. мы могли ожидать оценок погодовой вероятности вымирания в 5 %, а в 20-е годы – в 50 %, что означало бы неизбежность вымирания цивилизации до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее в этой книге разными независимыми способами.

С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65 % [Лем 1970]. Фон Нейман считал, что ядерная война неизбежна, и все в ней погибнут [Bostrom 2001].

У Шкловского мы читаем: «По оценкам, выполненным американским футурологом А. Раппортом при экстраполяции естественных тенденций в развитии технологических цивилизаций, эти катастрофы (уничтожающие технологическую цивилизацию – А.Т.) должны реализоваться не позже 2030 года» [Шкловский 1987].

1.5 Глобальные катастрофы и горизонт прогнозирования

Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогнозирования – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.

Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические тенденции устаревали. Так, от открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся на основе пятилетних планов. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается «сила инерции», то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.

Таким образом, мы можем сказать, что до начала «полосы тумана» в однозначных прогнозах будущего у нас есть примерно 5 лет, то есть, это 2013 год от момента, когда я пишу эти строки. В целом, мы смутно представляем более поздние технологии, хотя и существуют отдельные технические проекты со сроком реализации до 2020-х годов (термоядерный реактор ИТЭР или строительство лунной базы), и есть бизнес-планы, которые рассчитаны на срок до 30 лет, например, долгосрочная ипотека. Но именно пять лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в разных видах человеческой деятельности. Также надо отметить, что с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.

Абсолютным пределом в прогнозах кажется 2030 год, в районе течение которого предполагаются возможными развитые нанотехнологии, искусственный интеллект и полное овладением биоконструированием. (Это мнение разделяется многими футурологами). Нам кажется, что сейчас нет смысла в оценках кривых роста популяции или запасов каменного угля на этот период, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» составит не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогнозирования просто за счёт сужения пространства возможностей (например, в духе сюжета: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-м годам, однако мало кто решается дать обоснованные предсказания на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе технологической сингулярности даёт неопределённость более высокого порядка, связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящего наш.

Также надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности систем. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что граница предсказуемости может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.

Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно то же самое, что и сегодня), или через десятки лет (возможно, он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно к концу XXI века или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.

В силу сказанного, хотя мы и исследуем угрозы глобальной катастрофы на протяжении всего XXI века, наибольшей интерес для нашего исследования представляет промежуток примерно в два десятилетия между 2012 и 2030 годами. До этого периода вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.

1.6 Краткая история исследований вопроса

История современного научного изучения глобальных рисков ведёт отсчёт с 1945 года. Перед первыми испытаниями атомной бомбы в США возникли сомнения, не приведёт ли это испытание к цепной реакции термоядерного синтеза азота в атмосфере Земли. (Самоподдерживающееся химическое горение азота в кислороде невозможно, так как эта реакция эндотермическая, то есть идёт с поглощением энергии. Реакция ядерного синтеза двух ядер азота-14 требует наименьшей энергии, поэтому рассматривали именно азот, а не кислород.) Если бы азот загорелся, то реакция за несколько секунд охватила бы всю атмосферу Земли, что однозначно уничтожило бы всю биосферу, и от Земли бы остался только огарок. Даже если бы реакция охватила сферу в воздухе диаметром в 50 метров вокруг бомбы, то выход энергии был бы порядка гигатонны, и разрушения были бы по всей территории Соединённых Штатов.

Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA -602 «Риски поджигания атмосферы атомным взрывом» [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены – например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское расследование, к ходе которого выяснилось, что Комптон взял эти цифры «из головы», потому что посчитал их достаточно убедительными для президента – в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver, Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия).

Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2007]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни – если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня (“ Doomsday machine ”) – то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана «О термоядерной войне» [Khan 1960], в романе Н. Шюта «На берегу» [Shute 1957], в фильме С. Кубрика «Доктор Стрейнджлав».)

Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе «О первой сверхинтеллектуальной машине» [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади – позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман «Андромеда», в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе «Там, внизу, еще много места»[Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба – 1961 г., Новая Земля. Важную роль в осознании глобальных рисков играет научная фантастика, особенно творчество Станислава Лема, его роман «Непобедимый», футурологические исследования «сумма технологий», «Фантастика и футурология» и другие работы. Форестер публикует в 1960 году статью «Судный день: пятница, 13 ноября 2026 года. Дата, когда человеческая популяция достигнет бесконечности, если она будет расти с той же скоростью, как и последние два тысячелетия» [Foerester, 1960].

В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования.

В 1981 году вышла книга А. Азимова «Выбор катастроф» [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски.

В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument, DA – Доказательство Конца Света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст – 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни – 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens, то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли – и взять среднее не по времени, а по числу живших людей – то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA – крайне запутанная тема, и сейчас вышли десятки статей за и против него.

В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия – теория о «ядерной зиме». В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым.

В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях.

В 1985 году вышла книга Э. Дрекслера «Машины созидания» [Drexler 1985], посвящённая радикальным нанотехнологиям – то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый – это «серая слизь», то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск – это «нестабильная гонка вооружений». Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. «Нестабильность» этой гонки вооружений состоит в том, что в ней «начавший первым получает всё», и невозможно равновесие двух противоборствующих сил, как это было во времена холодной войны.

В 1996 году выходит книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996], которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии.

Одновременно во второй половине XX века происходит развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Следует отметить работы Пригожина, Ханзена и российских авторов С. П. Курдюмова, Г. Г. Малинецкого, А. П. Назаретяна и др. В работах Малинецкого показана принципиальная неустойчивость сложных систем, даётся теория режимов с обострениями и применяется к будущей истории человечества. А.П. Назаретян создаёт гипотезу «техно-гуманитарного баланса» и показывает, что нарушение этого баланса может привести к тому, что средства разрушения превзойдут запреты на их использование, что может привести к гибели человечества. А.Д. Панов исследует сингулярную точку эволюции в районе 2030 года, в которой «автомодельной аттрактор планетарной истории» перестаёт работать.

С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на суше – больше CO2 будет выделяться в атмосферу; нагреются океаны – упадёт растворимость CO2, и опять он будет выделяться в атмосферу, начнут образовываться бескислородные области в океане – там будет выделяться метан. Событием последних дней стало обнаружение в сентябре 2008 года пузырьков метана, выделяющихся столбами со дна Ледовитого океана. Наконец, водяной пар тоже является парниковым газом, и с ростом температур его концентрация тоже будет расти. В результате этого температура может вырасти на десятки градусов, произойдёт парниковая катастрофа, и всё живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.

В конце XX – начале XXI века выходят статьи с описанием принципиально новых рисков, осознание которых стало возможно благодаря творческому анализу возможностей новых технологий. Это работы Р. Фрайтаса «Проблема серой слизи» [Freitas 2000].Р. Кэрригена «Следует ли обеззараживать сигналы SETI» [Carrigan 2006], книги «Люди конца света» «Doomsday men» П.Д. Смита [Smith 2007] и «Случайная ядерная война» Брюса Блера [Blair 1993]. Ещё один новоизобретённый риск – это искусственное пробуждение сверхвулкана с помощью сверхглубокого бурения. Есть проекты автономных зондов, которые смогут проникнуть в недра Земли на глубину до 1000 км, проплавляя вещество мантии [Stivenson 2003], [Circovic 2004].

В 1993 году В. Виндж [Vince 1993] выдвинул идею Технологической Сингулярности – гипотетического момента в будущем, когда интеллект компьютеров превзойдёт человеческий. Он предполагает, что это событие произойдёт до 2030 года. Сверхчеловеческий ИИ крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Е. Юдковски написал несколько работ о проблемах безопасности ИИ– в первую очередь, большой труд «Создание дружественного ИИ» (Creating friendly AI). В 2006 году она написал две статьи на которые мы часто ссылаемся в этой книге: «Систематические ошибки в рассуждениях, влияющие на оценку рисков» [Yudkowsky 2008b] и «Искусственный интеллект как позитивный и негативный фактор глобального риска» [Yudkowsky 2008a].

В 2000 году в журнале Wired вышла нашумевшая статья одного из основателей Sun Microsystems Билл Джоя «Почему мы не нужны будущему» [Joy 2000]. В ней он рисует крайне пессимистическую картину будущего цивилизации, в котором человек будет вытеснен роботами. Человеку в лучшем случае грозит учесть домашнего животного в мире, где всё за него решают машины. Развитие технологий позволит создать «знания массового поражения», которые смогут распространяться по Интернету, например, генетические коды опасных вирусов. В 2005 году Джой участвовал в компании по удалению из Интернета недавно опубликованного в нём генома вируса испанки. В 2003 году Джой сказал, что написал две рукописи книг, которые решил не издавать. В первой он хотел предупредить людей о надвигающейся опасности, но эту функцию выполнила опубликованная им статья. Во второй он хотел предложить возможные решения, однако найденные решения пока не удовлетворяют его, а это «не та область знаний, где есть право на второй выстрел».

В 2003 году вышла книга английского королевского астронома сэра Мартина Риса «Наш последний час» [Rees 2003]. Она гораздо меньше по объёму, чем книга Лесли, и не содержит принципиально новой информации, однако обращена к самой широкой аудитории и разошлась большим тиражом. В 2004 году выходит обстоятельная книга американского судьи и учёного Ричарда Познера «Катастрофа: риск и реакция» [Posner 2004], особенностью которой является попытка дать экономический анализ рисков глобальной катастрофы и цены усилий по ее предотвращению (на примере усилий по отклонению астероидов и ценности экспериментов на ускорителях).

В XXI веке основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Здесь следует особо отметить работы Бострома и Юдковски.

В 2008 году несколько событий усилили интерес к рискам глобальной катастрофы: это намечавшийся (но так пока полностью и не состоявшийся) запуск коллайдера, вертикальный скачок цен на нефть, выделение метана в Арктике, война с Грузией и мировой финансовый кризис. Научно обоснованное понимание того, что мы живём в хрупком мире, который рано или поздно разрушится, стало общественным достоянием.

В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. В 2008 году состоялась конференция в Оксфорде «Риски глобальной катастрофы», и по ее материалам был издан сборник трудов с тем же названием под редакцией Н. Бострома и М. Чирковича [Bostrom, Circovic 2008]. В него вошли более 20 статей различных авторов. В нём опубликована статья М. Чирковича о роли наблюдательной селекции в оценке частоты будущих катастроф, однако он приходит в ней к другим выводам, чем я в статье на аналогичную тему, а именно, что невозможно сделать никаких выводов о будущей частоте катастрофы, исходя из прошлой частоты – тогда как я полагаю, что мы, скорее всего, недооцениваем будущую частоту катастроф. В этом сборнике изданы и две выше названные статьи Юдковски, препринты которых были выложены в Интернете ещё в 2006 году. Арнон Дар разбирает риски сверхновых и гамма-всплесков, а также показывает, что особая угроза Земле исходит от космических лучей, создаваемых галактическими гамма-всплесками. Уильям Нейпер в статье про угрозы комет и астероидов показал, что, возможно, мы живём в период интенсивной кометной бомбардировки, когда частота импактов в 100 раз выше средней. Майкл Рампино дал обзор рисков катастроф, связанных с супервулканами. Все эти статьи переведены мною на русский язык. Также в сборнике разобраны риски ядерной войны, ядерного терроризма, эпидемий, биологического оружия, нанотехнологий и другие вопросы.

В 2008 году в Москве выходит популярная версия этой книги: А.В. Турчин «Война и ещё 25 сценариев конца света» [Турчин 2008]. Исходной название этой популярной версии было «Гносеология катастроф», и основанная ее тема состоит в том, что конец света знания – это и есть конец света.

В начале XXI века возникают общественные организации, пропагандирующие защиту от глобальных рисков, например, Lifeboat Foundation и CRN (Centre for Responsible Nanotechnology), снимаетс я фильм Technocalyps. Исследование вопроса в современной России. Это исследование А. П. Назаретяна [Назретян 2001], «Цивилизационные кризисы в контексте Универсальной истории». Вышла книга Е. А. Абрамяна «Судьба цивилизации» [Абрамян 2006], открылся Интернет-проект А. Кононова о неуничтожимости цивилизации[4]. А. В. Карнаухов проводит исследования рисков парниковой катастрофы[5]. Вышли статьи отдельных авторов по разным гипотетическим рискам, в том числе Э. М. Дробышевского, В. Ф. Анисичкина и др. Я выполнил переводы многих упомянутых здесь статей, которые доступны в Интернете, а часть из них публикуется в сборнике «Диалоги о будущем» [Прайд, Коротаев 2008]. В сборнике ИСА РАН в 2007 г. вышли две мои статьи о глобальных рисках: «О возможных причинах недооценки рисков гибели человеческой цивилизации» [Турчин 2007а] и «Природные катастрофы и антропный принцип» [Турчин 2007b].

В 2009 году вышла книга У.Уэллса «Апокалипсис – когда»? [Wells 2009], вся посвящённая математическому анализу времени возможной глобальной катастрофы. Вывод его в том, что её вероятность равна примерно 3% в десятилетие, что примерно соответствует 27% за столетие.

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, –затем осознание ещё нескольких глобальных рисков, – затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы. И затем –исследование границ человеческого мышления о глобальных рисках с целью создания методологии, то есть способа эффективно находить и оценивать глобальные риски.

1.7 Угрозы менее масштабных катастроф: уровни возможной деградации

Хотя в этой книге мы исследуем глобальные катастрофы, которые могут привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут не уничтожить человечество, а отбросить его сильно назад. Будучи отброшенным в своем развитии, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости для следующих катастроф. Ниже, при перечислении возможных однофакторных сценариев катастрофы, мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.

В зависимости от тяжести произошедшей катастрофы могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы также будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно представить себе несколько возможных ступеней отката:

1. Разрушение социальной системы, как после распада СССР или краха римской империи. Здесь происходит прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Технологическое развитие продолжается, производство и применение опасных вооружений может продолжаться, что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно.

2. Значительная деградация экономики, утрата государственности и распад общества на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир», компьютерной игре Fallout и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт, скорее всего, случайно: в результате эпидемий, загрязнения среды, пр.

3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одной стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, очень велики и, скорее всего, продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены будут бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.

4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству. Даже группа, в которой есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство людей, перевешивают способность к нему. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.

Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, или группы, которые находятся вне обычной среды, у них появляется шанс случайно уцелеть в неких замкнутых пространствах. Находятся они там или нарочно, или случайно. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии.

Возможны и промежуточные сценарии постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более катастрофического уровня существует большее количество шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне отдельных родовых общин, когда опасные технологии уже разрушились, опасные последствия их применений исчезли, а новые технологии ещё не созданы и не могут быть созданы.

При этом неверно думать, что откат назад это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень общества XIX или XV века. Деградация технологий не будет линейной и одновременной. Например, такое устройство, как автомат Калашникова, забыть будет сложно. В Афганистане, например, местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации. Иначе говоря, если технологии разрушения будут деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.

Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно использовать исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание социальной стабильности на всё более низком уровне эволюции требует всё меньшего числа людей, и этот уровень всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода стабилизации после катастрофы.

Что касается «хронологии», возможны следующие базовые варианты регрессии в прошлое (отчасти аналогичные предыдущей классификации):

1. Уровень промышленного производства – железные дороги, уголь, огнестрельное оружие и т. п. Уровень самоподдержания требует, вероятно, десятков миллионов человек. В этом случае можно ожидать сохранения всех базовых знаний и навыков индустриального общества, хотя бы посредством книг.

2. Уровень, достаточный для поддержания сельского хозяйства. Требует, вероятно, от тысяч до миллионов людей.

3. Уровень небольшой группы. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число людей: от десяти до тысячи.

4. Уровень стаи или «маугли». Полная утрата культурных человеческих навыков, речи, при сохранении в целом генофонда. Количество членов «стаи», вероятно, от одного до ста человек.

Далее в главе 19 мы обсудим, какое сокращение численности ведёт к какой вероятности дальнейшей деградации и вымирания.

1.8 Однофакторные сценарии глобальной катастрофы

В нескольких следующих главах мы рассмотрим классическую точку зрения на глобальные (цивилизационные) катастрофы, которая состоит в перечислении списка никак не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательное, оно не рассматривает многофакторные и не-мгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является уже упоминавшаяся статья Бострома «Угрозы существованию» [Bostrom 2001].

Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы опровергнем данную точку зрения и отвергнем эти факторы.

Поиск по сайту: