Приложения. Продолжение разговора о вероятности глобальной катастрофы

Продолжение разговора о вероятности глобальной катастрофы

А) Абсолютная вероятность – эта та доля тех возможных будущих нашей планеты, в которых она гибнет от данной причины в данный период времени – с учётом всех наших возможных усилий по ее предотвращению. Абсолютная вероятность нам неизвестна и даже не может быть известна, так как это привело бы к логическим парадоксам (а именно, если бы мы знали, что вероятность события Х равна нулю, мы перестали бы от него защищаться и тогда бы она стала не равна нулю). Знание абсолютной вероятности предполагает наличие полного знания о всей Солнечной системе и далёких звездах – например, траекторий всех астероидов, состояния всех предсверхновых и т. д. В идеале все наши оценки вероятности должны стремиться к абсолютной вероятности. Если бы мы жили в чисто механической и вычислимой вселенной, то вместо абсолютной вероятности было бы точное знание времени наступления события. Но поскольку наша вселенная обладает квантовой неопределённостью, и неопределённостью, связанной с усилением малых изменений в духе теории хаоса, то «демон Лапласа» (то есть сверхкомпьютер, который мог бы предсказать всё будущее вселенной, если бы знал настоящее) не работает точно, а может знать только вероятность. В случае астероидов вероятность вымирания людей в XXI веке либо равна нулю, если угрожающих нам астероидов нет, либо равна примерно 50 %, если такой астероид есть. Неопределённость последней величины зависит от неопределённости того, сможет ли человечество отклонить этот астероид, что в свою очередь зависит от крайне хаотического хода человеческой истории и разных случайностей в процессе подготовки к запуску антиракет. Примерно та же ситуация и с ИИ – если он технически возможен в ближайшее время, то есть значительные шансы его возникновения и враждебного использования; в противном случае шансы равны нулю. В случае, если квантовая неопределённость будущего мала (а мы не можем пока сказать, насколько неопределённость влияет на развитие общественных и физических процессов), то абсолютная вероятность превращается в предопределённый срок. Или предопределённый срок плюс-минус небольшое отклонение. Например, принято считать, что предопределённый срок жизни человека – 100 лет (плюс минус 30). Или что предопределённый срок существования Солнца – 5 млрд. лет (плюс минус 2)

Б) Безусловная абсолютная вероятность – это вероятность того, что мы погибнем от некоторой данной причины, при условии, что мы не погибнем от других причин до того – и что мы ничего не будем делать, чтобы отвратить эту опасность. И наоборот – условная вероятность вымирания – эта вероятность гибели от данной причины с учётом (то есть при наличие условий) того, что мы можем погибнуть до того и от других причин (например, если шанс погибнуть в XXII веке от падения астероида равен 10 %, но при этом в силу рисков от развития новых технологий шанс человечества дожить до XXII века составляет тоже 10 % (то есть шанс вымереть – 90 %), то полная вероятность вымереть в XXII веке равна только 1 %, что резко изменяет направление приложения усилий.) Условная вероятность также включает в себя предположение о том, что мы сделаем всё возможное на данном этапе развития техники и цивилизации для предотвращения катастрофы – то есть она означает тот остаток риска, который мы не можем предотвратить никакими своими реальными усилиями. А для разных рисков возможность их предотвратить различна. Например, если технологическая цивилизация продолжит своё развитие в XXI веке, то к XXII веку она сможет отклонять любые, даже самые большие опасные астероиды.

В) Средняя вероятность – это вероятность погибнуть от данной причины для цивилизации нашего типа. Эта вероятность есть доля цивилизаций, погибших от данной причины, из всех цивилизаций в нашей вселенной. Аналогом ей является средняя продолжительность жизни человека. Однако в случае гибели цивилизаций у нас нет статистики по другим цивилизациям (и не может быть, так как если бы мы установили коммуникацию с другой цивилизацией, то нас следовало бы считать единой цивилизацией). Средняя вероятность может резко отличаться от абсолютной вероятности из пункта А в силу конкретных особенностей нашей звёздной системы и нашего исторического пути, а также эффектов наблюдательной селекции и т. д. При этом к средней вероятности применимо понимание о причине (ядерная война), но неприменимо понимание о промежутке времени (XXI век), так как у разных цивилизаций разные временные шкалы – и имеет смысл составлять такую классификацию только для всего времени существования цивилизации. Опять-таки, среднюю вероятность может знать только господь Бог или сверхцивилизация, наблюдающая многие цивилизации низшего уровня. Но мы можем рассуждать о средней вероятности на основании парадокса Ферми и т. д. Исходя из принципа Коперника (meritocracy principle), мы должны считать, что мы, скорее всего, являемся обычной цивилизацией, и следовательно, в нашем случае, абсолютная вероятность равна средней вероятности, во всяком случае, до того момента, как мы получим некую конкретную информацию об особенности нашей цивилизации (отличающей ее от других), которую мы можем учесть. Отметим, что поскольку мы живём в середине технологической эры, то эффект наблюдательной селекции приводит к тому, что мы недооцениваем вероятность того, что мы могли вымереть в период с 1945 по 2009 год, а в силу этого абсолютная вероятность вымирания для нашей цивилизации в оставшееся время жизни МЕНЬШЕ, чем средняя вероятность вымирания цивилизаций по Галактике (например, если большинство цивилизаций в Галактике погибает в первый годы после изобретения ядерного оружия). Далее, идея о средней вероятности должна опираться на некую идею, какова окончательная судьба всех цивилизаций. Если судьбы всех цивилизаций прослеживаются до их конца, то сумма всех средних вероятностей по разным причинам должна быть равна 100 процентам – по определению. Либо должен предполагаться некий порог, за которым цивилизации считаются бессмертными – например, переход на галактическую фазу развития, Сингулярность и т. п. Далее, средняя вероятность существенно зависит от референтного класса того, что мы считаем разумными цивилизациями. (Например, нечто вроде муравьёв с зачатками письменности на некой планете, остановившихся в своём развитии – должны ли мы их считать?) Обычно речь идёт о технологических цивилизациях – подобных нашей. Но здесь есть ловушка – чем в большей мере мы сужаем референтный класс до подобности нам, тем в большей мере мы делаем зависящим его от случайных особенностей нашей цивилизации. Наконец, средняя вероятность не даёт нам погодовой плотности вероятности (кроме некоторых частных случаев, вроде взрывов сверхновых), в отличие от абсолютной вероятности, то есть мы не можем сказать, что вероятность события X равна 1 процент в год – поскольку разные цивилизации могут развиваться с разным темпом. Всё же есть попытки превратить среднюю вероятность в ожидаемую продолжительность существования внеземных цивилизаций, – это важно для оценок времени, в течение которых возможна коммуникация с внеземными цивилизациями (Шкловский об этом писал, называя это коммуникативной фазой цивилизации). Можно предположить, что скорость прогресса у других цивилизаций зависит от скорости обработки ими информации, то есть от быстродействия их мозгов, которая может быть в 10 раз больше, и в 10 раз меньше. Однако тут должны быть универсальные эволюционные ограничения. Кроме того, не ясно, должны ли мы учитывать цивилизации только в нашей вселенной, или во всех возможных вселенных с разными физическими законами – это важно при оценке рисков физических экспериментов. Средняя вероятность гибели цивилизации от падения астероида должна быть крайне мала, на уровне 1 к миллиону, так как продвинутые цивилизации просто бы не возникли в тех звёздных системах, в которых столкновения часты. Мы имеем неплохие шансы рассчитать довольно точно эту среднюю вероятность для астероидов, исходя из среднего возраста планетных систем и других данных астрономических наблюдений. В случае же ИИ эта средняя вероятность является полностью неизвестной, так как у нас нет никаких данных, чтобы сделать о ней какие-либо выводы.

Г) Многомирная вероятность. Предположим, что есть бесконечное множество вселенных, называемое Мультиверсом (неважно, существуют ли они реально, или являются только возможными, а также не важно, речь идёт о мультиверсе квантовом, или просто о бесконечно большом мире). Среди него есть подмножество вселенных, в которых есть планеты, соответствующие нашим знаниям о Земле. Иначе говоря, наше знание создаёт сечение Мультиверса и выделяет из него некое подмножество. Например, подмножество всех обитаемых планет с массой, как у Земли. Однако внутри этого подмножества есть разные планеты, скажем, различающиеся особенностью своего внутреннего устройства. Некоторые из них более склонны к катастрофическим вулканическим извержениям (дегазация мантии). В этом случае вероятностью катастрофы будет та доля планет в этом подмножестве, на которых эта катастрофа произойдёт в определённый промежуток времени. По мере того, как наши знания о Земле растут, неопределённость нашего знания падает, и подмножество планет, соответствующих нашему знанию, сужается, а также меняются наши знания об источниках рисков. Это приводит к изменению многомирной вероятности. Хотя многомирная вероятность и неизвестна нам, но является объективной величиной. Мультиверс включает в себя разные конфигурации Солнечной системы, совместимые с нашими знаниями о ней, в том числе с разными орбитами ещё не открытых астероидов или тёмных комет. По мере того, как у нас появляются всё более мощные телескопы, мы всё больше сокращаем неопределённость в знании о Солнечной системе и всё меньшая доля ее возможных вариантов оказывается совместимой с существованием крупных опасных астероидов – в ближайшем будущем, то есть в течение ближайших десятилетий. (Но в более отдалённом будущем могут прилететь опасные кометы из облака Оорта, которых мы пока не можем наблюдать.) Надо очертить разницу между знанием, о котором речь идёт в этом параграфе, и между знанием, связанным с рациональными ожиданиями – в первом случае речь идёт о невыраженном знании, например, в виде чистой фотопластинки, а во втором – о численной оценке, выведенной из всей совокупности полученных данных.

Д) Рациональные ожидания. (Информационная вероятность, или субъективная вероятность или байесова вероятность.) Эта вероятность является мерилом того количества информации, которое у нас есть о будущем, то есть того, что мы должны ожидать, исходя из всех имеющихся у нас знаний. В байсовом смысле она означает то, какой вес мы можем придать тем или иным гипотезам в соответствии с теми свидетельствами, которые мы получили. Однако даже рациональные ожидания являются недостижимой абстракцией, поскольку возникает вопрос, а кто, собственно, обладает этими знаниями. Идеальные рациональные ожидания должны исходить из всей суммы знаний, известной человечеству, однако ни один человек не знает всей этой информации и не способен ее рационально оценить, по причине когнитивных искажений и ограниченных вычислительных ресурсов мозга. Реальный человек не может учесть точно все гипотезы в математической форме, однако он принимает решение, исходя из всей полноты доступного ему знания – такая оценка вероятности становится субъективной вероятностью, или просто экспертной оценкой. Экспертная оценка – это результат сложения всех мнений с учётом представлений о достоверности этих мнений одним человеком. Метод Форсайта (и другие методы вроде голосования, рынка предсказаний и т. п.) используется, чтобы просуммировать мнения разных экспертов, сгладив их личные когнитивные искажения. Надо сказать, что это и есть та вероятность, какая нам обычно известна, и нам остаётся только надеяться, что, получив достаточно свидетельств, мы можем приблизить ее в начале к чистым рациональным ожиданиям, а затем их – к абсолютной вероятности.

К сожалению, в отношении большинства наиболее серьёзных угроз (био, нано, ИИ) мы не можем говорить о том, что есть какие-то данные, которые ведут себя как обычная случайная величина. Например то, окажется ли будущий ИИ враждебным человеку или нет – никак не зависит от сегодняшнего состояния нашей Солнечной системы. Возможно, что ИИ становится враждебным человеку всегда (мнение Омохундро [Omohundro 2008]) за счёт своей естественной эволюции, а возможно, что не трудно заложить в него правила дружественности (законы робототехники Азимова). Это всё равно что рассуждать о том, каковы шансы, что теорема Пифагора истинна. Идея здесь в том, чтобы рассматривать эти невероятностные события как вероятностные, и приписать им вероятность, пропорциональную, скажем, доле и авторитетности экспертов, подтверждающих эту точку зрения.

При этом вероятность рассматривается не как точное число, а с точностью до порядка или ниже. Кроме того, неопределённость в вероятности иногда можно уменьшить сразу, применив ее в анализе ожидаемого ущерба и расходов (cost-benefit анализе), то есть сразу умножив ее на ожидаемый ущерб и сравним ее с ожидаемыми преимуществами. Поскольку в случае глобальных катастроф речь идёт о бесконечно большом ущербе, то это умножение должно стирать разницу между в количественной оценке вероятности. Например, как запуск, так и отказ от создания ИИ включают в себя бесконечный ущерб, тогда как запуск коллайдера означает бесконечный ущерб, а отказ – только конечный. Рассуждая таким образом, мы можем придти к тем или иным решениям, не опираясь на окончательные численные оценки вероятности.

Другой вариант учёта – это то, что теория, истинность которой зависит от нескольких произвольных предположений, имеет меньшие шансы быть истинной, чем, теория, зависящая только от одного предположения. То есть мы можем сравнивать вероятности в духе больше-меньше, опять-таки избегая количественных оценок.

То, что знает один человек в качестве вероятности – это всегда его экспертная оценка, хотя он может ошибочно думать, что это точные рациональные ожидания или даже сама абсолютная вероятность. То есть возникает ошибка, когда человек ошибочно приписывает своим оценкам тот статус, который они не имеют. Карта – это не территория, и наши оценки вероятности – это не сама реальная вероятность, которая остаётся вещью в себе.

Помимо оценки вероятности есть так же степень уверенности. Когда некий человек говорит, что он на 90 % уверен в том-то, это не значит, что он полагает, что вероятность этого события – 90 %. Он имеет в виду, если его понимать буквально, то, что из 10 его высказываний такой же степени уверенности, только 9 будут истинными. В случае высказывания о вероятностном событии степень уверенности должна умножаться на оценку вероятности. (Например, такое высказывание: «Я на 90 процентов уверен, что вероятность выпадения этой монеты орлом равна ½».) К сожалению, как показывает Юдковски, людям свойственно переоценивать степень уверенности в своих высказываниях, которая автоматически считается равной 100%, а неуверенность считается признаком слабости и некомпетентности. В отношении разных сценариев глобальной катастрофы я имею разную информированность и разную степень уверенности. Выражением степени уверенности может быть не только оценка в процентах (от 50% до 100%), но и расширение интервалов, в пределах которых может лежать искомая величина.

В некоторых случаях может иметь смысл случайное поведение в ответ на неизмеримую опасность – например, если все цивилизации посчитают опасный эксперимент X безопасным, так как вероятность катастрофы, по их оценкам, в его ходе очень мала, то все цивилизации погибнут. Однако если все цивилизации будут случайным образом решать, какие эксперименты проводить, а какие нет, то погибнет только половина цивилизаций. Ещё один способ получить рациональные ожидания (но не абсолютную вероятность) – это использование статистики по прошлым данным, например, в духе формулы Готта (см. далее про Doomsday argument) или закона последования Лапласа[132], но это ограничено наблюдательной селекцией. (Например, из того, что последняя ядерная война была 63 года назад, из закона последования следуют ее шансы 1/65 на следующий год. Хотя этот способ оценки отвлекается от всей конкретики сегодняшнего дня, он может давать лучший результат, так как в нём некуда затесаться когнитивным искажениям, как это показал Каннеман в статье «Робкие решения и смелые предсказания: когнитивные перспективы в принятии рисков» в разделе «внешний и внутренний взгляд на проблему» [Kahneman 1993], когда описывал историю планировании одного проекта. Там приводится пример о том, что оценка времени завершения проекта, сделанная на основании сравнения с другими проектами, оказалась гораздо более точной, чем оценка, сделанная участниками данного проекта, обладавшими всей полнотой данных о проекте – а именно 7–10 лет до завершения проекта вместо ожидавшихся 1,5 лет.)

Все эти вероятности нам могут быть известны только с определённой точностью, +/- Х, которая складывается из неопределённости нашего знания, наших моделей и нашей теории, а также из влияния наших ошибок и когнитивных искажений. Оценка степени этой неопределённости может быть ещё более трудна. Задача упрощается тем, что в целом все приведённые «объективные» вероятности должны быть величинами одного порядка, и поэтому, если мы огрубляем до уровня порядка, нам не нужно углубляться в детали, идёт ли речь о средней по галактике или абсолютной вероятности. (Поскольку маловероятно, чтобы они сильно отличались: у Чирковича в статье «Геоинженерия, пошедшая насмарку» [Circovic 2004] рассматривается вариант, что средняя вероятность вымирания по Галактике в результате опасных гео-инженерных проектов велика, так как большинство цивилизаций ориентированы на исследование недра, а не космоса, но что Земля является уникальной цивилизацией, ориентированной именно в небо, и в силу этого вероятность гибели Земли в результате геоинженерной катастрофы меньше. То есть Чиркович предполагает, что средняя и абсолютная вероятность вымирания для Земли резко различаются. Однако шансы, что он прав – невелики. Чем больше подразумеваемая уникальность Земли, тем меньше шансов, что он прав. То есть Земля скорее является 1 из 10, чем 1 из миллиона планет. Чем радикальнее утверждение о различии средней и абсолютной вероятности, тем больше шансов, что оно ложно. Пример из жизни: если ваш случайный собеседник в Интернете утверждает, то он миллиардер, то, скорее всего, он врёт, а если он говорит, что у него есть машина, то это, скорее всего, правда.)

Другое упрощение состоит в том, что в большинстве случаев мы не сделаем себе хуже, если переоценим вероятность некой глобальной катастрофы. Это значит, что нам надо брать в большинстве случаев верхнюю границу вероятностей. Но этот подход не работает, если нужно выбрать один из двух путей, каждый из которых имеет свой риск. В этом случае излишнее завышение риска может привести к тому, что мы фактически выберем более рискованный путь. Скажем, отказавшись от адронного коллайдера, мы можем не открыть новые источники энергии, которые нам позволили бы летать к звёздам, и не сможем резко повысить таким образом выживаемость нашей цивилизации за счёт более широкого ее распространения. Мы можем оценить среднее влияние когнитивных искажений в оценке вероятности исторических проектов (от аварий челнока до проектов построить коммунизм к 1980 году). Из исследований психологии известно, что люди, даже пытаясь учитывать свою будущую ошибку, всё равно обычно недооценивают искомый параметр [Yudkowsky 2008b].

В нашей методологии (часть 2) мы рассмотрим список из примерно 150 возможных логических ошибок и когнитивных искажений, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составит не более одного процента, результат может отличаться от правильного в разы и даже на порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. (А именно, челнок был рассчитан на одну аварию на 1000 полётов, но первый раз разбился уже на 25-ом полёте, что, как подчёркивает Юдковски, говорит о том, что оценка безопасности в 1 к 25 была бы более правильной, что в 40 раз меньше исходной оценки; реакторы строились с расчетом одна авария на миллион лет, но первая масштабная авария произошла через примерно 10 000 станций-лет эксплуатации, то есть, оценка безопасности в 100 раз более низкая была бы более точной.) Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждениях, влияющие на оценку глобальных рисков» [Yudkowsky 2008b] приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 %-ой уверенности они дают для этих величин. Результаты этих экспериментов удручают. Позволю себе большую цитату:

«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, когда вы уверенны на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98 %-й уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Альперт и Раиффа задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98 %-ых интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2 %, случались в 42.6 % случаев.

Другую группу из 35 испытуемых попросили оценить 99,9 %-е верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47 % случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38 % случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98 %-е интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19 % случаях, что являет собой значительное улучшение их результата в 34 % до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2 %.

Подобные уровни ошибок были обнаружены и у экспертов. Хинес и Ванмарк опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 %-й уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристиен-Салански и Бушихед опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.

Лихтенштейн производит обзор 14 исследований на основании 34 экспериментов, выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Бюхлер попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в самом худшем случае.

Бюхлер попросил студентов оценить время сдачи дипломных работ, в котором они уверены на 50 %, на 75 % и на 99 %. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили к 99 % уровню. Бюхлер пишет: «Результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты» [Yudkowsky 2008b].»

Наконец, очень важно различать погодовую и полную вероятность. Например, если вероятность вымирания от ядерной войны оценить в 1 процент в год, то за тысячу лет накопленная вероятность будет означать шансы выжить примерно 1 к 10 000. Вообще, любая погодовая вероятность может быть трансформирована в ожидаемое время, то есть время, за которое шансы дорастут до 50 процентов. Упрощённая формула для оценки ее есть T=72/P, где Т – время в годах, а Р – вероятность в процентах. (Точное решение уравнения 2=(1,01) равно x=log2/ log(1.01).)

Например, погодовой риск в 0,7 % даст 50 % вымирания цивилизации за 100 лет, 75 % за 200 и 99,9 % за 1000 лет.) Это означает, что любой риск, заданный на некотором промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50 %-ую вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [0; T] равна:

P(T) = 1 – 2 ,

Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров, вычисленное с помощью вышеприведенной формулы для разных начальных условий.

Таблица 1. Связь ожидаемого времени существования цивилизации с погодовой вероятностью вымирания.

Обратите внимание на нижнюю часть этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада» T₀, который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка (сделать 1–P(100) как можно выше), нам надо приблизить погодовую вероятность вымирания P(1) практически к нулю.

Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить, в лучшем случае, с точностью до порядка (причём, точность такой оценки будет плюс-минус порядок) и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга проблемы[133]. Подобными примерами шкал являются Туринская и Палермская шкалы риска астероидной опасности.

Одиннадцатибальная (от 0 до 10) Туринская шкала астероидной опасности «характеризует степень потенциальной опасности, грозящей Земле со стороны астероида или ядра кометы. Балл по Туринской шкале астероидной опасности присваивается малому телу Солнечной системы в момент его открытия в зависимости от массы этого тела, возможной скорости и вероятности его столкновения с Землей. По мере дальнейшего исследования орбиты тела его балл по Туринской шкале может быть изменен» [Сурдин]. Ноль означает отсутствие угрозы, десять – вероятность более 99 % падения тела диаметром более 1 км. Палермская шкала отличается от Туринской тем, что учитывает также и время, оставшееся до падения астероида: чем времени меньше, тем выше балл. Балл по Палермской шкале вычисляется по специальной формуле [ NASA ].

Интересно было бы создать аналогичную шкалу для оценки рисков глобальных катастроф, ведущих к человеческому вымиранию. Поскольку результат любой катастрофы такого рода по определению один и тот же, то масштаб здесь учитывать не нужно. С другой стороны, принципиальное значение приобретает степень неопределённости нашего знания о риске и наша способность его предотвратить. Таким образом, шкала глобальных катастроф должна отражать три фактора: вероятность глобальной катастрофы, достоверность сведений о данном риске и вероятность того, что данный риск удастся предотвратить.

В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):

1) Неизбежные события. Оценка их вероятности – порядка 100 % в течение XXI века. Интервал уверенности: (10 %; 100 %)

2) Весьма вероятные события – оценка вероятности порядка 10 %. (1 %; 100 %)

3) Вероятные события – оценка порядка 1 %. (0,1 %; 10 %)

4) Маловероятные события – оценка 0,1 %. (0,01 %; 1 %)

5) События с ничтожной вероятностью – оценка 0,01 % и меньше. (0 %; 0,1 %)

Пунктами 4 и 5, казалось бы, можно пренебречь, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако, ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможны несколько десятков разных сценариев с вероятностью 0,1 % – 10 %, то в сумме это даёт разброс вероятности 1 % - 100 %. К неизбежным событиям относится только тот факт, что в течение XXI века мир существенно изменится.

В наших рассуждениях мы будем широко пользоваться «принципом предосторожности», то есть, мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики; б) возможные при условии, что наука и техника будут развиваться с теми же параметрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности (см. выше цитату из него), что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий [Yudkowsky 2008b]. При расширении вероятностных промежутков нам следует уделять внимание, в первую очередь, расширению в худшую сторону, то есть — в сторону увеличения вероятности и уменьшения оставшегося времени. Однако, если некий фактор, например, создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, и то, и другое появится через пару десятков лет.

В экономике применяется следующий метод предсказания – опрос ведущих экспертов о будущем некого параметра и вычисление среднего. Очевидно, это не позволяет узнать действительное значение параметра, но позволяет сформировать «best guess» – наилучшее предположение. Тот же метод можно применить, с определённой осторожностью, и для оценки вероятности глобальных катастроф. Допустим, в отношении глобального потепления из тысяч экспертов только один говорит, что она наверняка приведёт к полному вымиранию человечества. Тогда применение этой методики даст оценку вероятности вымирания, равную 0,1 %.

В целом знание погодовой вероятности глобальных катастроф не имеет большой ценности, так как по причине технологического прогресса вероятность технологических катастроф будет расти, а вероятность природных катастроф – уменьшаться за счёт большей способности человека им противостоять.

Технологическому прогрессу свойствен экспоненциальный или даже гиперболический рост.

Предположим, что некая технология экспоненциально растёт и число условных «установок» равно:

(1)

где m - постоянная из закона Мура, обратная периоду удвоения m=1/t, T - время. При этом каждая установка имеет вероятность p в год привести к глобальной катастрофе. Вопрос – какова полная вероятность катастрофы P от сегодняшнего дня до момента и какова погодовая вероятность катастрофы?

(2)

Для вероятности катастрофы в 0,1 % в год для одной установки и периода около 2 лет, мы получаем плотность вероятности:

P =

Которая на графике выглядит так:

Чтобы получить полную вероятность за лет, надо перемножить шансы выживания за все лет и вычесть это из 1.

Подставляя в неё значение из (1) вместо каждого получаем:

И отсюда:

(3)

Если взять довольно разумную оценку как 0,1 % вероятности катастрофы на проект и период удвоения около 2 лет, то получим такой график:

P =

Говоря попросту, если опасная технология развивается экспоненциально, то шансы выжить убывают как экспонента от экспоненты, то есть очень быстро.

Видно, что переход от погодовой вероятности к полной вероятности не меняет характер кривой и не меняет сильно значение величины, что не удивительно, так как наибольший прирост приходится за последнее удвоение – и прирост за последнее удвоение равен приросту за всё предыдущее время. То есть мы видим ту же кривую, сдвинутую на 2 года влево.

Переход от неразличимо малой вероятности катастрофы к близкой к 1 занимает примерно 10 лет, и зависит только от постоянной закона Мура. Начальная плотность установок и вероятность катастрофы, приходящаяся на отдельную установку, не влияют на характер кривой и только сдвигают ее в ту или в другую сторону на несколько лет.

При этом тот период времени, когда катастрофа скорее всего произойдёт, то есть время, когда ее накопленные шансы меняются от 10 % до 90 % составляет всего порядка 5 лет. Если мы учтём гиперболический закон роста технологий, то это время ещё уменьшится.

Если мы добавим к этому то, что одновременно экспоненциально развивается несколько технологий, которые могут создавать глобальный риск: био, нано и ИИ (а также дешёвые ядерные технологии), – то мы должны ожидать, что они будут взаимодействовать друг с другом, взаимноусиливая друг друга, и ещё больше сокращая срок, когда глобальная катастрофа наиболее вероятна.

Стоит обратить внимание, что эта кривая очень похожа на кривую человеческой смертности, то есть вероятности дожития до определённого возраста. Это можно объяснить через механизм старения, состоящий в экспоненциальном накоплении числа ошибок, сбоев и исчерпаний «срока годности» различных систем организма. Кривая эта называется законом Гомперца и в общей форме имеет вид, который можно получить из формулы (3) после ряда преобразований:

Кроме того, сравнивая процессы старения человеческого организма, выражаемые в виде эмпирической кривой смертности с математической кривой смертности, выражаемой формулой Гомперца, можно оценить, каков вклад сложного системного взаимодействия разных причин в такой простой процесс, как экспоненциальное нарастание вероятности. Иначе говоря, старение человека можно использовать как аналогию процессам нарастания рисков, стоящих перед технологической цивилизацией. В целом, основной вывод состоит в том, что этот вклад не очень велик, то есть кривая Гомперца описывает продолжительность жизни человека с точностью до нескольких процентов. Однако, есть важное отличие. В конце кривой реальная вероятность смерти оказывается меньше ожидаемой, что делает возможным существование 110-летних стариков. Вторая особенность, видимо, состоит в том, что продолжительность жизни человека имеет верхний предел.

Иначе говоря, нас ждёт горячая пятилетка, хотя когда именно она начнётся – в 2010-х, 2020-х или 2030-х годах, – сказать трудно.

Горячая пятилетка произойдёт или до возникновения мощного ИИ, либо такой ИИ возникнет во время неё, и борьба разных ИИ между собой за власть над миром станет причиной катастрофических рисков. Вряд ли, однако, горячая пятилетка произойдёт после установления всемирной власти одного ИИ. Таким образом, речь идёт о последнем пятилетии перед Сингулярностью. Разумно ожидать, впрочем, что реальность окажется сложнее предлагаемой упрощённой модели.

Другой моделью, предсказывающей шансы глобальной катастрофы, является наблюдение А.Д.Панова [Панов 2004] и других исследователей об увеличении частоты кризисов с течением времени[134]. Каждый следующий кризис следует за другим с периодом в примерно 2.67 раз меньшим – 1500, 1830, 1945, 1991. Кризис сопровождается как крахом определённой политической системы, так и переходом к новым технологиям. Это также сопровождается обострением войн, в которых обкатываются эти новые технологии. Дальнейшее применение этой последовательности показывает, что очередной кризис должен произойти в районе 2010 года, и мы можем видеть его зарождение в виде нынешнего экономического кризиса. Затем последует передышка в лет 8, и потом новый кризис в 2018 году, и дальше кризисы должны последовать с нарастающей частотой вплоть до момента Сингулярности в районе 2025 года, когда частота кризисов, исходя из этой модели, должна обратиться в бесконечность. График частоты кризисов описывается гиперболой. Не трудно предположить, что в момент очередного кризиса, когда власть на Земле переходит в новые руки и одновременно возникают новые технологии, обеспечивающие эту власть, возрастает риск глобальных катастроф. Например, таким риском (исходя из знаний людей того времени) было испытание первой атомной бомбы. Кроме того, из модели Панова следует, что в последние пять лет перед Сингулярностью произойдёт огромное множество технологических революций, что опять-таки согласуется с предположением о «горячей пятилетке» в смысле глобальных катастроф. Такое быстрое изменение возможно только за счёт рекурсивно улучшающегося ИИ, и каждая революция – это некий шаг в его улучшении. Мы вернёмся к проблемам оценки вероятности глобальной катастрофы в главе «Непрямые способы оценки вероятности глобальной катастрофы».

[1] Более ранняя версия этой части исследования вышла в сборнике Института системного анализа РАН в виде статьи «О возможных причинах недооценки рисков гибели человеческой цивилизации» [Турчин 2007a].

[3]Вот здесь есть краткий обзор истории концепции вероятности: http://www.riskland.ru/lib/sub_prob.shtml.

[4] http://www.mirozdanie.narod.ru/

[5] http://www.poteplenie.ru/

[6] http://depletedcranium.com/why-you-cant-build-a-bomb-from-spent-fuel/

[7] Подробнее можно посмотреть, например, здесь: http://www.nuclear-weapons.nm.ru/theory/dirty_bombs.htm

[8] Александр Колдобский. Осторожно – термояд! http://www.geocities.com/barga44/protiv1.rtf

[9] http://www.proza.ru/texts/2008/07/19/466.html

[10] Andre Gsponer and Jean-Pierre Hurni. Antimatter weapons. http://cui.unige.ch/isi/sscr/phys/antim-BPP.html

[11] Чак Хансен «Ядерное оружие США». "Урановая пушка", включенная в состав устройства, не была первым решением, рассмотренным разработчиками Лос-Аламоса; первоначальная бомба пушечного типа имела длину 17 футов (512 см.) и являлась оружием с плутониевым наполнением, которой для предотвращения преждевременной детонации требовалось сдвижение системы "мишень-снаряд" со скоростью 3000 футов в секунду (903 м/с). Цит. по "Давайте обсудим физику ядерного терроризма, г-н Колдобский!" http://www.nasledie.ru/terror/25_7/7_1/article.php?art=0

[12] Arjun Makhijani and Hisham Zerriffi. Dangerous Thermonuclear Quest http://www.ieer.org/reports/fusion/chap4.html.

[13]«Зона отчуждения, режим присвоения» http://www.expert.ru/printissues/ukraine/2007/48/zona_otchyzhdeniya/ - например, в Белоруссии разрешается вести сельское хозяйство и при 40 кюри на кв. км., что не сильно отличается от уровней в 300 кюри, а значит, уровни в 300 кюри не могут дать гарантированного вымирания.

[14]"Гуру" криптографии оценил риск ядерной войны” http://rnd.cnews.ru/liberal_arts/news/top/index_science.shtml?2008/04/07/295802, его страница со статьёй: Martin Hellman "Risk Analysis of Nuclear Deterrence». http://nuclearrisk.org/index.php

[15] «Обнаружен огромный подземный океан». http://geoman.ru/news/item/f00/s02/n0000244/index.shtml

[16] http://www.wired.com/science/discoveries/news/2007/11/igem_winner сообщение об этом прокомментировано следующей шуткой: «Осторожно, это продукт содержит маленькие части, которые могут истребить нашу цивилизацию. Использовать под наблюдением взрослых».

[17] По этой ссылке можно посмотреть цены на подержанные ДНК-синтезаторы: http://www.labx.com/v2/newad.cfm?catID=14

[18] Hacking goes squishy. Sep 3rd 2009 The Economist print edition

http://www.economist.com/sciencetechnology/tq/displaystory.cfm?story_id=14299634

[19] См. обзор по-русски http://www.computerra.ru/xterra/283177/ и статью Lafferty, Kevin D.. "Can the common brain parasite, Toxoplasma gondii, influence human culture? Proceedings of the Royal Society B: Biological Sciences 273(2006): 2749-2755. http://biology.kenyon.edu/courses/biol241/student%20projects/cats%20rats%20and%20people.ppt

[20] http://www.homeoint.org/kotok/vaccines/news12.02.htm

[21] «Генетический хакер может создать биологическое оружие у себя дома». Перевод статьи «Биовойна для чайников» – «Biowar for Dummies» by Paul Boutin http://www.membrana.ru/articles/global/2006/02/22/220500.html

[22] Green Goo: The New Nano-Threat. http://www.wired.com/medtech/health/news/2004/07/64235

[23] http://news.yahoo.com/s/time/20080915/us_time/thearmystotallyseriousmindcontrolproject;_ylt=Ag6k7VZPDxl_X5rtgfYDzkWs0NUE

[24] Это реальный термин в современной философии сознания. Большую подборку статей по-английски можно найти здесь: http://consc.net/online/1/all#zombies Краткое изложение проблемы по-русски: «Зомби и искусственный интеллект» http://philos.miem.edu.ru/6/257.htm

[25] Хорошее введение в проблему квалиа есть в Википедии: http://ru.wikipedia.org/wiki/Квалиа Специальные работы по проблеме можно найти здесь: http://consc.net/online/1/all#qualia

[26] См. краткое изложение и дискуссию здесь: http://nature-wonder.livejournal.com/168800.html

[27] «Продемонстрировав, что симуляция мозга является реалистичным проектом, исследователи полагают, что из их результатов следует возможность смоделировать мозг млекопитающего в течение 3 лет, и человеческий мозг в течение десятилетия». http://www.technologyreview.com/Biotech/19767/

[28] 'Larry Page, Google Look Into AI:'

http://www.webpronews.com/topnews/2007/02/19/larry-page-google-look-into-ai

[29] http://www.agiri.org/wiki/index.php?title=Novamente_Cognition_Engine

[30] http://www.singinst.org/blog/2007/07/31/siai-why-we-exist-and-our-short-term-research-program/

[31] http://www.numenta.com/about-numenta/numenta-technology.php

[32] http://www.opencyc.org/

[33] Eurisko, The Computer With A Mind Of Its Own http://www.aliciapatterson.org/APF0704/Johnson/Johnson.html

[34] http://www.adaptiveai.com/

[35] 'Кило процессоров на кончике пальца в разы обгоняет классические камни' http://www.membrana.ru/articles/technic/2006/04/05/190100.html

[36] Как утверждает Юдковски в дискуссионном листе SL4.

[37] См. Е. Юдковски. Таблица критических ошибок Дружественного ИИ. http://www.proza.ru/texts/2007/07/09-228.html

[38] Мною выполнен перевод их на русский язык: «Siai рекомендации по созданию дружественного ИИ». http://www.proza.ru/texts/2007/07/13-272.html

[39] В отношении шахмат этот принцип сформулировал Стейниц.

[40] А именно, упоминавшихся уже работ Юдковски и Омохундро.

[41]Ethanol bill fuels food Costs http://money.cnn.com/2007/12/07/news/economy/biofuels/index.htm?postversion=2007120712

[42] Краткие сведения о проекте есть в Википедии. http://en.wikipedia.org/wiki/Eurisko

[43] http://www.darpa.mil/ipto/programs/bica/ Доступ с российских компьютеров закрыт.

[44] См. Е. Юдковски. Таблица критических ошибок Дружественного ИИ. http://www.proza.ru/texts/2007/07/09-228.html

[45] http://e-drexler.com/p/07/00/1204TechnologyRoadmap.html

[46] Dangers of Molecular Manufacturing http://www.crnano.org/dangers.htm, русский перевод http://www.proza.ru/texts/2008/04/08/430.html

[47] http://www.darpa.mil/dso/thrusts/materials/multfunmat/nav/index.htm

[48] http://reprap.org/bin/view/Main/WebHome

[49] Robert A. Freitas Jr. Michael Vassar. Lifeboat Foundation Nanoshield

http://www.kurzweilai.net/meme/frame.html?main=/articles/art0685.html?m%3D2 Майкл Вассер, Роберт Фрайтас. Проект «Нанощит» фонда Лайфбоат. С моими комментариями. http://www.scribd.com/doc/12113758/Nano-Shield

[50] Болонкин А. «Искусственный взрыв Солнца: реальная угроза человечеству»

http://lasthot.ru/forum/news/3645-iskusstvennyjj-vzryv-solnca-realnaja-ugroza-chelovechestvu.html и Bolonkin. Artificial Explosion of Sun. AB-Criterion for Solar Detonation

http://www.scribd.com/doc/24024795/Artificial-Explosion-of-Sun-AB-Criterion-for-Solar-Detonation

[51] Richard C. Hoagland. Did NASA Accidentally “Nuke” Jupiter?

http://www.enterprisemission.com/NukingJupiter.html

[52] «О возможности искусственной инициации взрыва планет-гигантов и других объектов Солнечной системы». http://www.proza.ru/texts/2008/07/19/466.html

[53] М. Аджиев. Осторожно, тяжелая вода! http://n-t.ru/tp/mr/otv.htm

[54] «Буровые разведчики навсегда включили грязный вулкан».

http://www.membrana.ru/print.html?1169755080

[55] Личное сообщение Л.Я. Арановича. Работа выполнена на грант РФФИ.

[56] Six Places to Nuke When You’re Serious

http://www.acceleratingfuture.com/michael/blog/?p=120

[57]http://www.oko-planet.spb.ru/?open&h=1&p=6_2&type=viewmes&site=235C6

[58] study of potentially dangerous events during heavy-ion collisions at the lhc: Report of the lhc safety study group. http://doc.cern.ch/yellowrep/2003/2003-001/p1.pdf

[59] The Potential for Danger in Particle Collider Experiments.

http://www.risk-evaluation-forum.org/anon1.htm

[60] См. там же.

[61] http://www.gazeta.ru/science/2007/11/23_a_2333388.shtml

[62] D. Brin. SHOUTING AT THE COSMOS....Or How SETI has Taken a Worrisome Turn Into Dangerous Territory. http://lifeboat.com/ex/shouting.at.the.cosmos

[63] Такого мнения придерживался под конец жизни И.С. Шкловский, автор знаменитой книги «Вселенная, жизнь, разум», отметим также исследование P. Ward. Rare Earth, 2002.

[64] http://cosmicos.sourceforge.net/

[65]См.например: http://www.inopressa.ru/telegraph/2007/12/27/15:25:17/universe

[66] “Ученые предсказывают второй Большой взрыв”.

http://www.inauka.ru/news/article79929.html %20

[67]http://www.oko-planet.spb.ru/?open&h=1&p=1_2&type=viewmes&site=18ADFA

[68] Взрывы пара в земле. http://king-of-vulcans.narod.ru/work.htm

[69]“Морская астроблема вблизи Антарктиды”. http://vivovoco.rsl.ru/VV/NEWS/PRIRODA/PR_08_98.HTM

[70] «Динозавров погубило столкновение астероидов в 400 млн. км от Земли».

http://www.rambler.ru/news/science/0/11116242.html

[71] http://www.john-daly.com/solar.htm

[72] Р. Киппенхан. «100 миллиардов СОЛНЦ». http://www.universe.boom.ru/100.html

«Что же будет дальше? Что произойдет, когда все больше водорода будет выгорать и в центре Солнца будет накапливаться гелий? Модельные расчеты показывают прежде всего, что в ближайшие 5 миллиардов лет практически ничего не изменится. Солнце будет медленно (как показано на рис. 5.1) перемещаться вверх по своему пути развития на диаграмме Г-Р. Светимость Солнца при этом будет постепенно повышаться, а температура на его поверхности вначале станет чуть выше, а затем начнет медленно снижаться. Но все эти изменения будут невелики. Через 10 миллиардов лет после начала горения водорода светимость Солнца будет всего в два раза выше нынешней.» [Киппенхан 1990].

[73] См. график продуктивности жизни и светимости солнца, где ноль – через 800 млн. лет [Александровский 2001].

[74] См. обзор теории и рискам гамма-всплесков: Б. Штерн «Гамма-всплески: секундные катастрофы галактического масштаба». http://www.scientific.ru/journal/burst2.html

[75] Binary 'deathstar' has Earth in its sights. //Cosmos magazine 1.03.2008. http://www.cosmosmagazine.com/node/1878

[76] WR 104: Technical Questions. http://www.physics.usyd.edu.au/~gekko/pinwheel/tech_faq.html

[77] Nearby Supernova May Have Caused Mini-Extinction, Scientists Say

http://www.sciencedaily.com/releases/1999/08/990803073658.htm

[78] Michael Richmond. Will a Nearby Supernova Endanger Life on Earth?

http://www.tass-survey.org/richmond/answers/snrisks.txt

[79] «Обнаружен огромный подземный океан».

http://geoman.ru/news/item/f00/s02/n0000244/index.shtml

[80] М. Г. Савин. Кувырок магнитного поля. http://www.inauka.ru/analysis/article72812.html

[81] Увеличение размеров ядра Земли сделало её магнитное поле лишь менее стабильным http://www.gazeta.ru/news/science/2008/05/05/n_1215200.shtml, [Biggin et al 2008].

[82] http://en.wikipedia.org/wiki/Colony_Collapse_Disorder

[83] http://environment.newscientist.com/channel/earth/mg19425983.700-billions-at-risk-from-wheat-superblight.html

[84] Супотницкий о СПИД http://supotnitskiy.webspecialist.ru/stat/stat3.html

[85] «Воссоздан вирус, убивший 50 млн. людей» http://news.bbc.co.uk/hi/russian/sci/tech/newsid_4314000/4314344.stm

[86] А.Г.Пархомов. «О возможных эффектах, связанных с малыми чёрными дырами». http://www.chronos.msu.ru/RREPORTS/parkhomov_o_vozmozhnykh.pdf

[87] http://www.rambler.ru/news/science/0/11116242.html

[88] http://www.pereplet.ru/text/karnauhov1.html

[89] http://www.poteplenie.ru/news/news170905.htm

[90] Андрей Ваганов. «сценарии парниковой катастрофы». http://science.ng.ru/policy/2001-04-18/1_accident.html

[91] John Atcheson. Methane Burps: Ticking Time Bomb. http://www.energybulletin.net/node/3647

[92] См. например, “Газовые гидраты и климат земли” [Дядин, Гущин 1998] и Иващенко О.В. «Изменение климата и изменение циклов обращения парниковых газов в системе атмосфера-литосфера-гидросфера - обратные связи могут значительно усилить парниковый эффект». http://www.poteplenie.ru/news/news170905.htm

[93] http://www.polit.ru/news/2006/01/17/independent.html

[94] Start-Up Sells Solar Panels at Lower-Than-Usual Cost http://www.nytimes.com/2007/12/18/technology/18solar.html?_r=1&oref=slogin

[95] A Framework for Offshore Wind Energy Development in the United States

http://www.mtpc.org/offshore/final_09_20.pdf

[96] http://wdstudio.net/gulfstreamturbine/index.htm

[97] Гидраты метана – энергоресурс будущего? http://www.dw-world.de/dw/article/0,2144,2331483,00.html

[98] http://www.apn.ru/publications/article18767.htm

[99] См. здесь http://entomology.ifas.ufl.edu/creatures/misc/bees/ahb.htm

[100] Перевод отрывка о Машине Судного дня см. здесь: http://www.proza.ru/2009/06/24/845

[101] пересказ документа в газете «Коммерсант» http://kommersant.ru/doc.aspx?DocsID=803524

[102] Банкротство "Леман Бразерс" похоронило американский фондовый рынок http://russianews.ru/news/17698

[103] http://www.vhemt.org/

[104] Anthrax Case Renews Questions on Bioterror

http://www.nytimes.com/2008/08/03/us/03anthrax.html?_r=1&hp&oref=slogin

[105] Берд Киви. Следствие окончено, забудьте. http://offline.computerra.ru/2008/747/370384/

[106] http://www.proza.ru/texts/2007/07/08-42.html

[107] http://transhumanism.org/languages/russian/dawnofsingularity/Deering.htm

[108] Graham M. Turner. A comparison of The Limits to Growth with 30 years of reality. Global Environmental Change 18 (2008) 397– 411. http://rghost.ru/688190

[109] Если исходить из объёмов финансирования Lifeboat Foundation, которые есть на их сайте, а также нескольких других подобных организаций с соизмеримыми бюджетами – таких как Future of Humanity Institute и Centre for responsible nanotechnology.

[110] Conservation targets too low to save at-risk species. http://www.newscientist.com/article/dn17974-conservation-targets-too-low-to-save-atrisk-species.html

[111] Cм. Сайт фонда Lifeboat Foundation www.lifeboat.com

[112] См. подробнее на эту тему на сайте Lifeboat http://lifeboat.com/ex/bio.shield

[113] SIAI рекомендации по созданию дружественного ИИ. http://www.proza.ru/texts/2007/07/13-272.html

[114]Popular Mechanics 2009’12 http://www.popularmechanics.com/technol​ogy/industry/4337160.html?nav=RSS20&src=syn&dom=yah_buzz&mag=pop

[115] http://www.membrana.ru/lenta/?6009

[116] http://go2starss.narod.ru/pub/E020_FDMT.html PHYSICS TODAY, Октябрь, 1968 с. 41-45

[117] Advanced Automation for Space Missions http://www.islandone.org/MMSG/aasm/

[118] Ранняя версия аргументов Смолина доступна здесь: http://www.inauka.ru/phisic/article80604/print.html позже в ней были найдены ошибки, так как было показано, что ещё большее число чёрных дыр возникает в тех вселенных, где вообще нет цивилизаций. Поэтому он решил связать репликацию вселенных и антропный принцип.

[119] См. краткое изложение книг здесь: Стефан Уэбб. 50 решений парадокса Ферми.

http://www.proza.ru/2009/10/01/1272

[120] Об этом я рассуждаю в статье «Инопланетные нанороботы в Солнечной системе: возможные риски и способы обнаружения. (Космическая серая слизь: Солярис среди нас.)» http://www.proza.ru/2009/07/21/1105 и отчасти в статье «НЛО как фактор глобального риска» http://www.proza.ru/2009/07/12/52

[121] http://meteuphoric.wordpress.com/2010/03/23/sia-doomsday-the-filter-is-ahead/, Р. Хансен об этом тоже написал: Very Bad News, http://www.overcomingbias.com/2010/03/very-bad-news.html#comments

[122]Данила Медведев «Живём ли мы в спекуляции Ника Бострома?» http://danila.spb.ru/papers/antisim/russim.html

[123] А именно, это рефлексивное применение используется для его опровержения. [Lansberg, Dewynne 1997]. Краткое изложение дискуссии см. в http://en.wikipedia.org/wiki/Self-referencing_doomsday_argument_rebuttal

[124] Nate Hagens. Peak Oil - Believe it or Not? http://www.theoildrum.com/node/3178#more

[125]«Бумажный тигр биотерроризма». Часть 1. Не кричи «волки»! http://www.cbio.ru/modules/news/article.php?storyid=261

[126] См. статью об ошибках в оценке пика нефти. http://www.theoildrum.com/node/3178#more

[127] "Pentagon confirms Soviets were on war alert", Pacific Stars and Stripes, October 14, 1984, p4.

[128] http://balancer.ru/community/viewtopic.php?id=24539&p=6

[129] http://www.acceleratingfuture.com/michael/blog/?p=539

[130] «No trade theorem» гласит: Вы не должны торговать на рынке, даже если имеете для этого возможность, так как тот факт, что кто-то другой желает занять противоположную вам сторону в сделке, является наилучшим доказательством того, что его информация о ситуации так же хороша, как и ваша. См. подробнее http://www.overcomingbias.com/2008/02/buy-now-or-fore.html#comments или оригинальную статью [Milgrom, Stokey 1982].

[131] Роджер Хайфилд. На Луне планируется устроить "ковчег на случай апокалипсиса". http://inopressa.ru/telegraph/2008/03/11/16:42:15/moon

[132] http://en.wikipedia.org/wiki/Rule_of_succession

[133] Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно, в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны.

[134]См. подробнее мой текст: «От экономического кризиса к глобальной катастрофе». http://www.proza.ru/2009/04/24/732

Предисловие Малинецкого к изданию 2010года

Г. Г. Малинецкий [134]. Размышления о немыслимом

Завидую Прусту. Упиваясь прошлым, он опирался на весьма прочную основу: вполне надежное настоящее и неоспоримое будущее. Но для нас прошлое стало прошлым вдвойне, время вдвойне утрачено, потому что вместе со временем мы утратили и самый мир, в котором текло это время. Произошёл обрыв. Поступательное движение веков прервалось. И нам уже неведомо, когда, в каком веке мы живем и будет ли у нас хоть какое-то будущее.

Р. Мерль. «Мальвиль»

Картина, нарисованная мною, не обязательно должна быть картиной полного уныния: ведь неизбежных катастроф, возможно, и нет. И, конечно, шансов избежать катастрофы становится больше, если мы смело посмотрим катастрофе в лицо и оценим её опасность.

А. Азимов. «Выбор катастроф»

Такая книга должна была появиться. Её время пришло. Хорошо было бы, чтобы она была написана лет на 20 раньше. Но прошлого уже не изменишь, а о будущем надо думать, проектировать его и осмысливать его опасности, риски и угрозы.

Эта книга находится на грани между обзором работ, посвященных сценариям глобальной катастрофы, выполненным в мире, между футурологическим исследованием и методологическим анализом существующих подходов. Автор книги – Алексей Турчин – стремится к объективному анализу, к научности, к целостному осмыслению глобальных рисков. Безусловным достоинством книги является её интеллектуальная честность, стремление к чёткому разделению фактов, результатов, гипотез, сомнений, домыслов.

Наверно, у многих читателей возникнет естественный вопрос, как соотносится предпринятое исследование с конкретными работами по управлению рисками и проектированию будущего, которые активно ведутся в России и во всем мире. О «мостике», соединяющим анализ гипотетических катастроф и работы по прогнозированию и предупреждению реальных аварий, бедствий, чрезвычайных ситуаций, наверно, и стоит сказать в предисловии к этой книге.

Поиск по сайту: