Всё как-нибудь обойдётся»

Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на иррациональной концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе «авось, пронесёт». Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.

Однако уже сегодня в современной технологической ситуации мы не можем рассматривать риски «по мере их поступления», поскольку не знаем, где искать, и поскольку риски могут актуализироваться быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.

Другой вариант – картина будущего, называемая «устойчивое развитие» (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Вероятность такого исхода событий невелика.

21.14 Деградация цивилизации до уровня устойчивого состояния

Некоторые надеются, что угрозы глобальных катастроф развеются сами собой, когда человечество из-за нехватки ресурсов или в силу предыдущих катастроф в той или иной степени деградирует. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством – гораздо проще грабить соседей. Конкуренция между уцелевшими обществами неизбежно приведёт к новому росту вооружений и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует в направлении к ещё более примитивным формам и вымрет.

21.15 Предотвращение одной катастрофы с помощью другой

Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:

1. Ядерная война останавливает развитие технологий вообще.

2. Тотальный ИИ предотвращает биотерроризм.

3. Биотерроризм делает невозможным развитие ИИ

4. Ядерная зима предотвращает глобальное потепление.

Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, но малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде. Тем не менее это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.

Было бы в каком-то смысле «приятно» доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носила бы исключительно вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ.

Кроме того, любая большая авария (но меньшая отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь возникает определённый стереотип: ожидание повторения точно такого же риска.

21.16 Опережающая эволюция человека

Ещё одной идеей, которая даёт принципиальную надежду на выживание, является идея о том, что процессы киборгизации человека будут идти быстрее, чем процессы создания опасных вооружений. Например, если заменить большинство органов человеческого тела их механическими аналогами, то человек станет неуязвимым к действию биологического оружия. Загрузка сознания в компьютер сделает человека вообще независимым от судьбы своего тела, поскольку возможно резервное копирование информации, причём эти компьютеры могут быть размером с пылинку и могут прятаться в поясе астероидов. В этом случае только полное физическое уничтожение Солнечной системы и её окрестностей приведёт к уничтожению таких «сверхлюдей». Однако в какой мере такие устройства будут именно людьми, а не разновидностями искусственного интеллекта, сказать трудно. Кроме того, этот сценарий, хотя и возможен теоретически, но не настолько вероятен, чтобы можно было на него рассчитывать. Наконец, он может просто не успевать во времени, так как создание оружия гораздо проще, чем киборгизация человека.

Другой момент состоит в том, что киборгизация открывает новые риски, связанные с поражением искусственных частей человеческого тела компьютерными вирусами. Первым событием такого рода стала недавно осуществлённая (в демонстрационных целях экспертами по безопасности) атака на кардиостимулятор с управлением по радиоканалу, в ходе которой он был перепрограммирован на другой режим работы, что потенциально могло бы привести к смерти пациента, если бы эксперимент осуществлялся на живом человеке. Будущий киборгизированный человек будет содержать тысячи дистанционно управляемых медицинских устройств.

21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы

Мы не знаем определённо, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться, – кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату.) Перечислим разные «функциональные жанры» организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.

1) «ООН». Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением, но все участники дискуссии договориться не могут. В результате принимается самое слабое и компромиссное решение. Государства не готовы передать свою власть в ООН.

2) «Мировое правительство». Проблема состоит в самой возможности его образования. Процесс создания мирового правительства чреват войной, что само по себе создаёт глобальный риск. Кроме того, такое правительство не может быть нейтральным. С точки зрения одних групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.

3) Спецслужбы, которые тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Возникает конкуренция спецслужб. Возможна путаница национальных и общечеловеческих интересов – так как спецслужбы служат своему государству, а не людям вообще. Спецслужбы в силу своей специфики не заточены на масштабное долгосрочное видение комплексных проблем и не могут самостоятельно оценить, не привлекая сторонних экспертов, риски ещё не существующих технологий.

4) Тайные группы частных лиц. Возможно, что некая тайная частная организация поставит своей целью облагодетельствовать всё человечество. Однако промежуточный этап – это создание своего (возможно, тайного) мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту «мировое правительство». Неприятие заговоров в обществе и противодействие им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его «всемирный халифат» будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие, и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии «мятежа» – явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.

5) Открытая дискуссия и самоорганизация в обществе. Некоторые авторы, например, Д. Брин [Brin 2006], считают, что альтернативой тайным организациям и правительственным проектам в деле предотвращения глобальных рисков была бы самоорганизация ответственных граждан, которая привела бы к созданию того, что по-английски называется Reciprocal accountability – взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы такого подхода очевидны: власть общества не велика, и нет единого всемирного общества, способного договориться, – а если эти меры принять только в одной стране они не будут эффективны. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. в настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению, – это Lifeboat Foundation, Центр по ответственным Нанотехнологиям (CRN), Альянс по спасению цивилизации, Сингулярити Институт (SIAI), Future of Humanity Institute в Оксфорде. Большинство этих организаций базируются в США, бюджет их менее миллиона долларов у каждой, что очень мало, и финансируются они на частные пожертвования. Соответственно, результат их деятельности к настоящему моменту – только публикация статей и обсуждение вариантов. Кроме того, Сингулярити институт непосредственно занимается разработкой дружественного ИИ. Эти организации обмениваются информацией, ресурсами и сотрудниками. С другой стороны, практическое влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранными спецслужбами. Наилучшим примером воздействия общества на правителей является чтение правителями книг, хотя это и не всегда помогало. Президент Кеннеди избежал войны в ходе Карибского кризиса в значительной мере потому, что увлекался в этот момент книгой Барбары Такман «Август 1914» о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К. Сагана и Н. Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.

6) Не мешать системе самонастроиться. Возможно, что борьба между разными «спасителями мира» окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия – чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.

Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы страны мира целиком делегировали ей такие полномочия, что кажется гораздо менее вероятным. Позитивным и очень показательным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась весомой, общей и понятной.

21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания

Вполне материалистическим является предположение о бесконечности Вселенной. Если это так, то можно ожидать, что в ней возникают или уже существуют все возможные миры. В том числе в ней бесконечно много миров, населённых разумной жизнью, а значит, разум во Вселенной не исчезнет вместе с человеком. Более того, из этого следует, что даже в случае человеческого вымирания когда-нибудь и где-нибудь возникнет мир, почти не отличающийся от Земли, и в нём возникнут существа с тем же генетическим кодом, что и у людей. Из этого следует, что люди вообще никогда не смогут исчезнуть из Вселенной, как не может, например, исчезнуть из неё, число 137 (поскольку, грубо говоря, весь генокод человека можно представить в виде одного очень длинного числа). Среди физических теорий, предполагающих множественность миров, следует выделить концепцию Мультверса Эверетта (суть которой состоит в принятии той интерпретации квантовой механики, которая подразумевает разделение мира при каждой возможности выбора, а следовательно, бесконечное ветвление вариантов будущего), а также ряд других теорий (например, космологическую хаотическую инфляцию). Подробные доказательства актуальной бесконечности Вселенной см. в статье Макса Тегмарка «Параллельные Вселенные» [Тегмарк 2003]. Подробнее о философских приложениях теории космологической инфляции см. статью Кноба, Олума и Виленкина «Философские последствия инфляционной космологии» [Knobe, Olum, Vilenkin 2006].

Более сильным следствием из этих теорий является предположение о том, что реализуются все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. Впервые это отметил сам Эверетт, придя к выводу, что Мультиверс (то есть актуальная реальность всех возможных квантовых альтернатив) означает личное бессмертие для человека, поскольку, от какой бы он причины ни погиб, всегда найдётся вариант Вселенной, в котором он не погиб в этот момент. Известный физик М. Тегмарк проиллюстрировал эту идею мысленным экспериментом о квантовом самоубийстве [Tegmark 1998]. Затем эту идею развил Дж. Хигго в статье «Означает ли многомирная интерпретация квантовой механики бессмертие» [Higgo 1998]. В моих комментариях к переводу статьи Хигго я пишу, что истинность теории о Мультверсе не является необходимым условием для истинности теории о бессмертии, связанном с множественностью миров. Для истинности многомирного бессмертия достаточно только бесконечности Вселенной. То есть эта теория о многомирном бессмертии работает и для неквантовых конечных автоматов: для любого конечного существа в бесконечной Вселенной найдётся точно такое же существо, которое пройдёт точно такой же жизненный путь, за исключением того, что не умрёт в последний момент. Но это вовсе не означает прекрасного и приятного бессмертия, поскольку альтернативой смерти может быть тяжёлое ранение.

Точно такое же рассуждение можно применить и ко всей цивилизации. Всегда найдётся вариант будущего, в котором человеческая цивилизация не вымирает, и если все возможные варианты будущего существуют, то это означает бессмертие нашей цивилизации. Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.

Можно сделать исполнитель желания на многомирном бессмертии, делающий любой риск невозможным: в случае начала глобальной катастрофы «я» автоматически мгновенно уничтожаюсь. Поскольку у каждого это «я» своё, то уничтожать нужно каждого. Таким образом, катастрофа уничтожается с помощью катастрофы, прямо как в Теории Решения Изобретательских Задач Альтшуллера. Но я бы не рекомендовал такой способ.

Крупный американский физик-космолог Ли Смолин полагает[118] (согласно личному сообщению Данилы Медведева), что глобальная катастрофа невозможна, исходя из следующих рассуждений: В мультиверсе преобладают те вселенные, которые способны к саморепликации. Эта саморепликация происходит в чёрных дырах, причём в тех чёрных дырах, которые создаются цивилизациями. Таким образом, параметры вселенной подбираются так, чтобы цивилизации не могли самоуничтожиться. В результате все физические процессы, в которых цивилизация может самоуничтожиться, оказываются закрытыми или маловероятными. Мне это рассуждение не кажется убедительным, поскольку отбор может работать как в сторону вселенных с более живучими цивилизациями, так и в сторону вселенных с большим числом цивилизаций, точно также как и биологическая эволюция работает как в сторону более живучих потомков у одних видов (млекопитающие), так и в сторону большего числа потомков с меньшей живучестью (растения, например, одуванчик). Поскольку некоторые параметры развития цивилизаций крайне трудно отрегулировать базовыми законами природы (например, шансы начала ядерной войны или создания недружественного ИИ), но зато легко отрегулировать число возникающих цивилизаций, то мне кажется, что вселенные, если и реплицируются с помощью цивилизаций, то будут использовать стратегию одуванчиков, а не стратегию млекопитающих. Это же нам говорит и Теорема о конце света, поскольку множество цивилизаций-одуванчиков больше, и мы скорее всего в нём.

Однако всё же некоторое давление в стороны сохранения цивилизация может быть. А именно, если бы атомную бомбу было бы так просто создать как динамит (что зависит от количеству урана и его химических и ядерных свойств, то есть определено изначально базовыми законами вселенной), то тогда бы шансы на выживание среднестатистической цивилизации были бы меньше. Если гипотеза Смолина верна, то мы можем встретить непреодолимые трудности в создании нанороботов, микроэлектроники, необходимой для мощного ИИ, опасных экспериментов на ускорителях с стрейнджлетами (за исключением тех, которые ведут к созданию новых вселенных) и ряде других потенциально опасных направлениях развития технологий, которые зависят в своём успехе от базовых свойств вселенной, которые могут проявляться в особенностях ее химии.

Кроме того, отбор вселенных по Смолину ведёт к тому, что она должна как можно раньше в своём развитии создать чёрную дыру, приводящую к репликации вселенных, так как, чем позже это произойдёт, тем больше шансы на то, что цивилизация самоуничтожится до этого момента. Кроме того, цивилизация не обязана выживать в момент «репликации» (хотя это может быть полезно для отбора, если она создаст много чёрных дыр в ходе своего длительного существования.) Из этих двух моментов следует, что, возможно, мы недооцениваем риски адронного коллайдера в отношении создания чёрных дыр. Повторюсь: ранее создание чёрной дыры, уничтожающий материнскую цивилизацию, очень соответствует ситуации с адронным коллайдером. Коллайдер является крайне ранней возможностью для нас создать чёрную дыру, по сравнению с другой возможностью – стать сверх-цивилизацией и научиться соединять звёзды с тем, чтобы они коллапсировали в чёрные дыры. На это потребуется миллионы лет и шансы дожить до этой стадии гораздо меньше. Однако создание чёрной дыры в коллайдере с высокой вероятностью означает гибель нашей цивилизации (но не обязательно: она может расти крайне медленно в недрах Земли, например, миллионы лет, и мы успеем покинуть землю; это зависит от неизвестных нам физических условий.) При этом такая дыра должна обладать некой особенностью, отличающей ее от прочих дыр, возникающих в нашей вселенной, например, мощным магнитным полем (есть в коллайдере) или уникальной начальной массой (в коллайдере сталкиваются уникальные частицы, например, ионы золота).

Мы вовсе не обязаны участвовать в процессе репликации вселенных по Смолину, если он вообще происходит, особенно если это равносильно смерти материнской цивилизации. Если мы продолжим нашу жизнь без чёрных дыр, это никак не изменит суммарное число возникших вселенных, так как оно бесконечно.

21.19 Предположения о том, что мы живём в «Матрице»

Основы научного анализа этой проблемы заложены Ником Бостромом в его статье «Рассуждение о симуляции» [Bostrom 2003]. Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).

Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о многомирном бессмертии, а именно, то, что мы живём в матрице, вероятно только в том случае, если множество возможных симуляций очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, также как сожжение одного из экземпляров романа «Война и мир» не влияет на отношения персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что «самосознание» в симуляции вообще невозможно.)

Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, хотя бы для того, чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще будут встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где «главные герои не умирают», то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы. К вопросу о рассуждении о симуляции Бострома мы ещё вернёмся далее.

Отдельно следует задаться вопросом о том, живём ли мы в дорогостоящей подробной симуляции, или в дешёвой симуляции. Из тех же статистических соображений следует, что число дешёвых симуляций больше, и вероятнее, что мы находимся в одной из них. В дешёвых симуляциях более вероятны вирусы и глюки, которые могут принять форму катастроф для жителей.

Иногда высказываются надежды, что если человечество приблизится к грани самоуничтожения, то «добрые инопланетяне», которые будто бы давно за нами следят, нас спасут. Но на это не больше надежд, чем у ягнёнка, которого пожирают львы, – на то, что его спасут люди, снимающие об этом документальный фильм.

21.20 Глобальные катастрофы и устройство общества

Если глобальная катастрофа произойдёт, то она уничтожит любое общество. Поэтому устройство общества имеет значение только на фазе предотвращения рисков. Можно попытаться себе представить, хотя этот образ и будет весьма утопичным, какое общество лучше всего способно предотвращать глобальные катастрофы:

1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. Это общество должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения сразу бы обнаруживалось любое опасное (с точки зрения рисков глобальных катастроф) поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)

2. Это общество, которое нацелено на своё выживание в длительной исторической перспективе (десятки и сотни лет).

3. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь «высокий моральный уровень». (С учётом того, что даже небольшая группа террористов сможет нанести в будущем непоправимый ущерб, уровень поддержки должен быть близок к 100 %, что, конечно, на практике не реализуемо.)

4. Это общество, руководимое людьми (или системами ИИ), достаточно интеллектуально подготовленными, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают фундаментальное образование, дающее целостное и всеобъемлющее, а не поверхностное видение мира.

5. Это общество, в котором сведено к нулю число конфликтов, участники которых могут захотеть использовать оружие судного дня.

6. Это общество, могущее осуществлять полный жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам неким образом превращаться в инструмент создания риска.

7. Это общество должно быть готово быстро и эффективно принять достаточные для его предотвращения меры против любого глобального риска.

8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически это общество должно рассматривать своё выживание как главную задачу.

9. Это общество должно осознанно создавать новые технологии в выбранном им правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.

10. Это общество должно возникнуть без мировой войны, так как иначе риск в процессе его возникновения перевесит пользу от такого общества.

При этом я не обсуждаю модель подобного общества в терминах «демократическое», «рыночное», «коммунистическое», «тоталитарное» и др. – я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Но кажется очевидным, что современное общество стоит крайне далеко от всех этих параметров способного к выживанию общества:

1. На земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения, тем более в глобальном масштабе. Единые мировые институты, вроде ООН, переживают кризис.

2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть те, кто не против или даже стремятся к тотальному разрушению. Также внутри общества распространяются конкурирующие идеи-мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.

3. Исходя из действий многих руководителей современных государств, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. И это во многом происходит от того, что нет ясной и общепринятой картины рисков. Точнее – та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски – однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут и хотят дать ясное понимание рисков, уровень информационного шума таков, что услышать их невозможно.

4. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.

5. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют, – или, во всяком случае, такое впечатление создаётся (война в Ираке).

6. Пока человечество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно и чревато развязыванием ядерной войны.

7. По окончании эпохи «холодной» войны строительство бункеров относительно затормозилось.

8. Современное общество не рассматривает выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.

9. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, зачем и какие технологии развивает – даже относительно легко обнаруживаемых ядерных производств.

10. Хотя процесс договорного объединения активно идёт в Европе, остальная часть мира пока не готова, если это вообще возможно, мирно объединиться. Авторитет многих международных организаций, наоборот, снижается. (Однако, если где-то случится крупная, но не окончательная катастрофа, то возможно временное объединение в духе «антитеррористической коалиции».)

Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества – это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина в оценке вероятности начала войны с Германией. Или слепота древнекитайского общества в отношении военных перспектив пороха и информационных технологий – компаса и бумаги, которые там были изобретены.

21.21 Глобальные катастрофы и текущая ситуация в мире

С одной стороны, может показаться, что вращение политической жизни в современном мире постепенно сосредотачивается вокруг предотвращения отдалённых глобальных катастроф, возможными источниками которых считаются в первую очередь три: развёртывание ПРО, глобальное потепление и ядерная программа Ирана (и в меньшей мере ряд других, например, противоастероидная защита, энергетическая безопасность и др. Кроме того, поведение глав государств во время финансового кризиса осенью 2008 года так же может служить определённой моделью реагирования земной цивилизации на будущие глобальные катастрофы. В начале было глухое отрицание и приукрашивание фактов. В течение недели ситуация переменилась, и те, кто говорил, что кризис невозможен, стали кричать о неизбежности ужасной катастрофы, если им срочно не выделят 700 миллиардов долларов – план Паулсона. При этом стали проводиться интенсивные международные встречи, Саркози выдвигал невероятные инициативы, и все демонстрировали согласие в том, что надо что-то делать, хотя не очень понятно, что. При этом похоже, что полная модель происходящих событий была не доступна лицам, принимающим решения.) Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что хотя эти две проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежищ. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.

Можно обсуждать две темы: почему выбран именно этот список катастроф (Иран, ПРО и потепление), и как общество обращается с тем списком рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе «а будет ли мальчик?» Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении, и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез.

21.22 Мир после глобальной катастрофы

Как бы ни была масштабна глобальная катастрофа, ясно, что вся вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.

В соответствии с положениями синергетики, критическая точка означает, что существует конечное число сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:

1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили бы.

2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант – отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.

3. «Серая слизь». Уцелела некая примитивная «некросфера» (термин С. Лема из романа «Непобедимый») из нанороботов. В ней может произойти своя эволюция. Вариант – уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.

4. «Постапокалиптический мир». Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям – к новой технологической цивилизации или к окончательному вымиранию.

5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом – внимание! – с точки зрения людей это может выглядеть как мир всеобщего изобилия: каждый получит неограниченную жизнь и виртуальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс – автономизации государства от человека и снижения роли людей в нём – уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком – во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.

6. Позитивный исход – см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу виртуальных развлечений и удовольствий. Разница эта – как между сном о любви и настоящей любовью.

Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.

21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф

Жанр требует «хэппи энда». Если бы глобальная катастрофа была абсолютно неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы – это устроить «пир перед чумой». Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.

Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, которое обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать «Дружественный» ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.

И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний – крайне желательным:

1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.

2) При этом эти знания и возможности управления не будут порождать новых рисков.

3) Эта система возникает мирно и безболезненно для всех людей.

Поиск по сайту: