АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

ЯО и климат

Читайте также:
  1. IV. Требования к микроклимату, содержанию аэроионов и вредных химических веществ в воздухе на рабочих местах, оборудованных ПЭВМ
  2. АНАЛИЗ КЛИМАТИЧЕСКОЙ КАРТЫ И КАРТЫ ПРИРОДНЫХ ЗОН
  3. Б) программу «Глобальные изменения природной среды и климата»
  4. Влияние лидера на психологический климат предприятия
  5. Влияние на организм неблагоприятного производственного микроклимата и меры профилактики
  6. Влияние на русскую историю природно-климатического, геополитического, религиозного и социального факторов.
  7. Влияние отклонения параметров производственного микроклимата от нормативных значений на производительность труда и состояния здоровья, профессиональные заболевания.
  8. ВЛИЯНИЕ ПАРАМЕТРА МИКРОКЛИМАТА НА ОРГАНИЗМ ЧЕЛОВЕКА
  9. Влияние параметров микроклимата на самочувствие человека
  10. Вопрос 4: Микроклимат и теплообмен человека с окружающей средой.
  11. Геоклиматические факторы
  12. Гигиеническое нормирование параметров микроклимата производственных помещений

1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о «ядерной зиме» в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.

2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.

3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).

18.3 Изучение глобальных катастроф с помощью моделей и аналогий

Глобальная катастрофа технологической цивилизации, ведущая к человеческому вымиранию – уникальное явление, которого никогда не было в истории, что затрудняет её исследование. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это:

· Вымирание динозавров

· Вымирание неандертальцев

· Крах Римской империи

· Распад СССР

· Кризис на острове Пасхи

· Крах индейских цивилизаций Америки после открытия её Колумбом

· Взрыв в Чернобыле

· Гибель «Титаника»

· Взрыв сверхновой звезды

· Возникновение человечества с точки зрения биосферы

· Начало Первой Мировой войны

· Рак как болезнь.

Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии. По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину – но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем более различимо множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. Про каждую из этих катастроф написаны книги, и разброс мнений значителен, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу «Коллапс» Даймонда [Diamond 2004]. О вымирании динозавров стоит посмотреть соответствующую главу в книге К. Еськова «История Земли и жизни на ней» [Еськов 2004].



Общим во всех этих случаях является то, что присутствовал сложный комплекс причин как внешнего, так и внутреннего характера. Именно комплексность этих причин создаёт проблемы, в тех случаях, когда мы пытаемся ответить на вопросы в духе «Почему распалась Римская империя?» И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.

Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины – астероида, а от самого их определяющего свойства – что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Астероид был только поводом, открывшим окно уязвимости, и более устойчивые виды пережили его, например, крокодилы. Человек заболевает раком, не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они – к Колумбу.)

‡агрузка...

Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней могут случиться, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, – задаёт наиболее типичную катастрофу для него – падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.

Итак, исходя из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, «размазаны» по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны «определяющие свойства систем» и связанные с ними системные кризисы. Особенность системного кризиса состоит ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные «средства доставки».

С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это произошло «поздно», а не «рано».

Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по самой логике этого процесса, падение астероида и извержения вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было, то система могла бы и не перейти в другое русло своего развития.

В-третьих, во всех случаях, когда речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. Т.е. совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным «случайным» совпадением большого числа разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.

Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Можно вспомнить о ядерных реакторах, космических кораблях «Шаттл», сверхзвуковых «Конкордах». Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была, что называется, на грани. Представляется продуктивным дальнейшее изучение аналогов и моделей глобальных катастроф на совокупности примеров.

18.4 Неизбежность достижения устойчивого состояния

Можно сформулировать следующее правдоподобное высказывание: скорее всего, скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала. Это произойдёт в следующих случаях:

1) мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.

2) мы найдём способ контролировать все риски.

3) катастрофа всё-таки произойдёт, и гибнуть больше будет некому.

4) мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет христиане ждали Конца Света, и даже радовались его близости).

Однако, пока мы наблюдаем противоположное явление – возможности людей по созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы, постоянно растёт. Причём растёт быстрее, чем население и средства защиты. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн. Мы увидим, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 1960-70 годам реально можно было уничтожить сотни миллионов людей (в реальной войне погибло бы не всё население Земли, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей – что сопоставимо с ожидаемым на этот момент общим количеством населения Земли. Эта цифра близка к ожидаемой технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.

Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения окажутся более мощными, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временнóго фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения. И только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.

18.5 Рекуррентные риски

Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 %, мы потеряем до половины населения земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется – вероятнее всего – только один человек. Если их будут тысячи, то гарантированно не выживет никто, даже если летальность каждого отдельного вируса будет только 10-20 % (при условии что все эти вирусы распространятся по всей планете, а не осядут в ареалах). То же самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.

Разумеется, надо учесть способность человечества приспособиться к какой-то одной угрозе. Например, можно преуспеть в противостоянии абсолютно всем биологическим угрозам – если это будет единственный класс угроз. Однако возможности создания универсальной защиты от глобальных рисков ограничены. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.

Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример «предвзятости мышления, обусловленного хорошей историей».)

18.6 Глобальные риски и проблема темпа их нарастания

Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над другими опасными технологиями, но создаст такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни – и создать новые.

В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути дальнейшего развития цивилизации технологического типа. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь – проблемы исчерпанности тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.

Раньше с человечеством происходило множество всех возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся, по-видимому, в ситуации появления реальной исторической альтернативы – если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.

Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: «революция определяется темпом» [Солженицын 1983].) Темп этот будет в случае глобального риска ошеломительным, потому что люди не могут успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы кризис и крах советской системы казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.

При этом под шоковым восприятием системного кризиса следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме «шока будущего». И соответственно вызывать неправильную на них реакцию, ещё более их усиливающую (Пример чему – недавние ошибки американских властей, допустивших банкротство банка «Леманн Бразерс», что привело к несравнимо большему финансовому ущербу, чем если бы банк был спасён[102].) Конечно, некоторые сразу поймут суть происходящего, но ошеломлённость означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса «Кассандр» не будут услышаны – или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.

18.7 Сравнительная сила разных опасных технологий

Далее, мы можем составить список «силы» разрушительного воздействия технологий, в которой каждая следующая технология даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.

2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирания – годы и десятилетия.

3. Биотехнологии – годы или десятки лет.

4. Нанороботы – от нескольких дней до нескольких лет.

5. Искусственный интеллект – от часов до нескольких лет

6. Взрыв на ускорителе – со скоростью света.

Важно отметить, что быстрые процессы «побеждают» медленные. Соответственно, сценарии глобальной катастрофы будут с гораздо большей вероятностью переходить с первых позиций этого списка на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии будет позволять минимизировать последствия катастрофы от более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

18.8 Последовательность возникновения различных технологий во времени

Приведённый выше список «силы» технологий в целом похож на ожидаемую временнýю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные и потенциально разрушительные технологии, но на самом деле не обязательно соответствует этой последовательности.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии сказываются на других, для нас моментом созревания технологии является тот момент, когда с её помощью становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение. Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, он может оказаться сильнее меча. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидается следующая последовательность созревания технологий: био – нано – ИИ. Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать время, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть, нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – уж он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий –на пути создания синтетических организмов.

18.9 Сопоставление различных технологических рисков

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применением (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс на то, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.

Обобщая, можно сделать вывод, что биотехнологии получают самые высокие баллы по этой шкале – эти технологии наверняка возможны, вредоносное их применение почти неизбежно и по времени они весьма близки к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, – благодаря прогрессу в создании ИИ или биотехнологий, – они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать, и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ, будучи «двухсторонним джокером», может и предотвратить любые другие риски, и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение Ии связано с возможным плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и раннее возникновение, скорее, связано с внезапным изобретением в некоей лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут Ии, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу.

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода».

Чем быстрее ускоряется развитие технологий, чем больше скорости обмена, тем быстрее становятся все процессы внутри человеческой цивилизации, в том числе тем быстрее работают все виртуальные симуляции реальности. Это означает, что за год объективного времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого, вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас люди из «золотого миллиарда» в целом поспевают за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. Трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (хотя японцы приучены менять сотовые телефоны и одежду каждые три месяца), правда экономическое давление очень велико и создаёт социальное давление – например, рекламный образ нового, ещё более крутого телефона. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.

18.10 Цели создания оружия судного дня

Опасный фактор глобальной катастрофы может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)

Часто в дискуссиях возникает мнение, что никто не захочет реализовывать некий дьявольский план, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход – рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят «конца света». Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу «всё или ничего», например, создав «машину судного дня» и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст «машину судного дня» с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые потенциально могут стремиться к уничтожению человечества.

1) эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные предположения о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как «обряд очищения». При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно прекратит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Более того, уничтожив мир, наша секта выполнит волю бога. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в ней. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправиться со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп с эсхатологическим мировоззрением, от христианских до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света, – свидетели Иеговы и мормоны.)

2) радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement[103] – они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) такие группы считают благом мир природы и животных и полагают человечество – не без оснований – раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев – «веганов», для которых жизнь животных не менее (а под час и более) важна, чем человеческая.

3) нео-луддиты. Например, террорист Унабомбер (Теодор Качинский), который считал единственным выходом для цивилизации – остановку технологического прогресса и возвращение к природе, и рассылал по почте бомбы ведущим учёным-кибернетикам. Три человека погибли и многие были ранены в результате его действий. Сейчас он отбывает срок в американской тюрьме.

4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошёл с ума, сконцентрировавшись на идее отомстить миру или Богу.

5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного «самоубийства» (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).

6) «геростраты». Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя «великим человеком». Фактически, это будет извращённое проявление стремления к власти.

7) шантажисты, создавшие «машину судного дня». Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их «машина» может находиться в любом месте.

8) Универсальное оборонительное оружие последнего выбора. Вместо того чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция «взаимного гарантированного уничтожения», ради которой созданы стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем – а ведь правители тоже пока люди. Тем более что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее «глобального шантажа».

9) рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.

10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.

11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.

12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: «Чтобы спасти их, нам пришлось их уничтожить».

13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем желать, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.

14) Шизофреники, охваченные навязчивыми идеями. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Шизофреники часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться – одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть «заразной» в виде религиозных сект, тиражирующих некие бредовые идеи.

15) Борцы за мир. В истории неоднократно сверхоружие создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит, с этой же идеей была придумана кобальтовая бомба.

16) Дети. Уже сейчас хакеры подросткового возраста стали одним из основных источников разрушительной активности в Интернете. При этом их интеллекта достаточно, чтобы освоить какую-то одну отрасль знания и написать вирус или сделать «бомбочку», но не достаточно ещё, чтобы осознать всю полноту последствий своих действий, и свою ответственность за них.

17) Перверсия сексуальной модели поведения человека, побуждающая его распространять «себя» экзотическими способами. В главе «Опасности молекулярного производства» отчёта Центра ответственных нанотехнологий мы можем прочесть: «Другим возможным источником серой слизи могут быть безответственные любители, для которых это будет хобби. Люди определённого психологического типа, по-видимому, не могут избежать искушения возможностью создавать и выпускать на волю самореплицирующиеся образования, что нам доказывает большое количество существующих компьютерных вирусов» [CRN 2003].

18) Спецслужбы и антитеррористические организации, стремящиеся повысить своё влияние в обществе. 29 июля 2008 года покончил с собой основной подозреваемый в осуществлении атак сибирской язвой в США осенью 2001 года Брюс Айвинс (Bruce Ivins). В течение 36 лет до этого он был одним из главных специалистов по биозащите и вакцинации от сибирской язвы в США. Он был женат, усыновил двоих детей, написал 44 статьи, играл на синтезаторе в местной церкви. В результате бактериологической атаки 2001 года был нанесён ущерб более, чем на миллиард долларов, а на средства биозащиты было выделено порядка 50 миллиардов долларов[104]. В том числе планировалась (но не состоялась) закупка разработанной Айвинсом вакцины от сибирской язвы на 800 млн. долларов, из которых он должен был получить десятки тысяч долларов роялти. В результате атаки и принятых мер, число людей, работающих по программам биозащиты и имеющих доступ к опасным препаратам, возросло в десятки раз, а значит, возросли и шансы на то, что среди них опять найдётся кто-то, кто совершит новую атаку. (Впрочем, есть и убедительные альтернативные теории о том, кто был организатором атаки[105].)

Человеком всегда движет несколько побуждений, только часть из которых осознается и вполне рациональна. Я не исключаю, что часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение – то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, «волну-убийцу».

18.11 Социальные группы, готовые рискнуть судьбой планеты

Вероятно, надо отдельно выделить список социальных групп и организаций, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган объявил «Крестовый поход» против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.

1) мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные «атаковать под угрозой утраты преимущества», или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьбы за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.

2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.

3) Различные национальные, экономические, политические силы, которые не получают «своей доли» в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.

4) Можно назвать также разных сторонников «поэзии апокалипсиса», любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно – а иногда и сознательно – они этого и хотят.

5) Люди, живущие по принципу «после нас хоть потоп», то есть не то, что бы желающие глобальной катастрофы прямо, а предпочитающие действия, которые приносят благо в краткосрочной перспективе, но несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека, и сильнее всего проявляющимся в периоды риска и старости. (Модель поведения: седина в бороду – бес в ребро.)

6). Отдельно можно выделить всё то непонимание природы и вероятности глобальных катастроф, которое мы будем обсуждать во второй части книги.

Рост безработицы в связи с автоматизацией производства приведёт к тому, что всё большее число людей пойдут «в политику» и в результате возрастёт число потенциальных террористов. Этому же будет способствовать рост образования и доступности знаний через системы удалённого обучения, а также применение ноотропиков, реально повышающих IQ и способности к обучению. Грубо говоря, миллион крестьян в далёкой полупустыне – это не тоже самое, что миллион умных, но недовольных инженеров с мощными средствами связи.

18.12 Обобщающий коэффициент, связанный с человеческим фактором

Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей. Мы также не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим (далее идут чисто предположительные оценки, с точностью до порядка), этот коэффициент может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять единственный случай расстрела парламента в Цуге – одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) – 1/250 миллионную. При уровне самоубийств в 1 процент этот коэффициент в пересчёте на человека на день будет равен примерно одной миллионной. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное spyware могут производить и большее число людей).

Мы видим, что при разных условиях k в пересчёте на один «проект» на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная.

Не следует думать, что если мы раздадим ключи от запуска ракет нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно [Blair 1993]. То есть системы запуска можно обойти хитростью.

Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных или неадекватных решений. Оно не обязательно означает, что человек вдруг нажмёт «красную кнопку». В случае паранойи это может быть обосновано совокупностью весьма логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованные действия, чтобы защитится от мнимых угроз. «Сумасшествие» может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.

Сэр Мартин Рис отмечает [Rees 2003] следующее противоречие: в будущем станет возможно управлять поведением, и даже характером людей и их личностью с помощью высокоточных лекарств, генетических манипуляций и прочих воздействий, делая людей всё более нормальными и безопасными. Однако это будет снижать естественное разнообразие человеческого поведения, убивая человеческое в человеке.

Вывод: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.

18.13 Принятие решения о ядерном ударе

Важным является вопрос, может ли сумасшествие одного человека привести к «нажатию красной кнопки». Этот вопрос относительно изучен в отношении применения ядерного оружия, но аналогичным образом он будет возникать при появлении любых других видов опасного оружия, технологий и машин судного дня. При этом важно знать, в чьих руках находится «красная кнопка» – только ли высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.

Существует следующее противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренного запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар. Реальные системы, устройство которых – в настоящий момент – является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 00000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.

Вряд ли может возникнуть ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, никак не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.

Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция тоже создаётся людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор также не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается, и становятся возможными решения, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком С. Е. Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили южнокорейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту тревогу ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который оказался в этой смене случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.

18.14 Цена вопроса

Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются, – и сравнив их с общем количеством доступных ресурсов. Если для «конца света» нужно Х тонн некоего вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле «адскую машинку» захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ, но вряд ли бы они могли создать сами такой арсенал ракет.

Понятно, что важен также фактор времени. Если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.

Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют для своей реализации многих лет. В то же время тысячи биолабораторий в мире могут работать над генетически модифицированными вирусами, и проекты эти могут быть реализованы гораздо быстрее. По мере накопления знаний и стандартизации оборудования, это число растёт, а время на разработку сокращается. Для создания опасного вируса требуется сейчас бюджет от тысяч до миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехнологиях падает гораздо быстрее, так как не требует больших капитальных вложений и скорее зависит от доступности информации.

Можно ввести фактор риска A, прямо пропорциональный количеству L мест на Земле, где опасный проект может осуществляться и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 %.

Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент – 1000/1=1000. При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать. Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k («доля сумасшедших») из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний – например, я читал в мемуарах, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева – то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)

Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии. Благодаря этому число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день.

Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства. Далее, надо учесть вероятностный фактор в отношении того, сработает ли (в смысле достижения полного вымирания) данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой – только 0,60. Можно условно считать, что мы нормируем все проекты «конца света» на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут создать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)

Немаловажный вопрос – каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза – крупные террористические организации, потом небольшие группы и отдельные люди.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 |


При использовании материала, поставите ссылку на Студалл.Орг (0.032 сек.)