Раскол футурологии на разные независимые друг от друга дисциплины

Есть несколько направлений мышлений о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах:

· Прогнозы наступления «Сингулярности». суперкомпьютеры, биотехнологии, и нанороботы.

· Прогнозы системных кризисов в экономике, геополитике и войнах.

· Прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении.

Особый тип прогнозов – большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля Земли, а также религиозные сценарии и фантастические произведения.

37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»). Глобальная катастрофа может наступить в результате цепочки событий, масштаб которых нарастает по мере их возникновения, однако первое из этих событий может приглушить для нас восприятие последующих рисков. Причинами этого могут быть:

1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, оценивая ущерб, и попадает под другую машину.

2) Влияние состояния аффекта.

3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.

4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может запуститься в самый неожиданный момент.

5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, при неправильном лечении грипп чреват воспалением лёгких.

6) Непонимание того, что обе аварии могут быть вызваны некой общей причиной. например, в доме что-то обваливается, человек идёт посмотреть, что происходит, и попадает под новый обвал.

7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. Например, у человека, стремившегося выйти из больницы пораньше, расходятся швы.

38. Эффект избирательности внимания. Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушится и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Замечая трещины в фундаменте, мы говорим себе: "Так! оно же вот-вот рухнет", и начинаем искать другие трещины. разумеется, мы их находим, и нам нетрудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.

Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её неустойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит также к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, перед станцией предупреждения о цунами на Гавайях перед приходом небольшой волны встала дилемма: если предупредить население о риске цунами, то в следующий раз предупреждению не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба оповещения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов, что привело к большим жертвам.

39. Подсознательное желание катастрофы. Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа всё-таки случилась. Это подталкивает его или придать большее значение предвестникам катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения».

40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса. Этот тип поведения можно определить как «синдром Скарамеллы», – в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко отреагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски умалчиваются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в притче о мальчике, который в шутку кричал «Волки, волки!». Когда же волки пришли на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и они начинают трактоваться в контексте пиара и деления денег.

41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа. Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев фильм-катастрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, и даже как нечто приятное и желанное.

42. Логическая ошибка генерализации на основании художественного вымысла. Описана у Бострома [Bostrom 2001]как « искажение в духе «хорошей истории». Регулярное потребление развлекательных произведений – фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, – и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, а затем рассматриваются возможные последствия этого. Другая форма ошибки заключается в том, что противники создаются равными по силе. Третья – в том, что нормой завершения истории считается «хэппи-энд». Однако в деле предотвращения глобальных рисков не может быть никакого конца вообще – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.

43. идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества. Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». У любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. У любой организации есть конкурент. Внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели. В результате возможна борьба спасителей человечества между собой.

44. Секретность как источник ошибок в управлении рисками. Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и, в итоге, могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их значение для предотвращения последующих катастроф, потому что этих результатов почти никто не знает.

45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии. Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, «тяжёлые хвосты», то именно странные идеи могут быть полезными. Корни критической настройки могут быть, например в том, что критикующий начинает претендовать на более высокий социальный статус.

46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически. Однако единственный реальный критерий безопасности – практика. Десятки лет безотказной работы – лучший показатель. История знает массу примеров, когда приборы или проекты, теоретически имевшие высокую безопасность, рушились из-за непредусмотренных сценариев развития событий. Например, падение самолёта «Конкорд» в Париже, вызванное фрагментом шасси другого самолёта на взлётно-посадочной полосе. Герой фильма Стивена Спилберга «Парк Юрского периода» хорошо сказал об этом: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».

47. Недооценка человеческого фактора. От 50 до 80 % катастроф происходят в результате ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё более значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую «защиту от дурака» и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут воплощать его в жизнь.

48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. Сами проверки вносят некоторое число новых ошибок, и, в силу этого, на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок, – то есть, если человек делает одну ошибку на 1000, то, сколько бы он ни проверял себя, он не создаст безошибочный «код» длиною более 1 000 000.)

49. Статистика как источник возможных ошибок. В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций. Это связано с тем, что статистика является не описанием однократно свершившихся фактов, а обобщением множества фактов при помощи описаний. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего показателя, со степенью округления, с интерпретацией полученных результатов и способами их зрительного представления для других людей.

50. Ошибка, связанная со склонностью людей большее значение придавать широко известным или легко запоминающимся фактам. Все помнят, какого числа на Хиросиму сбросили атомную бомбу, но мало кто знает, где и когда впервые зафиксирован грипп «испанка», унёсший в 100 раз больше жизней (по одной из версий - 8 марта 1918 г., около Канзас-Сити, США). В результате одни риски переоцениваются, и уже в силу этого другие риски остаются без внимания. Юдковски в своей статье об оценке рисков [Yudkowsky 2008b] называет это когнитивным искажением, связанным со степенью доступности информации.

51. Двойная ошибка. Многие перечисленные источники ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может сказаться дважды.

52. Анализ глобальных рисков не есть создание прогнозов. Прогноз содержит конкретные данные о времени и месте события. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций от властей. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Поэтому некоторые люди дают очень много прогнозов, надеясь, что хоть один из них попадёт в цель и даст возможность прославиться. Анализ рисков, к примеру, в авиации требует усовершенствования разных механизмов самолёта, а прогноз авиакатастрофы предполагает, что люди откажутся от рейса в данный день.

53. Иллюзия знания задним числом. Иногда люди, говоря «Я знал это с самого начала», переоценивают свои прогностические способности, и ожидают подобных догадок от других. В отношении глобальных рисков у нас, естественно, не может быть никакого знания задним числом. А в отношении многих других, обычных, рисков оно есть. Это приводит к тому, что нам кажется, будто глобальные риски так же легко оценить. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье об ошибках Юдковски [Yudkowsky 2008b], который называет эту систематическую ошибку «hindsight bias».

54. Эффект настройки на источники информации. Читая литературу, человек может стать проводником идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В результате он становится невосприимчивым к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает информационную «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию проявляться в нём особенно ярко.

55. Принятие малого процесса за начало большой катастрофы. Например, изменение курса доллара на несколько процентов может восприниматься как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям в духе: «ну вот, я же говорил!», – что затем, когда выясняется незначительность изменений, подрывает веру, в первую очередь, свою собственную, в возможность катастрофы и её предвидения.

56. более простое объяснение катастрофы подменяет более сложное. На выяснение более сложного варианта уходят годы анализа, например, так часто бывает при анализе авиакатастроф. (Не говоря о том, что участники анализа стремятся немедленно подтасовать факты, если эти факты означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем позже будет найдено точное определение причин аварии, тем дальше отодвигается возможность защиты от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.

57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования. Действительно, подобная форма саморекламы распространена, особенно среди представителей псевдонауки, что приводит к аллергии на такого рода заявления. Даже если 99,9 % людей, придумывающих разные апокалиптические сценарии, явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука. Иначе говоря, суммарные расходы на проверку почти наверняка ложных идей меньше, чем возможный ущерб от того, что хотя бы одна из них окажется верной.

58. Стремление людей установить некий приемлемый для них уровень риска. У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что в целом сглаживает эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то, установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), человек не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30 % шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.

59. Эффект «сверхуверенности молодого профессионала». Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии. Человечество в целом, возможно, находится на такой стадии по отношению к сверхтехнологиям. (Хотя на ядерных технологиях уже хорошо обожглись в чернобыле.)

60. Ощущение неуязвимости у выживших. Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции. Его можно наблюдать в случае с отвоевавшими определённый срок без ранений солдатами, когда они начинают чувствовать свою «неуязвимость», и всё более и более повышает свою норму риска. То же самое может происходить и с цивилизацией, – чем дольше не реализуются угрозы атомной войны, тем в большей мере кажется, что она вообще невозможна, а значит можно проводить более рискованную политику.

61. Переоценка собственных профессиональных навыков. Поскольку глобальные риски охватывают все сферы знаний – от биологии до астрофизики и от психологии до политики, – то, чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это мешает ему проконсультироваться по существенным вопросам у специалистов. Стереотип «спасителя мира» как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад в общее дело. В равной мере и представление об ордене «джедаев», тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.

62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращению максимально возможной. Например, в Йеллоустоунском национальном парке так успешно предотвращали пожары в течение многих лет, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно. Юдковски [Yudkowsky 2008b] приводит пример со строительством дамб на одной реке в США, в результате которого количество наводнений уменьшилось, а ущерб от каждого отдельного наводнения увеличился, и в сумме ежегодный ущерб оказался выше, чем до строительства. Это было связано с тем, что после строительства дамб люди чувствовали себя увереннее, и возводили более дорогие постройки на более низко расположенных землях, поэтому, когда наводнение всё же случалось, оно наносило больший ущерб.

63. Усталость исследователя. Энтузиазм отдельных людей нарастает волнами. В силу этого человек, который, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более, что работа исследователя глобальных рисков неблагодарна – он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красавицы. Не будем забывать, что Черчилль проиграл выборы сразу после войны, хотя верил, что заслужил переизбрания. Чтобы избежать эффекта «перегорания», на американском флоте во время второй мировой войны применяли регулярную ротацию высшего состава – одна смена воевала, а другая отдыхала на берегу. Юдковски [Yudkowsky 2008b] по этому поводу пишет: мы никогда не слышали о героических превентивных мерах.

64. Страх исследователей перед потерей социального статуса. Существует ряд тем, интерес к которым нашим обществом воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие «экологические ниши») второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их работ. Клеймлению подвергнуты темы телепатии и прочей парапсихологии, НЛО, а также сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО было истинно и необъяснимо, то это потребовало бы переделки всей имеющейся картины мира, и не могло бы не влиять на вопросы безопасности (военные воспринимают подобные сообщения гораздо серьёзнее, чем учёные). Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с ним и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, неясно, в какой мере можно доверять людям, говорящим от имени исследователей необъяснимых явлений. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей – особенно в том случае, если высшее руководство страны ничего не знает о ней. (Характерен пример с канцлером Германии А. Меркель, которой отказывались говорить, что за люди ходят по резиденции, пока она категорически не потребовала объяснений,– это оказались сотрудники службы безопасности.)

65. Количество внимания, которое общество может уделить рискам, ограничено. Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которое можно потратить на анализ более опасных рисков. Кроме того, оно создаёт ложную успокоенность у отдельно взятого человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.

66. Пренебрежение экономикой. Такие выражения, как «деньги – это только бумажки», или «банковские вклады – это только нолики в компьютерах» могут быть отражением широко распространённого мнения, что крах экономики не так важен, как, скажем, война или некие более зрелищные катастрофы. Однако экономика – это материальное воплощение структурности всей человеческой деятельности. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза больший, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.

Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф (в сравнении с глобальными) могут иметь огромное стоимостное выражение. Теракты 11 сентября 2001 г. нанесли ущерб американской экономике в 100 млрд. долларов, и возможно, ущерб будет гораздо больше, если учесть потенциальные потери от политики снижения процентных ставок (пузырь на рынке недвижимости), а также триллионы долларов, потраченных на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой отправленных в США террористами в 2001 г. нанесли ущерб в 1 миллиард долларов.

Итак, даже небольшие аварии могут наносить огромный ущерб и приводить к утрате стабильности экономики, а крах экономики сделает систему менее устойчивой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.

По мере глобализации экономики, всё больше возрастает опасность глобального системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, однако это может запустить «эффект домино».

67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит. Одна из версий крушения Римской империи – деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что, по одной из теорий, может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение «морального духа», например, войска – со способностью молекул некого вещества образовывать единый кристалл (подробно на эту тему рассуждал Лев Толстой в «Войне и мире»).

С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.

Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые в рамках своей стратегии действуют долгосрочно и эффективно. Или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных определений этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как человек, лишённый морали, будет безопасен, так как будет коротать свой срок в тюрьме, например, за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.

68. Ошибка, связанная со стремлением доказывать идею, вместо того, чтобы проверять её на истинность. Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. Юдковский [Yudkowsky 2008b] пишет об этом в связи с систематической ошибкой, связанной со степенью доступности информации. Чем более очевидна идея, тем легче превратить её яркий агитационный фильм. Например, легче устраивать шумиху вокруг угрозы от глобального потепления, чем от Искусственного интеллекта, потому что последняя незрима. Кроме того, человеку свойственно вовлекаться в процесс доказывания идеи массам, что приводит к отождествлению исследователя с этой идеей, стремлению сделать её проще и доступнее.

69. Склонность людей без раздумий предлагать «простые» и «очевидные» решения в сложных ситуациях. А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно «передумать». Здесь можно вспомнить закон Мёрфи: «Любая сложная проблема имеет простое, очевидное и неправильное решение». Юдковски [Yudkowsky 2008b] подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это якобы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.

70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. Юдковски [Yudkowsky 2008b] пишет об этой проблеме, честно признавая, что не видит никакого её решения: «И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если де-факто нормой политики становится то, что ни одно возможное вычисление не способно перевесить груз однажды сделанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения».

71. Ошибка, связанная с неправильной корреляцией силы и безопасности. Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие – то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, чем больше его влияние на мир, – тем оно опаснее, тем больше способов направить его на разрушение. «Анализ, основанный на недостаточной информации, преподносит эмоциональную оценку технологий, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск», – пишет Юдковски [Yudkowsky 2008b]. Понятно так же, что новые технологии сильнее старых технологий, – иначе бы не было коммерческого смысла их создавать.

72. Преждевременные инвестиции. Если бы в середине XIX века люди поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США вовсю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как «Пчела» – автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в БПЛА именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после – уже поздно.

73. Склонность людей смешивать свои ожидания вероятного и наилучшего исходов. «Реальность, как оказалось, зачастую выдаёт результаты, худшие, чем самый плохой ожидаемый исход», – пишет Юдковски [Yudkowsky 2008b], приводя в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее (в смысле самое позднее) время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай. Даже ясное предупреждение о том, что людям свойственно совершать такую ошибку в оценке не привело к тому, что испытуемые правильно скорректировали свои ожидания. Даже я сам, невзирая на то, что перевёл вышеупомянутую статью и хорошо знал о необходимости поправки, всё равно пал жертвой этой ошибки, оценивая ожидаемые сроки выхода данной книги в печать.

74. Апатия прохожего. Глобальные риски не попадают под личную ответственность кого бы то ни было, поэтому весьма соблазнительно рассуждать в духе «раз никто ничего не делает в связи с происходящим, почему я должен?». Более того, подобный тип поведения возникает бессознательно, просто как стадный рефлекс. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, как правило, никто не стремится помочь. Но если человек, идя по лесу в одиночестве, увидит на тропинке лежащего, он, скорее всего, остановится и предложит помощь. Юдковски [Yudkowsky 2008b] определяет эту модель поведения как важный фактор возможной недооценки глобальных рисков.

75. Потребность в завершении. Эта концепция когнитивной психологии, обозначает стремление человека как можно скорее найти ответ на беспокоящий вопрос («need for closure» – так её называет Круглански [Kruglanski 1989]). Это стремление приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго – не стоит забывать, что мы ограничены во времени! – нам стоит хорошо подумать перед тем, как прийти к каким-то выводам.

76. Влияние авторитета и социальное давление группы. Этот вопрос подробно рассматривается в книге «Человек и ситуация» [Росс, Нисбетт 1999]. В частности, хорошо известны эксперименты Милграма, где одну группу испытуемых принуждали воздействовать на другую электрическим током со всё большим напряжением (на самом деле вторая группа состояла из «подсадных уток», и ни какого тока на самом деле не подавалось), чтобы те «учились», и при этом испытуемые доходили до смертельно опасного предела, – напряжения в 400 вольт, невзирая на то, что «жертвы» просили и умоляли о прекращении испытания. Несмотря на то, что сначала люди из первой группы были уверены, что они не стали бы это делать, в реальных опытах 66 % испытуемых повели себя именно так. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор.

77. Разрыв между обзорными и точечными исследованиями, между «деревом и лесом». Обзорные исследования могут предлагать системные сценарии глобальной катастрофы или обсуждать последствия некоторых новых открытий, но не могут сказать, как именно сделать нечто опасное. Наоборот, прикладные исследования могут дать точную оценку рисков, скажем, отдельного астероида, но не суммарную оценку рисков ото всех причин. Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать, то есть идёт движение от заявленной цели к разным вариантам её воплощения. И есть уровень конкретных исследований свойств отдельных материалов. С точки зрения представителей первого направления прикладники «за деревом не видят леса», с точки зрения прикладников – первые «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.

Поиск по сайту: