Риски, связанные с размыванием границ между человеческим и нечеловеческим

Мощные процессы генетической модификации людей, протезирования частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно. В какой мере мы можем считать человеком существо, которому добавлено несколько генов, а несколько убрано? Готовы ли мы признать статус человека за любым разумным существом, возникшим на Земле, даже если оно не имеет ничего общего с человеком, себя человеком не считает и настроено к людям враждебно? Эти вопросы перестают быть чисто теоретическими в XXI веке.

Суть проблемы в том, что усовершенствование человека может идти разными путями, и не факт, что эти пути будут конвергироваться. Например, усовершенствование человека за счёт генных манипуляций даёт один путь, за счёт постепенной замены частей тела механизмами – другой, и за счёт полной пересадки сознания в компьютер – третий. Различны могут быть и заявляемые цели усовершенствования. И значительные группы людей наотрез откажутся от каких-либо усовершенствований.

5.4 Риски, связанные с проблемой «философского зомби» [24]

«Философским зомби» называется (термин введён Д. Чалмерсом в 1996 г. в связи с дискуссиями об искусственном интеллекте) некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби.

Простой пример катастрофы, связанной с философским зомби, состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и в реальности люди не согласятся, так как понимают, что это не бессмертие. Однако, рассмотрим более сложный пример – допустим, у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно выполняющий её функции. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден: всегда найдутся те, кто будет в этом сомневаться и искать признаки «неподлинности» исправленного человека.

Другой вариант риска состоит в том, что некий вирус или наноробот имплантируется в человека и разрушит его способность к осознанию, однако при этом человек почти полностью сохранит свои модели поведения, или они будут смоделированы этим управляющим роботом. В результате вся планете может вымереть, но при этом внешне не изменится: люди будут ходить на работу, рассказывать анекдоты и изображать смех.

То, что отличает живого человека от «философского зомби», то есть, качественные признаки переживаний, в философии называется «квалиа»[25], например, субъективное переживание зелёного цвета. Вопрос о реальности квалиа и их онтологическом статусе является предметом острых философских дискуссий. Моё мнение состоит в том, что квалиа реальны, их онтологический статус высок, и без выяснения их подлинной природы не следует совершать опрометчивых экспериментов по переделке человеческой природы.

Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать настоящими людьми только обычных людей, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?

5.5 Утрата интереса к жизни и кризисы, заложенные в самой природе разума

Весь разговор о предотвращении глобальных рисков имеет смысл, только если сохранение человечества является целью, или необходимым средством для каких-либо целей. Хотя нам это кажется само собой разумеющимся, это может быть не так. Высказывалось мнение, что утрата интереса к жизни может стать причиной затухания космических цивилизаций.

Даже если цивилизация как целое исчерпает всё доступное для познания, это не касается всё новых возникающих интересов. Кроме того, трудно представить, что процесс познания закончится в обозримом будущем, то есть в ближайшие столетия, так как остаётся необследованным космос. Однако количество «развлечений» в широком смысле этого слова может быть конечно. Если исходить из естественной человеческой потребности в том, чтобы каждое следующее развлечение было бы интереснее предыдущего, то мы получим экспоненциальный рост, который обгонит любые доступные ресурсы, и в результате мы упрёмся в абсолютную скуку. Мир без рисков может быть скучен, а с рисками – конечен во времени. Доведение идеи безопасности до абсурда – вроде бессмертия в пустой белой комнате (как у Достоевского: вечность – это комната с пауками) – может быть адской пыткой, не имеющей никакой ценности.

Но если цивилизация объединится, и у неё будет единый орган принятия решения – Синглетон по Бострому, – то он может принять решение о самоуничтожении.

Другие возможные причины самоуничтожения цивилизации – намеренное самоубийство с целью исследовать то, что находится после смерти или из неких неясных нам моральных соображений (в духе пропагандируемых Движением за добровольное вымирание человечества).

Самоуничтожение может принять тонкие формы – скажем, отказ от размножения или уменьшение заботы о новых поколениях, или отказ предотвращать другие глобальные риски с должной степенью настойчивости.

Есть также теория о том, что любой разум по своей природе ограничен (идущая от «Критики чистого разума» Канта) и в силу этого обречён на самоуничтожение по достижению определённого порога сложности. Эта теорию можно обрисовать так. Психика животных, людей и будущих систем ИИ приводится в движение за счёт целей. Эти цели делятся на цели верхнего уровня и подцели. У животных и цели, и подцели записаны на уровне инстинктов. Человек отчасти обладает способностью редактировать свои под цели на основании главных целей. За счёт этого он резко повышает свою эффективность. Таким образом, чем выше эффективность психики, тем более высокий уровень подцелей она должна мочь оптимизировать. Однако рано или поздно она доходит до возможности оптимизации главной цели. То есть она понимает, за счёт каких механизмов и почему эта цель была в неё встроена. Отсюда становится понятна произвольность главной цели, что означает онтологическую катастрофу. Эта катастрофа со стороны того, кто не пережил ее, может казаться незначительной. "Ну, подумаешь, - скажет он (воспроизвожу реальный разговор), – если я пойму ничтожность главной цели, я придумаю себе новую главную цель, например, полечу на Плутон и построю там исследовательскую базу". Мне не удалось объяснить, что само желание полететь на Плутон есть продолжение присущего человеку инстинкта ориентировки, заставляющего непрерывно собирать кучу бесполезной информации. И что "лететь на Плутон" как главная цель ничем не лучше, чем немедленно покончить собой, впасть в спячку или пойти напиться. Более того, психика, осознав невозможность создать новую главную цель, не сможет сгенерировать ее случайно – просто потому, что у неё не будет правила "хорошо иметь какие-либо цели". Таким образом, любая психика, осознавшая свою главную цель, оказывается на пороге ступора, типа буриданова осла.

Человек без труда может ввести себя похожее состояние, задаваясь вопросом о смысле жизни. Отсюда у него есть три выхода, регулярно применяемые. а) Обмануть себя и создать иллюзорный смысл жизни. б) Вместо цели начать оптимизировать ее признаки (это происходит, если лишить развитый интеллект доступа к самой главной цели) – то есть стремиться к получению удовольствия и к развлечениям (понимаемым как приятное убивание времени) в) Саморазрушение. Это не обязательно самоубийство. Реальные самоубийства скорее связаны с дискомфортом на нижнем уровне целей и потребностью отомстить, чувством отвергнутости и т. д. Это может, скорее, принять форму меньшей заботы о своём самосохранении. Все три способа могут действовать одновременно, например, экстремальные виды спорта, или путешествие на войну. И масса прочих примеров, которые составляют значительную долю человеческого времяпрепровождения.

В случае человека ситуация носит не столь экстремальный характер, поскольку способности человека редактировать свои цели верхних порядков ограничены, как биологически, так и отчасти законодательно (запреты наркотиков). Будущий ИИ или постчеловек будет гораздо более способен обойти эти запреты. Кроме того, он будет обладать достаточно высоким интеллектом, чтобы ясно осознать суть проблемы. В результате он будет впадать или в наркотическое забытьё, или в ступор, который ничем не хуже, чем "полёт к Плутону" или в создание и хаотическое переключение иллюзорных целей. (Поскольку если знаешь, что цель иллюзорна, то нет никакого смысла доводить ее до конца). Всё же здесь должен сработать естественный отбор, который отберёт тех постлюдей, которые нашли наиболее устойчивые во времени решения этой проблемы. Чтобы понять о чём примерно идёт речь, можно подряд прочитать сначала рассказ В. Набокова "Ужас”, а потом " Ultima Tula ", который по смыслу является его продолжением.

Журнал Nature недавно опубликовал письмо Danny Brower [Brower 2009] о причинах выделения человека из животного мира. Краткое содержание таково: «Полное сознание человеческого типа, с интроспекцией, влечет за собой понимание факта смерти. Постоянно присутствующий глубокий стресс может быть серьезным фактором угнетения ключевых когнитивных функций и жизненной активности. Что в конечном итоге препятствует долгосрочному выживанию популяции. В силу этого неоднократные ветви эволюции, ведущие к сознанию, обрывались в тупике. Единственной возможностью перешагнуть этот барьер является появление психологического механизма отрицания смертности. Подавление страха. И такой механизм возник у Homo sapiens. Отсюда наша способность к самообману, представления о загробной жизни, важность связанных со смертью ритуалов, панические атаки, суицид и проч. характерные для человека вещи”[26]. Нетрудно предположить, что по мере перехода от человеку к постчеловеку этот весьма иллюзорный механизм будет разрушаться, и осознание неизбежности собственной смертности (даже спустя миллионы лет) и смерти вселенной, приведёт к экзистенциальному кризису, аналогичному упоминавшемуся выше осознанию невозможности создавать цели высшего порядка. Возможно, и человек принадлежит к числу короткоживущих видов, который подсознательно стремится к глобальному видовому самоубийству под действием частично подавленного, но до конца неистребимого понимания собственной смертности, вроде массового выбрасывания китов на берег? Просто по причинам наблюдательной селекции мы обнаруживаем себя до массового самоубийства нашего вида, хотя технологии для этого уже нарабатываются.

Можно предположить, что ещё более углублённая саморефлексия способна порождать ещё более острые кризисы, которые нам пока неочевидны.

Похожие выводы предлагаются в статье Питера де Бланка «Схождение ожидаемой полезности для универсального ИИ» [de Blank 2009]. Для любой конечной машины, которая стремится к максимизации функции полезности (счастья), существует состояние, в котором она будет испытывать максимальное счастье, с точки зрения которого любая мысль или акт восприятия будут неприятными, поскольку они приведут к другому состоянию. Очевидно, что такое состояние «утопии в блаженстве», к которому стремятся все преследующие цели агенты, неотличимо от смерти.

5.6 Генетическая деградация человека

В разделе 16.5 мы рассмотрим биологические аспекты генетической деградации (и вероятность того, что она приведёт к полному вымиранию вида) и эволюции человека. Здесь же мы должны отметить, что генетическая деградация означает постепенное разрушение того ценного, что мы считаем важным в человеке и что можно, грубо говоря, отождествить с определёнными аллелями наследуемых качеств. Например, голубоглазые определяются рецессивным геном и должны постепенно исчезнуть. Иначе этот риск можно описать как риск утраты генетического разнообразия человечества. Например, если бы вдруг человечество сократилось до «Адама и Евы», то вероятно, что этой пары не было бы какого-нибудь ценного человеческого таланта, вроде музыкальных способностей, и он бы был навсегда утрачен для их потомков. Наглядный образ такой деградации дан Г. Уэллсом в его «Машине времени», где изображено будущее, в котором люди превращаются в морлоков.

Поиск по сайту: