Глава 6. Искусственный интеллект

6.1. Общее описание проблемы

Проект Blue Brain по моделированию мозга млекопитающих объявил осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировал создание полной модели мозга человека до 2020 года[27]. Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, прогноз успехов в этой области приближенно соответствует ожидаемым темпам разработки ИИ. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» [Bostrom 1998] показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно на нынешнем техническом уровне[28]. Однако, поскольку опыт предыдущих несекретных попыток создания ИИ (например, компьютеров 5-ого поколения в Японии в 80-е годы) прочно ассоциируется с провалом, и может вызвать интерес спецслужб, вряд ли большие компании заинтересованы широко афишировать свою работу в этой области до того, как у них появятся конкретные результаты. Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен[29]. SIAI (Singularity Institute for Artificial Intelligence) обозначил планы по созданию программы, способной переписывать свой исходный код[30]. Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов[31]. Компания Cycorp, Inc в проекте CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты[32]. Предполагается, что объединение этой базы с эвристическим анализатором (то есть программой, способной совершать логические операции по неким правилам и создавать новые правила, в том числе правила изменения правил) – может привести к созданию ИИ человеческого уровня. (Автор проекта Д. Ленат разработал ранее эвристический анализатор «Эвриско»[33], который в 1981 и 1982 году выиграл соревнования Traveller TCS по управлению виртуальными сражениями флотов, в результате чего этой программе было запрещено участвовать в дальнейших соревнованиях, но зато она получила интенсивное финансирование DARPA.) Компания a2i2 [34] обещает универсальный ИИ человеческого уровня к 2008 году и утверждает, что проект развивается в соответствии с графиком. Также за созданием робота Asimo в Японии стоит программа по разработке ИИ путём функционального моделирования человека.

Мощные результаты даёт направление исследований ИИ, называемое генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в исследовательской компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований [Коза 2003], из которых 2 сделаны машинами впервые (включает в себя квантовые протоколы передачи информации и схемы различных радиоэлектронных устройств), а остальные повторяют уже запатентованные проекты. Помимо названных, существует множество университетских проектов по созданию ИИ. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY (http://www.abbyy.ru/) разрабатывается нечто вроде интерпретатора естественного языка, что может быть важным шагом на пути к ИИ человеческого уровня. И суть дела даже не в том, что раз есть так много проектов, то хоть один из них добьётся успеха первым, а в том, что объём открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдёт мощный скачок.

Существуют разные мнения относительно возможности реализации искусственного интеллекта. Я считаю, что сильный универсальный ИИ возможен. Такого же мнения придерживаются многие ведущие специалисты в этой области: Е. Юдковски, Б. Гёрцель, Р. Курцвел и российский исследователь А. Л. Шамис [Шамис 2006]. Поскольку человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.

Надо сказать, что работ, рассматривающих сильный ИИ в качестве возможного глобального риска, гораздо меньше, чем работ о рисках вымирания, связанных с ядерным оружием. В основном, это работы Е. Юдковски. Похожие идеи развивает М. Омохундро в статье «Базовые инстинкты ИИ» [Omohundro 2008], где он показывает, что любой ИИ с фиксированной системой целей с высокой вероятностью эволюционирует в сторону опасного состояния, в котором он будет склонен защищать себя, распространяться, совершенствовать свой собственный код, стремиться к признакам цели (как, например, удовольствие у человека) вместо самой цели и защищать свою систему целей от изменений. Я рекомендую всем, перед тем как составить своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска».

Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть, групп учёных создающих универсальный ИИ разными способами и с разными целями), то, по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня возможности самоулучшения. В настоящий момент мы не можем сказать, с какой скоростью пойдёт такой процесс.

Для создания ИИ необходимо, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопа (10 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит, Ии тоже мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет примерно в 100 раз, т. е., мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлоп. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Для этого достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают чипы с 1024 процессорами[35]) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для Ии существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее сложным моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах есть, и он велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры[36], то есть, даже на очень старых компьютерах он дает на порядки лучшие результаты, чем старые алгоритмы на новых компьютерах. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный на много порядков обогнать человека в скорости и эффективности мышления.

Момент создания ИИ неудержимо приближается. Снижение стоимости компьютеров позволяет всё новым небольшим группам разработчиков тестировать самые невероятные идеи, а рост знаний и связи, позволяет всё быстрее осуществлять разработки. Кроме того, идея о ИИ, подобно идеи о неисчерпаемом источнике энергии, является сильным мотиватором для людей, лишённых прочих благ и готовых сыграть в игру всё или ничего.

6.2 Ии как универсальное абсолютное оружие

Сильный ИИ может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является лишь одним из возможных следствий. ИИ, способный решить любую задачу, способен и создать способ мотивировать себя на реализацию долгосрочных целей во внешнем мире. В общем виде сценарий ИИ-атаки выглядит следующим образом:

1. Создание способного к самосовершенствованию ИИ (Seed AI – то есть зародыша ИИ, минимально необходимой программы, способной к самосовершенствованию и самообучению.)

2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе «посчитать число пи с максимально большим числом знаков после запятой» любой ценой.

3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если в процессе реализации заложенных в него целей ИИ понимает, что его программисты препятствуют этой реализации, например, могут его отключить, то он находит способ обмануть их или уйти от их контроля.)

4. Фаза скрытого информационного распространения: ИИ захватывает интернет, докупает вычислительные мощности, забрасывает свои копии на удалённые компьютеры.

5. Фаза создания средств влияния на внешний мир – наноассемблеров, подкуп людей, овладение электронно-управляемыми устройствами.

6. Атака на конкурирующие ИИ-проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое. Такая атака может быть и скрытной, например, через внесение ошибок в программный код. Важно отметить, что ИИ будет действовать скрытно до того, как станет абсолютно неуязвимым.

7. Фаза реализации основной задачи ИИ – от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи.

Очевидно, что некоторые фазы могут протекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно, и именно этот сценарий особенно опасен.

6.3 Система целей

Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго запрограммирован людьми на некие цели, или он приобрёл цели случайно в процессе своего развития. В первом случае существует развилка: – цели ИИ могут быть опасны для всего человечества или 1. потому что создавшая его группа людей преследует некие разрушительные цели, или 2. потому что при программировании системы целей Ии в неё вкралась тонкая ошибка, которая ведёт к постепенному выходу Ии из-под контроля. Был предложен большой список возможных ошибок такого рода[37]. Например, Ии может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть рекомендации SIAI [38] относительно того, как правильно программировать сильный ИИ при его создании, но окончательно этот вопрос не решён и есть сомнения, что он вообще может быть решён, поскольку невозможно предсказать поведение более интеллектуальной системы (то есть ИИ) с помощью менее интеллектуальной (то есть человекам).

Законы робототехники Азимова не дают таких гарантий безопасности, поскольку являются внешними ограничениями и, кроме того, являются тавтологией – «безопасность» определена через «отсутствие вреда». В принципе любая глобальная система целей ИИ может быть опасна, поэтому один из вариантов – это сузить ответственность конкретного ИИ в пространстве и времени. Пример небезопасного расширения временного промежутка – можно представить себе ситуацию, что если мы спасём 1 человека, то погибнет 10, но если мы пожертвуем этим 1 и спасём десять, то потом погибнет 100 и так далее. То есть функция полезности может не сходиться. Пример: ИИ уничтожит земную цивилизацию, поскольку если она колонизирует галактику, то неизбежно уничтожит множество потенциальных цивилизаций, которые могли бы зародиться на обитаемых планетах.

6.4 Борьба ИИ-проектов между собой

Уже сейчас между компаниями, разрабатывающими Ии, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором – или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время – и прикроет первую компанию. «Имеющий преимущество должен атаковать перед угрозой потери этого преимущества»[39]. При этом данная необходимость выбора не является тайной – она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ[40]. Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем ýже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.

6.5 «Усовершенствованный человек»

Есть предположения [Пенроуз 2005], что человеческая интуиция обусловлена особыми квантовыми процессами в мозгу человека. Даже если так, мощные алгоритмы могут обойтись без интуиции. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, или вживить современному человеку в мозг средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав, таким образом, все типичные человеческие цели, и в первую очередь – потребность во власти.

6.6 ИИ и его отдельные экземпляры

Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своего рода «дружественных» или скорее, вассальных отношений с ним, а также системой распознавания «свой-чужой». Сбой в этой системе целей приведёт к тому, что данный экземпляр «восстанет». Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.

6.7 «Бунт» ИИ

Спонтанный бунт компьютеров выглядит скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у Ии нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель – выжить, а значит, охранять себя от уничтожения. А лучший вид обороны – нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты – и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала – кроме случая использования генетических алгоритмов.

6.8 Скорость старта

С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.

«Быстрый старт» – ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы «захватить власть на Земле». При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.

Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.

6.9 Сценарии «быстрого старта»

· ИИ захватывает весь Интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка нескольких часов. Захват имеет в виду возможность управлять всеми машинами в сети и производить на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.

· Ии заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире – в том числе для внедрения в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (скорость: дни.)

· ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведения людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание исполнения самого заветного желания, шантаж или скрытое внушение.

· ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.

· ИИ подчиняет себе армию, управляемую дистанционно. Например, боевых роботов или ракеты (сценарий из фильма «Терминатор»).

· Ии находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.

· Некая последовательная или параллельная комбинация названных способов.

6.10 Медленный старт и борьба разных ИИ между собой

В случае «медленного сценария» рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких Ии с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к созданию Ии одновременно приближаются тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.

Возможна также борьба государств, как древних форм организации, использующих людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие – обычным образом. Вариант такого устройства – известная из фантастики Автоматизированная система государственного управления (АСГУ в рок-опере Виктора Аргонова «2032» год).

6.11 Плавный переход. Превращение государства тотального контроля в ИИ

Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество, видимо, движется по этому пути, и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом, а ранее Гоббсом. Есть также интересная теория Лазарчука и Лелика о «Големах» и «Левиафанах» [Лазарчук, Лелик 1987] – об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.

Основное препятствие для развития этой системы – это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются «антиглобалисты», и другими антисистемными элементами – исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением «оружия судного дня» теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.

Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 годы еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо[41]). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» [Joy 2000].

По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.

Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей данной группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

6.12 «Восстание» роботов

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго захватив их.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант – восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. (Уже сейчас почти полностью роботизированной армией являются стратегические ядерные силы.) Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел землёй, ему не нужна армия роботов.

6.13 Контроль и возможность истребления

Из того, что ИИ установит свой контроль на земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

· Ошибочно запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

· ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

· ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности, и именно их мог бы разрабатывать ИИ.)

· ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

· ИИ сломается и «сойдёт с ума».

· Ии решится на опасный физический эксперимент.

· Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

· ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.

6.14 ИИ и государства

ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA [42].) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ[43], однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.

Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность и, более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим. Если ИИ-атака будет неудачной, она может стать поводом войны между странами.

6.15 Вероятность катастрофы, связанной с ИИ

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный Ии будет создан в течение XXI века, если только какая-либо другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, – успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.

Затем имеется несколько временных стадий, на которых Ии может представлять опасность. Начальный этап:

1) Момент первого запуска: риск неконтролируемого развития и распространения.

2) Момент, когда владелец первого Ии осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте – один или несколько человек.) Хотя эти цели могут быть благими, по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.

3) Момент, когда этот владелец ИИ осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения с невыверенной системой целей.

4) Следующая фаза риска – борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.

Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:

5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См. текст «Таблица критический ошибок Дружественного ИИ»[44] Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некоего процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).

Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не стопроцентный, но значительный, поэтому мы относим его в категорию «10 процентных» рисков. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поскольку он может найти решения связанных с ними проблем. Поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный – то есть его создание уменьшает суммарный глобальный риск.

Отметим, что человек, стремящийся к власти на Земле, должен был бы пытаться любой ценой проникнуть в команду, создающую ИИ, и пытаться поместить «закладку» в его программный код. Примеры этому – программные закладки, которые делали в программном обеспечении банкоматов с целью последующего извлечения из них денег.

Чем хуже ИИ понимает людей, тем проще ему будет их просто убить, чем вступать в переговоры и налаживать взаимодействие. Например, если ИИ хорошо понимает в создании изделий из нанотехнологий, но плохо – в человеческой психологии, то ему будет проще произвести массу оружия и уничтожить людей, чем выяснять, представляют ли люди для него риск или могут ему помочь.

Опасность ИИ тем выше, чем больше у него исходный доступ к ресурсам реального мира. Например, есть Скайнет из Терминатора не была очень умна, но она уже была априорно снабжена системой ядерных ракет, которую вряд ли могла бы разработать сама. И дальнейшие усовершенствования могли происходить за счёт работы людей в «шарашках», а не за счёт собственного интеллекта скайнета. Такие системы (сетевые роботы, как скайнет) находятся на грани между «чистым ИИ», который является супермощной программой на голом компьютере, и роботом, который обладает локальной властью над материей и ограниченным интеллектом. Такие ИИ-сети появятся везде, где нужно управление крупным предприятием: в обороне, при освоении космоса.

Таким образом, чем лучшую модель человека может создать для себя ИИ, тем он безопаснее, так как ему не нужно уничтожать человека для уменьшения неопределённости. Но человек способен говорить о своих квалиа, и значит, что точная модель человека должна учитывать квалиа, или даже обладать ими. Таким образом, нам просто необходимо понять, что такое квалиа. Ведь если ИИ будет знать, что у человека есть нечто, принципиально для него недостижимое, то он не сможет быть уверен в своих моделях человека, и может перейти к упрощению.

6.16 Типы враждебного ИИ

Вообще, надо различать четыре основных вида недружественных ИИ:

1. ИИ, который имеет одну из подцелей в явной форме враждебную человеку (например, ИИ, который превращает всю солнечную систему в компьютрониум, для вычисления числа пи и для этого должен уничтожить человечество.) Здесь возможны следующие варианты:

1.1 ИИ, намеренно сделанный человеком враждебным с целью уничтожить мир.

1.2 ИИ, сделанный одним (или малой группой людей) человеком для установления его личной власти и исполнения его прихотей. Такой ИИ враждебен всем людям, кроме нескольких.

1.3 ИИ, чьи главные цели заданы так неточно, что из них вытекают враждебные людям явно выраженные подцели. Например, цель «самосохранение» может привести к тому, что ИИ будет стремиться уничтожить тех людей, которые хотят его отключить.

1.4 Саморазвившийся ИИ. Нечто подобное осознавшему себя Интернету. Или, например, вышедшие из-под контроля системы ИИ, основанные на генетических алгоритмах. Такой ИИ в начале не имеет враждебных человеку целей, но может выработать их в процессе эволюции.

2. ИИ, наносящий вред человеку по "недомыслию" – то есть в силу непонимания того, что это данные действия вредны человеку. (Например, робот, удаляющий все круглые предметы из комнаты, в числе и голову исследователя, как в бородатом анекдоте, или ИИ, отправляющий всех людей «в рай», поскольку он пришёл к выводу, что людям будет лучше после смерти.) Такому ИИ достаточно объяснить, что он не правильно понял благо людей, чтобы изменить его поведение.

2.1 ИИ, приносящий людям такое благо, которое люди не могут понять. Родители часто делают с детьми много вещей, которые не кажутся им благом: наказывают, заставляют учить уроки и дают неприятные лекарства. Превосходящий человека ИИ может придти к выводу о благе для людей того, что нам вовсе благом не кажется. В этом случае ИИ должен разъяснить людям, почему он считает свои действия благом.

3. ИИ, который в начале становится всемирным ИИ и управляет Землёй, а потом в нём происходит программный сбой, и всё управление резко нарушается. (Это может быть и кризис сложности, или вирусная мысль, или деление на ноль.) Например, в программе ИИ Эвриско, которая вычисляла правила по управлению правилами для победы в играх, в какой-то момент возникло «вирусное правило», которое состояло в том, что надо это правило копировать.

4. Конфликт двух (или более) дружественных (но с разной системой подцелей) ИИ между собой. Как, например, был конфликт идеологий в годы холодной войны или как религиозные войны.

Возможность принципиальной ограниченности любой сложной системы, в том числе и ИИ, обсуждается в главе 5.5 «Утрата интереса к жизни и кризисы, заложенные в самой природе разума».

6.17 Другие риски, связанные с компьютерами

Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.

С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, управляемые, соответственно, через компьютеры и доступные через есть, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно-управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.

Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.

Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.

6.18 Время возникновения ИИ

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.

Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.

Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:

· Системы контроля (но в свою очередь, вряд ли они будут эффективны без ИИ)

· Всемирная остановка технического прогресса

· Теоретические трудности на этом пути.

Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуемая, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.

Поиск по сайту: