Geum.ru

А. В. Турчин Ответственные редакторы

Вид материалаРеферат

Содержание


2.5. Риски, связанные с самокопирующимися идеями – мемами.
2.6. Искусственный интеллект. 2.6.1. Общее описание проблемы.
2.6.2. Что нужно для ИИ в смысле технологии.
Подобный материал:
1   ...   42   43   44   45   46   47   48   49   ...   110

2.5. Риски, связанные с самокопирующимися идеями – мемами.


В книге «Эгоистичный ген» Доукинс обосновал концепцию мемов – идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?

С одной стороны, имеем в истории примеры крайне опасных мемов: фашизм и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем – это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая бы влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов.

Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей – в текстах и компьютерных программах. В незаконченном романе Набокова «Solux Rex» герой открывает некую идею, которая мгновенно делает его сумасшедшим и ставит на грань самоубийства. Он открывает эту идею одному человеку, и тот немедленно умирает от разрыва сердца. Больше он решает её никому не говорить, чтобы не иметь проблем. Сама эта опасная идея в тексте не называется. В современную эпоху самокопирующийся опасный мем может получить опасную поддержку от неких технических средств (в известном японском фильме ужасов «Звонок» роль такого мема играет видеокассета с опасной записью.) Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом.

И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.

Список существующих сейчас мемов, которые в некоторой степени опасны:

1) религиозный фанатизм

2) знание о производстве наркотиков

3) национализм

4) цинизм

5) устройство банды «М13»

6) самосбывающиеся пророчество о катастрофах

2.6. Искусственный интеллект.

2.6.1. Общее описание проблемы.


Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года20. Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?»21 показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Есть разные теоретические мнения о возможности реализации искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ. Моё мнение состоит в том, что сильный универсальный ИИ вполне возможен. Более того, раз человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.

Однако литературы о том, является ли ИИ глобальным риском гораздо меньше, чем по ядерному оружию. Фактически, в основном это работы Е. Юдковски. Я рекомендую всем, перед тем как составлять своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать вначале статью Е. Юдковски «Искусственный интеллект как позитивный и негативный фактор глобального риска», которую вы найдёте в Приложении.

Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет, и о его природе есть много разных мнений – в том числе о том, что он невозможен, легко контролируем, безопасен, ограничен – или не должен ограничиваться. Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть групп учёных создающих универсальный ИИ разными способами и с разными целями), то по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой «критической массы» она может пойти очень быстро, – а именно, когда ИИ достигнет уровня самоулучшения. В настоящий момент мы не можем сказать, возможно ли это, и с какой скоростью пойдёт такой процесс.

2.6.2. Что нужно для ИИ в смысле технологии.


Очевидно, что нужно, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопса (10**15 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит и Ии мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет в 100 раз. Иначе говоря, мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлопс. Цена такого агрегата составит около миллиона долларов в нынешних ценах – сумма, доступная даже небольшой организации. Никаких особых чудес для этого не нужно: достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают кристаллы с 1024 процессорами на борту22) и уменьшения размеров кремниевых элементов.

Далее, когда ИИ наконец запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах – или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для Ии существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Наиболее тонким моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим – или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах вообще есть и очень велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры23, то есть даже на очень старых компьютерах он давал бы на много порядков более сильные результаты. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.

Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под «сильным ИИ» мы имеем в виду ИИ, способный обогнать человека в скорости и эффективности мышления на много порядков.