Geum.ru

А. В. Турчин структура глобальной катастрофы

Вид материалаРеферат

Содержание


Numenta, Novamenta, SIAI, a2i2
Подобный материал:
1   ...   38   39   40   41   42   43   44   45   ...   50

Глава 5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта

1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности


Специалисты по компьютерам высказывают много разных мнений о причинах того, почему, по их мнению, ИИ безопасен. Эти высказывания взаимоисключают друг друга, и, значит, значительная их часть ложна. Поэтому мы смело можем привести их в качестве примеров ошибок, не вдаваясь в доказательства ложности каждого отдельного высказывания. Я провёл в Интернете опрос среди разработчиков ИИ323, на тему того, что является гарантией безопасности ИИ, и получил следующий разброс мнений, с примерно одинаковым числом людей, придерживающимся того или иного мнения. Итак, «ИИ является безопасным, потому что»:
  1. потому что ИИ невозможен.
  2. потому что Ии может решать только узкие задачи, вроде распознания образов.
  3. потому что, когда мы сделаем универсальный ИИ, мы введём в него Три закона робототехники Азимова.
  4. Потому что я знаю, как использовать ИИ во благо людям.
  5. Потому что Ии будет обладать сверхчеловеческой мудростью по определению и не захочет причинять вреда людям.
  6. Потому что ИИ ничего не нужно от людей, и мы можем мирно сосуществовать друг с другом.
  7. Потому что он будет заперт в моём компьютере, и если что-то пойдёт не так, я выключу электричество.
  8. потому что у ИИ не может быть своей воли.
  9. ИИ невозможен без свободы воли, поэтому мы должны предоставить ему свободу.
  10. Потому что ИИ не может сделать ничего плохого.
  11. ИИ может быть опасен, но, скорее всего, всё обойдётся.
  12. Нет, ИИ опасен, и мы все обречены.
  13. Ии уничтожит человечество, и именно к этому мы должны стремиться, так как ИИ – это более прогрессивная форма эволюции.

В ходе опроса оказалось, что эти мнения распределены более-менее равномерно. Это значит, что сумма информации по вопросу о безопасности ИИ, которой обладают исследователи ИИ в целом, равна нулю.

2. Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код


Сами проверки вносят некоторое число новых ошибок, и в силу этого на определённом уровне число ошибок стабилизируется. Это верно и насчёт систем целеполагания, каковыми, например, являются законы. Не следует рассчитывать, что мы сможем создать свод правил поведения для ИИ, несодержащий ошибок.

3. Ошибки в критике ИИ Пенроузом


Р. Пенроуз в книге «Новый ум короля»324 утверждает, что ИИ невозможен, потому что в мозгу происходят невычислимые квантовые процессы, которые необходимы для творческого мышления и сознания325. На основании этого часто утверждается, что опасный ИИ невозможен. Мне представляется, что данный вывод не вполне корректен по следующим причинам:

1. Квантовая природа сознания – это далеко не мэйнстрим науки. Мы не можем основывать безопасность человечества на недоказанной (хотя и интересной) теории.

2. Невозможно доказать невозможность чего-либо в природе теоретически. (Но возможность доказать можно – например, фон Нейман доказал возможность самовоспроизводящихся механизмов326.)

3. Для того чтобы ИИ стал опасен, ему не нужно обладать ни сознанием, ни способностью к творчеству. Современный Ии может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. То есть интуиция – это только полезная характеристика, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. Достаточно сказать, что опасный ИИ – это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег – это разновидности таких игр.

4. Если некие особые квантовые функции выполняются нейронами или микротрубками, то ничто не мешает использовать их как элементы будущего мощного ИИ – например, в виде внешнего сопроцессора. Квантовые компьютеры являются одним из вариантов реализации. В конце концов, сильный Ии может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом (то есть подключённый напрямую к компьютеру). И на худой конец, если обнаружится класс задач, доступных человеку, но не доступных компьютеру, возможна ситуация прямой эксплуатации людей для решения этих задач, при этом каждый из людей не будет знать, как именно будет применяться его решение. Так, например, работают сейчас спамерские программы – они просят людей на своём сайте с «клубничкой» распознать контрольные цифры на рисунке, взятом с другого сайта, и таким образом получают доступ к этому другому сайту. При этом людей используют вслепую, так как люди не знают, что результаты их распознавания будут использованы в другом месте. Похожим образом государство нанимает учёных для разработке оружия.

5. Значительное число важных задач можно решить перебором, то есть путём осуществления конечного числа операций. Например, это может быть перебор всех возможных комбинаций знаков, порождающих текст доказательства теоремы. Иначе говоря, есть алгоритм, позволяющий решить любую задачу. И вопрос только в его оптимизации. Возможно, что решение тех задач, от которых может зависеть судьба человечества, вполне возможно перебором, даже если существуют некоторые задачи, которые перебором не решаются за время существования Вселенной.

6. Если удастся доказать, что сознание всё-таки обладает квантовой природой, это откроет новый мир возможностей, а значит и новых рисков.

4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ


Уже неоднократно показывалось в разных исследованиях, что законы робототехники не являются гарантией безопасности Ии в сколько-нибудь значительной мере327:
  1. Эти законы являются тавтологией, так как из них следует, что ИИ будет безопасен, потому что он не будет причинять вреда.
  2. Они содержат в себе противоречия, которое мастерски обыгрывается самим Азимовым в его рассказах – робот часто испытывает конфликт между 1, 2 и 3 законами и в результате ведёт себя опасным образом.
  3. Эти законы относятся к автономным роботам, а не к ИИ, который не привязан к одному механизму.
  4. Они опираются на интуитивное понятие «вреда», которое не определяется ими и поэтому может принимать произвольную форму. Например: жить вредно, потому что от этого умирают.
  5. Эти законы являются скорее пожеланиями – то есть тем, что мы хотим от ИИ, а не правилами, которыми он мог бы руководствоваться. Неизвестно, как именно поместить эти законы в ИИ.

5. Ошибочные представления о том, что прогресс в области программного обеспечения отсутствует


Алгоритмы разложения чисел на множители улучшаются быстрее, чем аппаратное обеспечение328. Есть прогресс и в других областях, но он менее измерим. В конце концов, прогресс аппаратуры – это тоже прогресс нашего понимания того, как сделать микросхемы меньше.

6. Ошибочные представления о том, что никто в мире не занимается такой «малоперспективной» темой как ИИ


Известно несколько фирм и людей, которые активно работают над созданием универсального ИИ – Numenta, Novamenta, SIAI, a2i2. Более подробный обзор программ по созданию ИИ см. в главе о рисках ИИ.

7. Ошибочные представления о том, что ИИ – это разные конкретные приложения, вроде техники распознания образов


Здесь происходит подмена тезисов. В данной книге под «Ии» имеется в виду именно Искусственный Интеллект. От того, что кто-то распространяет свои разработки под брендом «ИИ», хотя они на самом деле им не являются, не следует, что ИИ невозможен. В англоязычной литературе распространён термин GAI – General AI – Универсальный искусственный интеллект, который предназначен для устранения этой двусмысленности, также предлагают использовать термин «искусственный разум».

8. Антропоморфизм


Бессознательно мы очеловечиваем ИИ множеством разных способов, и это формирует наши ожидания. Подробнее см. в статье Юдковски в приложении. В частности, мы воспринимаем ИИ как объект, который где-то находится, имеет чёткие границы, цели и т. д.

9. Ошибочное представление о том, что достаточно отключить ИИ от питания, чтобы его остановить


Это утверждение базируется на предположении, что программист Ии будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе неверное предположение – о локальности ИИ. Третье – о том, что ИИ не сможет защитить своё питание, или замаскировавшись, или уйдя в сеть. Четвёртое – что программист не может быть в сговоре с ИИ (и/или обманут им).

10. Ошибочное представление о том, что, даже распространившись по Интернету, Ии никак не сможет воздействовать на внешний мир


Неверно – в Интернете можно зарабатывать деньги и заказывать любые действия во внешнем мире. Кроме того, возможен договор с людьми, шантаж и прямое управление механизмами.

11. Ошибочное представление о том, что у ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред


Чтобы ИИ заработал, перед ним поставят некие задачи. В процессе выполнения их он может реализовывать те или иные подцели. Эти подцели могут быть очень опасны, если на них несформулировано правильных ограничений. Наиболее известный пример – некому ИИ поручают доказать гипотезу Римана и ради этой цели он превращает всё вещество Солнечной системы в вычислительные устройства.

12. Ошибочное представление о том, что ИИ будет осваивать космос, оставив Землю человеку


Это хорошее пожелание, но в нём уже есть горечь капитуляции. Нет никаких оснований думать, что ИИ обязан и будет это на самом деле это делать.

13. Ошибочное представление о том, что любой ИИ является интеллектом, поэтому он обладает целью X (подставить нужное), и это благо


Интеллект – это инструмент, который может быть направлен на достижение произвольной цели. Люди пользуются мощнейшим интеллектом, чтобы достигать примитивных целей, которые свойственны альфа-самцу обезьяньего стада – топить конкурентов, добиваться расположения самок, доставать пропитание – и ради всего этого пишутся стихи, доказываются теоремы, плетутся заговоры. Поэтому наличие интеллекта не означает никакой однозначной цели. (И думать так, значит переходить от фактов к долженствованиям, что содержит в себе всегда логическую ошибку.) И уж тем более абстрактная цель (познать мир, например) не может быть конкретным благом для всех людей, ибо всё зависит от способов реализации этой цели.

14. Ошибочное представление о том, что современные компьютеры очень ограничены в своих возможностях, поэтому Ии будет только в отдалённом будущем


Поскольку мы не знаем, что такое ИИ, мы не знаем, что именно должно быть изобретено, чтобы его создать, а потому не можем высказывать точные временные прогнозы. ИИ может возникнуть и завтра – компания a2i2 планирует завершить свой проект в 2008 г., другие проекты ориентируются на 2011 г. Существующие темпы прогресса в области создания мощных компьютеров достаточны, чтобы создать компьютеры, близкие по производительности нашему мозгу, в ближайшие годы, и нет неизбежных причин, по которым рост мощности компьютеров должен замедлится.

15. Ошибочное представление о том, что прогресс в понимании работы мозга идёт очень медленно, поэтому ИИ будет работать очень медленно


Но медленность подготовительных процессов не означает медленности самого процесса. Юдковски в статье, которую Вы найдёте в приложении, опровергает это примером разницы между временем разработки ядерного оружия и скоростью процессов в бомбе.

16. Ошибочное представление о том, что человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому Ии не представляет никакой угрозы


«X» может иметь в разных интерпретациях качества творческих озарений, интуиции, быстрого распознавание образов, переживания чувств, осознания, любви. Однако:
  1. Мы не знаем, чего может или не может ИИ, пока не сделаем его.
  2. ИИ может быть опасен, даже если он не может делать Х. Например, он может выигрывать у нас в шахматы, на бирже, или в любую другую жизненно важную для нас игру.
  3. если есть некая задача, которую может решать только человек, ИИ может нанять или подчинить себе людей для её решения. Например, современное государство нанимает учёных, и даёт каждому фрагмент задачи по разработке, скажем, атомной бомбы.

17. Ошибочное представление о том, что ИИ невозможен, потому что он мыслит алгоритмически, а человек – неалгоритмически


Требование алгоритмичности при создании ИИ не является необходимым. Генетические алгоритмы, квантовые компьютеры, вживление нейронов в чипы и рандомизированные методы делают требование алгоритмичности условным. Вопрос о том, как именно мыслит человек, пока не открыт. недавно удалось научить компьютер играть лучше человека в покер (техасский халдом – а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на онлайн турнирах. Видимо, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли. если компьютер научится распознавать образы внешнего мира, то он сможет также эффективно побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

Человеку приятно думать, что он лучше (умнее, совершеннее и т. д.) компьютера, потому что у него есть интуиция. Однако раз так, то надо относиться с подозрением к этой идее, так как она может быть обусловлена эмоциями. Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. а вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?

18. Ошибочное представление о том, что ИИ будет примерно такой же умный, как и человек


Есть ошибочное представление о том, что ИИ будет обладать примерно человеческими способностями, и в будущем образуется общество, состоящее из людей и «роботов». Однако множество возможных человеческих умов, скорее всего, является только малой частью множества вообще возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится. Увеличив его скорость работы, соединив его с тысячами других ИИ, добавив компьютерную безошибочность и память, мы можем в тысячи раз усилить ИИ человеческого уровня, не совершая принципиальных открытий.

19. Ошибочное представление о том, что ИИ будет равноправным сотрудником человека с теми же возможностями и правами


Здесь путают ИИ и отдельного робота. В том случае, если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.

20. Ошибочное представление о том, что ИИ будет много


Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него имеется много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (находясь внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него может быть множество копий и проявлений. Даже если будет несколько видов ИИ, то среди них только один будет главным. То есть мы скорее столкнёмся не с множеством отдельных разумных машин, а с одной системой нечеловеческих масштабов; примерами таких систем являются наука, государство и Интернет.

21. Различия в понимании того, что, собственно, является интеллектом


Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: Ии – это машина, способная побеждать человека в любом виде деятельности (или даже: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».

22. Ошибочное однозначное отождествление ИИ с отдельным объектом


ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.

23. Ошибочное представление о том, что достаточно спрятать ИИ в «чёрный ящик», чтобы он стал безопасен


Если мы поместили Ии в «чёрный ящик» (то есть полностью изолировали его), а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией, и «чёрный ящик» не является таковым. Если мы не получаем никакой информации из «чёрного ящика», это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в «чёрный ящик». Наконец, ИИ может взломать «чёрный ящик» изнутри, например, излучая радиосигналы, или считывая колебания тока в системе питания. Юдковски провёл так называемый AI-box эксперимент329. В ходе этого эксперимента человек, изображающий из себя ИИ, должен был уговорить оператора выпустить его из чёрного ящика (не используя подкупа, шантажа и при ряде других ограничений). Из пяти экспериментов, в трёх операторы его выпустили, хотя в начале считали, что не выпустит его ни при каких условиях.

24. ошибочное возражение следующего рода: «В Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен»


В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен. То есть несколько неудачных попыток с негодными средствами не значат принципиальной невозможности. Кроме того, проект в Японии не заглох до конца, и из него выросли другие ИИ-проекты, просто менее афишируемые. Однако эта яркая неудача повлияла как на доверие публики к таким проектам, так и на склонность исследователей обещать невероятные результаты.

25. Ошибочное представление о том, что ИИ надо дать команду X (подставить нужное), и всё будет в порядке


Командой «Х» может быть: «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Но мы не можем проверить, как именно Ии реализует любую команду, пока не запустим его. А когда запустим, может быть поздно.

26. Ошибочное представление в духе: «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности»


Неверно. Проверить эффективность Ии можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ИИ вышел из-под контроля, то о безопасности думать будет поздно. Некоторые типы ИИ могут быть несовместимы с нормативной безопасностью, например, основанные на генетических алгоритмах. Поэтому меры по обеспечению безопасности следует встраивать в ИИ с самого начала, они не могут быть довеском на нём. И во всех других крупных проектах безопасность обдумывается с самого начала.

27. Ошибочное представление в духе: «Маловероятно, что наш проект по созданию Ии выйдет из-под контроля»


В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ. Достаточно потерять контроль над одним проектом. Кроме того, в случае, когда программист использует сильный ИИ в своих целях, с его точки зрения это не выглядит бунтом, но с точки зрения других людей – является им.

28. Ошибочное представление в духе: «Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы»


Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать заранее.

29. Нетождественность способностей и намерений


См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть его в том, что если ИИ может что-то делать, это не значит, что он будет это делать. Если ИИ может печь гигантские ватрушки, это не значит, что будущий мир будет заполнен гигантскими ватрушками. То есть мы не должны отождествлять мотивы действий и способности ИИ.