А. В. Турчин Ответственные редакторы
| Вид материала | Реферат |
- Урок №15. Тема: «Текстовые редакторы», 75.16kb.
- Нло как фактор глобального риска Алексей Турчин, 7525.63kb.
- Ббк 67. 99(2)9 К82 Ответственные редакторы, 7322.98kb.
- А. А. Жилкин Ответственные редакторы, 3418.4kb.
- Положение молодежи и реализация государственной молодежной политики в Российской Федерации:, 2576.32kb.
- Органы, ответственные за выполнение положений Регионального соглашения Автономной Республики, 609.76kb.
- Текстовые редакторы это программы для создания и редактирования текстовых документов, 263.8kb.
- Турчин В. Ф. Феномен науки: кибернетический подход к эволюции. Изд. 2-е, 20.53kb.
- Валентин турчин инерция страха социализм и тоталитаризм, 1299.53kb.
- Ответственные за организацию и проведение егэ-2010, 602.5kb.
5.18. ИИ будет примерно такой же умный, как и человек.
Множество человеческих умов, скорее всего, является только малой частью множества возможных умов. Поэтому маловероятно, что, достигнув человеческого уровня, ИИ на нём остановится.
5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами.
Здесь путают ИИ и отдельного робота. В случае если его возможности будут бесконечно превосходить человеческие, то «равноправие» их будет сильно в ущерб людям. Поскольку в любом равном соревновании он будет обыгрывать людей. Кроме того, у него могут быть свои представления о равноправии.
5.20. Представление, что ИИ будет много.
Когда мы говорим «вирус распространяется в Интернете», мы имеем в виду один вирус, хотя у него много копий. Когда мы говорим об Интернете, мы имеем в виду один Интернет. Когда мы говорим о государстве (внутри него) мы тоже имеем в виду одно государство. Так же и ИИ будет один, хотя у него будет множество копий и проявлений.
Даже если будет несколько сортов ИИ, то среди них только один будет главным.
5.21. Различия в понимании того, что, собственно, является интеллектом.
Вероятно, дать правильное определение интеллекта – это уже почти создать искусственный интеллект. С точки зрения безопасности такое определение дать проще: Ии – это машина, способная побеждать человека в любом виде деятельности (или даже меньше: хотя бы в одном виде деятельности, который жизненно важен для человека, при этом мы имеем в виду под деятельностью управлением процессами – то есть информационную деятельность). То есть мы определяем ИИ через его способность решать практически измеримые задачи. Мы оставляем в стороне вопрос о сознании, свободе воли, творчестве. Это определение в принципе тождественно предлагаемому Юдковски определению ИИ как «мощного процесса оптимизации».
5.22. Однозначное отождествление ИИ как отдельного объекта.
ИИ определяется тем, что он делает (эффективно осуществляет процесс оптимизации), однако представление о том, что есть сущность, порождающая эти действия, может вести нас к заблуждениям. Например, процесс эволюции в дарвиновском смысле порождает всё более эффективные решения. Однако у этого процесса нет никакого центра, который ставит цели или который можно уничтожить.
5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен.
Неверно – если мы поместили Ии в чёрный ящик, а затем получили результаты его работы, то значит, произошёл двухсторонний обмен информацией и чёрный ящик не является таковым. Если мы не получаем никакой информации из чёрного ящика, это равносильно тому, что вообще его не включать. Трудность здесь ещё в том, чтобы знать, что ИИ уже возник, чтобы понять, что нам пора помещать его в чёрный ящик.
5.24. В Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен.
Неверно. В 1880-е годы было несколько проектов по созданию самолёта, и они потерпели неудачу. После этого распространилось мнение, что самолёт невозможен.
5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке.
«Z» может быть «любить всех людей», «не причинять людям вреда», «слушаться только меня» и т. д. Дело в том, что мы не можем проверить, как именно Ии реализует любую команду, пока не запустим его. А когда запустим, будет поздно.
5.26. «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности».
Неверно. Проверить эффективность Ии можно, только запустив его на сложной задаче, связанной с реальным миром. Если с ним что-то не так, то о безопасности думать будет поздно.
5.27. «Маловероятно, что наш проект по Ии выйдет из-под контроля».
В мире много ИИ-проектов и мало знаний о том, как измерять вероятность неконтролируемого распространения ИИ.
5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы.
Среди сторонников мощного ИИ встречается мнение, что некоторые будущие проблемы не надо решать, потому что, когда появится мощный ИИ, он найдёт лучшее и более точное решение этих проблем. Однако перед запуском мощного ИИ в реальном мире нам надо задать ему некоторый круг задач, а чтобы правильно сформулировать, чего мы хотим и чего не хотим, надо хорошо об этом подумать.
5.29. Нетождественность способностей и намерений.
См. когнитивное искажение в духе «гигантской ватрушки» в статье Юдковски в этой книги. Суть её в том, что если ИИ может что-то делать, это не значит, что он будет это делать. То есть мы не должны отождествлять мотивы и способности.
6. Специфические ошибки, связанные рассуждениями о рисках нанотехнологий.
6.1. Нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома.
Это не так, поскольку существуют белки, которые являются самыми разными механизмами, и в них важно и определено местоположением каждого атома.