А. В. Турчин Ответственные редакторы
| Вид материала | Реферат |
Содержание2.6.18. Другие риски, связанные с компьютерами. 2.6.19. Время возникновения ИИ. 2.7. Риски, связанные с роботами и нанотехнолгиями. |
- Урок №15. Тема: «Текстовые редакторы», 75.16kb.
- Нло как фактор глобального риска Алексей Турчин, 7525.63kb.
- Ббк 67. 99(2)9 К82 Ответственные редакторы, 7322.98kb.
- А. А. Жилкин Ответственные редакторы, 3418.4kb.
- Положение молодежи и реализация государственной молодежной политики в Российской Федерации:, 2576.32kb.
- Органы, ответственные за выполнение положений Регионального соглашения Автономной Республики, 609.76kb.
- Текстовые редакторы это программы для создания и редактирования текстовых документов, 263.8kb.
- Турчин В. Ф. Феномен науки: кибернетический подход к эволюции. Изд. 2-е, 20.53kb.
- Валентин турчин инерция страха социализм и тоталитаризм, 1299.53kb.
- Ответственные за организацию и проведение егэ-2010, 602.5kb.
2.6.18. Другие риски, связанные с компьютерами.
Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли пока ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.
С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, ситуация станет гораздо опаснее.
Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира.
Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
2.6.19. Время возникновения ИИ.
Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020 – 2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.
Моя оценка, согласующаяся с мнением Винжа, Бострома и других предсказателей ИИ, состоит в том, что ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, уже к 2020-м годам он будет создан. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его на компьютерах.
Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера.
Помешать возникновению ИИ могут:
- Системы контроля (но в свою очередь, вряд ли будут эффективны без ИИ)
- Отскок прогресса назад
- Теоретические трудности на этом пути.
Выводы: риск, который несёт в себе развитие технологий ИИ крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем, ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.
2.7. Риски, связанные с роботами и нанотехнолгиями.
Основное опасностью в отношении нанотехнологий считается распространение нанотехнологической «серой слизи», то есть микроскопических саморазмножающихся роботов. Основные её признаки таковы:
- Миниатюрность
- Способность к саморазмножению
- Способность к самостоятельному распространению по всей Земле.
- Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы
- Анонимность
- дешевизна
- автономность от человека (солдата).
Серая слизь и основанное на ней нанотехнологическое оружие является высшим выражением этих принципов, объединяющих их все вместе. Однако вовсе не обязательно объединять все до единого эти принципы, чтобы получить опасное и эффективное оружие – достаточно реализовать некоторые. Разные комбинации этих принципов дают разные виды роботехнического оружия. Рассмотрим в начале опасных роботов.