А. В. Турчин Ответственные редакторы

Вид материала

Реферат

Содержание 3.7. Сравнительная сила разных опасных технологий. 3.8. Последовательность возникновения различных технологий во времени. 3.9. Сопоставление факторов риска разных технологий.

Подобный материал:

• Урок №15. Тема: «Текстовые редакторы», 75.16kb.
• Нло как фактор глобального риска Алексей Турчин, 7525.63kb.
• Ббк 67. 99(2)9 К82 Ответственные редакторы, 7322.98kb.
• А. А. Жилкин Ответственные редакторы, 3418.4kb.
• Положение молодежи и реализация государственной молодежной политики в Российской Федерации:, 2576.32kb.
• Органы, ответственные за выполнение положений Регионального соглашения Автономной Республики, 609.76kb.
• Текстовые редакторы это программы для создания и редактирования текстовых документов, 263.8kb.
• Турчин В. Ф. Феномен науки: кибернетический подход к эволюции. Изд. 2-е, 20.53kb.
• Валентин турчин инерция страха социализм и тоталитаризм, 1299.53kb.
• Ответственные за организацию и проведение егэ-2010, 602.5kb.

3.7. Сравнительная сила разных опасных технологий.

Далее, мы можем составить таблицу «силы» технологий, в которой каждая следующая даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).

1. Исчерпание ресурсов – десятилетия или столетия.
   
2. Масштабная ядерная война с применением кобальтовых бомб – с учётом медленного последующего вымирание - годы и десятилетия.
   
3. Биотехнологии – годы или десятки лет.
   
4. Нанороботы – от нескольких дней до нескольких лет.
   
5. Искусственный интеллект – от часов до нескольких лет
   
6. Взрыв на ускорителе – со скоростью света.
   

Соответственно, сценарии глобальной катастрофы будут с гораздо больше вероятность переходить с первых позиций этой таблицы на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии позиции будет позволят минимизировать последствия катастрофы на более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.

3.8. Последовательность возникновения различных технологий во времени.

Приведённый выше список «силы» технологий в целом похож на ожидаемую временнýю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные технологии, но на самом деле не обязательно соответствует ей.

Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии переходят на другие, для нас моментом созревания технологии является тот момент, когда с помощью неё становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение.

Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, может оказаться сильнее меча. Подробнее о щитах мы поговорим далее. Кроме того, более сильная технология создаёт щит от более слабой.

Обычно ожидают следующую последовательность созревания технологий: био-нано-ИИ. Но я полагаю, что нанотехнологии возникнут скорее после ИИ, то есть будут созданы им. Разумеется, это только моё мнение, могущее содержать ошибку.

Сильный искусственный интеллект является своеобразным «джокером», который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим «законом Мура», и мы в целом можем предсказать, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий.

Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий – пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).

Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов – ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ – он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий – на пути создания синтетических организмов.

3.9. Сопоставление факторов риска разных технологий.

Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).

Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применениям (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала.

Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения.

Для ИИ эти величины нам неизвестны.

Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.

Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс, что мы найдём способ управлять прогрессом и применением его плодов безопасным образом.

Качественно обобщая, можно сказать, что биотехнологии получают самые высокие баллы по этой шкале – эта технология наверняка возможна, вредоносное её применение почти неизбежно и по времени она весьма близка к нам.

Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, благодаря ИИ или биотехнологий, они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать – и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.

ИИ оказывается «двухсторонним джокером» - он может как предотвратить любые другие риски, так и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – так как в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение Ии связано с плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и ранее событие связано с внезапным изобретением в некой лаборатории способной к самосовершенствованию машины и нацеливание её на захват власти на Земле. В этом случае она скорее создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут Ии, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Э.Юдковски метафорически так выражает эту мысль: «Закон Мура в отношении ИИ – с каждым годом IQ человека, необходимый для его создания, падает на одну единицу» (сверить цитату).

Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое ослабит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода» - см. далее.

Чем быстрее ускоряются технологии, чем больше скорости обмена, тем быстрее становятся все процессы внутри цивилизации, в том числе тем быстрее работают все симуляции виртуальной реальности. Это означает, что за год внешнего времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя.

Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас «золотой миллиард» в целом поспевает за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. И трудно заставить людей менять компьютеры чаще, чем раз в несколько лет, хотя экономическое давление очень велико и создаёт социальное давление – например, рекламный образ о том, что некий сотовый телефон уже недостаточно крут. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.