А. В. Турчин Ответственные редакторы

Термины 9

1. Ошибочные представления о роли ошибок. 13

1.1 Незавершённость этого списка ошибок. 14

2. Ошибки, возможные только относительно угроз существованию. 14

2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами. 14

2.2 Недооценка неочевидных рисков. 15

2.3 Глобальные риски нетождественны национальной безопасности. 16

2.4. Ошибка, связанная с психологизацией проблемы. 16

2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. 16

2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ. 17

2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила. 17

2.8 Ошибка, состоящая в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира». 18

2.9 недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти. 18

2.10 Ошибки, связанные с тем, что тот, кто исследует глобальные катастрофы в целом, вынужден полагаться на мнения экспертов в разных областях знания. 19

2.11 Ошибка, связанная с тем, что глобальным рискам, как целому, уделяют меньше внимания, чем рискам отдельных объектов. 19

2.12 Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. 19

2.13 Отсутствие ясного понимания того, к кому, собственно, обращены дискуссии о глобальных рисках. 19

2.14 Особенность связи теоретического и практического в отношении глобальных рисков. 20

2.15 Ошибочные модели поведения, связанные с эволюционными психологическими моделями – и не учёт этих моделей в предсказании поведения людей. 20

2.16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношение к ближайшему будущему. 20

2.18 Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию. 21

2.19. Однако и противоположное мнение ошибочно: что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно. 21

2.20. Гордыня исследователя. 21

2.21. Интуиция как источник ошибок в мышлении о глобальных рисках. 21

2.22 Научное исследование глобальных рисков также сталкивается с рядом проблем. 22

2.23 Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска. 22

2.24 Методы, применимые к управлению экономическими и прочими рисками, не применимы для глобальных рисков. 22

2.25 Трудности в определении понятия глобального риска в связи с нечёткостью его объекта. 22

2.26 Ошибочное представление о том, что глобальные риски угрожают людям, только пока они замкнуты на Земном шаре, и переселение в космос автоматически снимет проблему. 23

2.27. Психологическая особенность человека, называемая «пренебрежение масштабом». 23

2.28. Преувеличение прогностической ценности экстраполяции. 23

2.29. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. 24

2.30. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. 24

2.31. «Шок будущего»: Ошибки, связанные с разными горизонтами возможного будущего у разных людей. 25

2.32. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. 26

2.33 Недооценка системных факторов глобального риска. 26

2.34 Представления в духе: «Мы все должны бороться за мир». 26

2.35 Недооценка предкризисных событий как элементов глобальной катастрофы. 27

2.36. Это слишком плохо, чтобы быть правдой. 27

2.37. Это слишком невероятно, чтобы быть правдой. 27

2.38 Идеи о торможении неких технологий как способе противостояния глобальным рискам. 27

2.39 Человеческая приспособляемость высока и продолжает неограниченно расти благодаря новым технологиям. 28

2.40 Неспособность для системы смоделировать саму себя. 28

2.41 Неспособность человека представить свою собственную смерть. 28

2.42 Путаница между очень большой катастрофой и окончательной глобальной катастрофой. 29

2.43 «После нас хоть потоп». 29

2.44. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. 29

2.45. Религиозные мировоззрения и апокалиптические культы. 29

3. Ошибки, могущие касаться любых рисков, применительно к глобальным рискам. 30

3.1. Основной причиной человеческих ошибок является сверхуверенность. 30

3.2 Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых. 30

3.4 Возрастные особенности восприятия глобальных рисков. 31

3.5. Споры не рождают истину о глобальных рисках. 31

3.7. Желание смерти. 31

3.8. Косность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения. 31

3.9. Обнаружение ошибок в рассуждении о возможности некой конкретной катастрофы не является способом укрепления безопасности. 32

3.10. Ни одно из направлений исследований в новых технологиях не может обеспечивать свою безопасность само по себе. 33

3.11. Ошибочное представление о том, что когда проблема назреет, тогда к ней можно начать готовиться. 33

3.12. Более конкретизированные риски воспринимаются как более опасные, чем описанные в общих словах. 33

3.13. Идея о том, что мышление о глобальных рисках – пессимистично. 33

3.14 «Теории заговора» как препятствие для научного анализа глобальных рисков. 34

3.15. Ошибки, связанные с путаницей краткосрочных, среднесрочных и долгосрочных прогнозов. 35

3.16. Специфика человеческой эмоции страха. 35

3.19. Эффект смещения внимания. 36

3.20. Интернет 36

3.21. Верования. 36

3.22. Врождённые страхи. 37

3.23. «Убить гонца, принёсшего плохую весть». 37

3.28. Склонность людей бороться с подобными опасностями, какие уже были в прошлом. 38

3.29. Усталость от ожидания катастрофы. 38

3.30. Экспертные оценки, не основанные на строгих вычислениях, не могут служить в качестве меры реальной вероятности. 39

3.31 игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта. 39

3.32 Недооценка или переоценка нашей способности противостоять глобальным рискам. 39

3.33. Стокгольмский синдром. 40

3.34. За ошибками оператора стоит неправильная подготовка. 40

3.35. Группа людей может быть глупее, чем каждый человек в отдельности. 40

3.36. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие. 40

3.37. Раскол футурологии по разным дисциплинам, как если бы эти процессы происходили независимо. 40

3.38. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить. («Беда не приходит одна») 41

3.39. Эффект избирательности внимания, сосредоточенного на катастрофах. 41

3.40. Подсознательное желание катастрофы. 42

3.41. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса. 42

3.42. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа. 42

3.43. Ошибка «хорошей истории». 43

3.44. идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – благо человечества. 43

3.45. Секретность как источник ошибок в управлении рисками. 43

3.46. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии. 44

3.47. Идея о том, что безопасность чего-либо можно доказать теоретически. 44

3.48. Недооценка человеческого фактора. 44

3.48. Идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 44

3.49. Статистика. 45

3.50. Ошибка, связанная со склонностью людей в большей мере учитывать широкоизвестные или легко доступные для вспоминания факты. 45

3.51. Двойная ошибка. 45

3.52. Анализ глобальных рисков не есть создание прогнозов. 45

3.53. Эффект знания задним числом приводит к тому, что люди восклицают «Я знал это с самого начала» и в силу этого переоценивают свои прогностические способности. 45

3.54. Эффект настройки на источники информации. 46

3.55. Частой ошибкой исследователей рисков является принятие малого процесса за начало большой катастрофы. 46

3.56. Часто, когда некая катастрофа уже произошла, более простое её объяснение подменяет более сложное. 46

3.57. Есть класс людей, которые придумывают апокалипсические сценарии, чтобы привлечь внимание к своим безумным проектам и добиться их финансирования. 46

3.58. Стремление людей установить некий приемлемый для них уровень риска. 47

3.59. Эффект «сверхуверенности молодого профессионала». 47

3.60. Ощущение неуязвимости. 47

3.61. Переоценка собственных профессиональных навыков. 47

3.62. Есть ряд ситуаций, когда меры по предотвращению небольшой катастрофы готовят ещё большую катастрофу. 48

3.63. Утомление исследователя. 48

3.64. Страх потери социального статуса исследователями, который приводит к тому, что они не касаются некоторых тем. 48

3.65. Количество внимания, которое общество может уделить рискам, конечно. 49

3.66. Пренебрежение экономикой. 49

3.67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит. 50

3.68. Ошибка, связанная с тем, что вместе того, чтобы исследовать истинность или ложность некого сообщения о риске, человек стремится доказать эту идею как можно большему числу людей. 51

3.69. Склонность людей предлагать «простые» и «очевидные» решения в сложных ситуациях – не подумав. 51

3.70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. 51

3.71. Ошибка, связанная с неправильной корреляции силы и безопасности. 51

3.72. Преждевременные инвестиции. 51

3.73. Склонность людей путать свои ожидания того, как оно будет в наиболее вероятном случае, и того, как оно будет в наилучшем случае. 52

3.74.Апатия прохожего. 52

3.75. Потребность в завершении. 52

3.76. Влияние авторитета и социальное давление группы. 52

3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом». 53

3.78. Ошибка, связанная с интеллектуальной проекцией. 53

3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины. 54

3.80. Забвение основного принципа медицины – «Не навреди!» 54

3.81. Путаница между объективными и субъективными врагами. 54

3.82. предчувствие катастрофы, на самом деле обусловленное завистью. 54

3.83. Страх утраты идентичности. 54

3.84. Понятная катастрофа может быть привлекательнее непонятного будущего. 55

3.85. Неправильное применение бритвы Оккама. 55

3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую. 55

3.88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки. 56

3.89. Отказ рассматривать некий сценарий по причине его «невероятности». 56

3.90. Переход от обмана к самообману. 56

3.91. Переоценка собственных возможностей вообще и выживаемости в частности. 56

3.92. Стремление к прекрасному будущему, заслоняющее восприятие рисков. 57

3.93. Фильтры, мешающие поступлению информации к руководству. 57

3.94. Любопытство может оказаться сильнее страха смерти. 58

3.95. Система и регламент. 58

3.96. Эффект «стрелочника». 58

3.97. Минимальный воспринимаемый риск. 58

3.98. Отвержение новых идей. 59

3.99. Воздействие эмоциональной реакции шока. 59

3.100. Проблемы отбора экспертов. 60

3.101. Вина и ответственность как факторы предотвращения рисков. 61

3.102. Недооценка сил инерции как фактора устойчивости систем. 61

3.103. Мировоззрение. 61

3.104. Психологические трудности, связанные с изменением точки зрения. 61

4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках. 62

4.1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте. 62

4.2. Подмена анализа возможностей анализом целей. 62

4.3. Неверное употребление индуктивной логики следующего вида: раз нечто очень давно не происходило, то это не будет происходить ещё очень долго. 62

4.4. Мышление, обусловленное желаниями – то, что по-английски называется «Wishful thinking». 62

4.5. Логическая ошибка, возникающая при с попытках доказать, что нужно делать, исходя только из описания фактов. 63

4.6. Ошибки, связанные с подменой анализов рисков анализом коммерческих мотивов тех, кто о них говорит. 63

4.7. Использование так называемого «авторитетного знания». 63

4.8. Неправильное применение идеи о том, что теория должна быть опровержимой, чтобы быть истинной. 64

4.9. Восприятие новой информации через призму старой. 64

4.10. Ошибка в выборе нейтральной позиции. 64

4.11. Уверенность как источник ошибок. 64

4.12. Употребление полностью ошибочной логики. 64

4.13. Различие между преднаукой и псевдонаукой. 65

4.14. Ошибка, связанная с неправильным определением статуса «универсалий». 65

4.15. Утверждения о возможности чего-то и невозможности неравносильны. 66

4.16. Очевидности как источник ошибок. 66

4.17. Недооценка собственной ошибочности. 66

4.18. Ошибка, связанная с представлением о том, что каждое событие имеет одну причину. 66

4.19. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы. 67

4.20. Необходимость выбора актом веры. 67

4.21. Эффект первой и последней прочитанной книги. 68

4.22. Преувеличение роли компьютерного моделирования. 68

4.23. Доказательство по аналогии. 68

4.24. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной. 68

4.25. Санкт-Петербургский парадокс. 69

4.26. Различие между опасностью и риском. 70

4.27. Систематическая ошибка, связанная с эгоцентричностью. 70

4.28. Систематическая ошибка, связанная с атрибуцией причины. 70

4.29. Если вероятность некого события является невычислимой, ей полагают нулевой. 70

4.30. Упущение того, что безопасность системы определяется наиболее слабым её звеном. 70

4.31. Для того, чтобы отвергнуть некую гипотезу, надо в начале её рассмотреть. 70

4.32. Невычислимость. 71

4.33. Наблюдательная селекция. 73

5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта. 73

5.1. Разброс мнений по вопросу о безопасности ИИ означает отсутствие реальных доказательств безопасности. 73

5.2 Ошибочной является идея о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. 74

5.3. Критика ИИ Пенроузом. 74

5.4. Представление о том, что 3-х законов робототехники А.Азимова достаточно, чтобы решить все проблемы с безопасностью ИИ. 75

5.5. Прогресс в области программного обеспечения отсутствует. 75

5.6. Никто в мире не занимается такой ерундой как ИИ. 76

5.7. ИИ – это разные приложения, вроде распознания образов. 76

5.8. Антропоморфизм. 76

5.9. Достаточно отключить ИИ от питания, чтобы его остановить. 76

5.10. Даже распространившись по Интернету, Ии никак не сможет воздействовать на внешний мир. 76

5.11. У ИИ не может быть собственных желаний, поэтому он никогда не станет причинять человеку вред. 76

5.12. ИИ будет осваивать космос, оставив Землю человеку. 76

5.13. Любой ИИ является интеллектом, поэтому он обладает целью Y (подставить нужное), и это благо. 77

5.14. Современные компьютеры очень ограничены, поэтому Ии будет только в отдалённом будущем – через десятки лет. 77

5.15. Прогресс в понимании работы ума идёт очень медленно. Поэтому ИИ будет работать очень медленно. 77

5.16. Человек способен делать X (подставить нужное), что никогда не сможет делать ИИ, и поэтому Ии не представляет никакой угрозы. 77

5.17. ИИ невозможен, потому что он мыслит алгоритмически, а человек неалгоритмически. 77

5.18. ИИ будет примерно такой же умный, как и человек. 78

5.19. ИИ будет равноправным сотрудником человека с теми же возможностями и правами. 78

5.20. Представление, что ИИ будет много. 78

5.21. Различия в понимании того, что, собственно, является интеллектом. 78

5.22. Однозначное отождествление ИИ как отдельного объекта. 79

5.23. Достаточно спрятать ИИ в чёрный ящик, что он был безопасен. 79

5.24. В Японии уже был проект по созданию Ии в 80-е годы, и он потерпел неудачу, поэтому ИИ невозможен. 79

5.25. ИИ надо дать команду Z (подставить нужное), и всё будет в порядке. 79

5.26. «Когда я достигну эффективности в реализации Ии, я подумаю о его безопасности». 80

5.27. «Маловероятно, что наш проект по Ии выйдет из-под контроля». 80

5.28. Мы можем ни о чём не заботится, потому что ИИ решит все наши проблемы. 80

5.29. Нетождественность способностей и намерений. 80

6. Специфические ошибки, связанные рассуждениями о рисках нанотехнологий. 80

6.1. Нанотехнологии невозможны, так как невозможно создать механизмы с точностью до одного атома. 80

6.2. Нанофабрики безопаснее наноассемблеров. 80

6.3. Нанотехнологии настолько далеки от нас во времени, что о них можно не думать. 80

6.4. «Нанотехнологии придумали только для отмывания денег» 81

6.5. Нанотехнологии связаны только с мелкодисперсными материалами. 81

6.6. Нанороботы будут слабее бактерий, потому что у бактерий были миллиарды лет, чтобы приспособиться к окружающей среде. 81

6.7. Если бы нанороботы были возможны, их бы уже создала природа. 81

6.8. Нанороботы не смогут размножаться в природной среде. 81

6.9 Нанороботов в природной среде будет легко уничтожить взрывом бомбы. 81

6.10. Нанороботы будут состоять только из нескольких атомов, что невозможно или малофункционально. 82

6.11. Нанороботы будут глупы и неэффективны, так как в них нельзя разместить компьютер. 82

6.22. Не сделает ли принцип неопределённости квантовой физики молекулярные машины неосуществимыми? 82

6.23. Не сделают ли тепловые вибрации молекул молекулярные машины неработоспособными или слишком ненадёжными, чтобы их использовать? 83

6.24. Не будет ли радиация разрушать молекулярные машины или делать их непригодными для использования? 83

6.25. Эволюция не сумела произвести ассемблеры, не говорит ли это о том, что они являются либо невозможными, либо бесполезными? 83

6.26. Доказательства реализуемости ассемблеров и других наномашин могут казаться обоснованным, но почему бы просто не подождать и не посмотреть, действительно ли они могут быть разработаны? 84

6.27. Наша склонность ожидать грандиозных результатов от грандиозных причин. 84

6.28. Детали наномашин буду слипаться в силу квантовых, вандерваальсовых и прочих сил. 84

6.29. Активный нанотехнологический щит, подобный иммунной системе, будет идеальной защитой от опасных нанороботов. 84

6.30. Дрекслер – фантазёр, а настоящие нанотехнологии состоят в чём-то другом. 85

7. Палеофутурология. 85

8. Выводы по анализу когнитивных искажений в оценке глобальных рисков. 86

9. Возможные Правила для эффективной оценки глобальных рисков. 87

Литература по оценке рисков. 88

Раздел 1. Введение. 90

1.1. Рассматриваемый промежуток времени: XXI век. 91

1.2. Проблемы численного вычисления вероятностей различных сценариев. 92

1.3. Численные оценки вероятности глобальной катастрофы, даваемые различными авторами. 99

1.4. Глобальные катастрофы и горизонт прогноза. 100

1.5. Историография. 102

1.6. Уровни возможной деградации. 104

раздел 2. Однофакторные сценарии глобальной катастрофы. 107

2.1. Атомное оружие. 108

2.1.1. Ядерная зима. 109

2.1.2. Полное радиоактивное заражение. 112

2.1.3. Сверхбомба. 114

2.1.4. Накопление антиматерии. 114

2.1.5. Дешёвая бомба. 115

2.1.6. Равномерная атака на радиационные объекты. 115

2.1.7. Взрыв мощных бомб в космосе. 116

2.1.8. Интеграция поражающих факторов ядерного оружия. 116

2.1.9. Стоимость. 117

2.1.10. Вероятность данного события. 117

2.1.11. Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени. 120

2.1.12. Стратегия сдерживания под вопросом. 121

2.1.13. Выводы по ядерной войне. 123

2.2. Глобальное химическое заражение. 123

2.2.2. Выводы по рискам, технологии для которых уже готовы. 128

2.2.3. Риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий. 128

2.3. Биологическое оружие. 129

2.3.1. Общие соображения и основные сценарии. 129

2.3.2. Структура биологической катастрофы 131

2.3.3. Саморазмножающейся синтезатор ДНК. 133

2.3.4. Множественный биологический удар. 133

2.3.5. Биологические средства доставки. 134

2.3.6. Вероятность применения биологического оружия и её распределение во времени. 135

2.4. Супернаркотик. 137

2.5. Риски, связанные с самокопирующимися идеями – мемами. 140

2.6. Искусственный интеллект. 141

2.6.1. Общее описание проблемы. 141

2.6.2. Что нужно для ИИ в смысле технологии. 142

2.6.3. Почему Ии является универсальным абсолютным оружием. 143

2.6.4. Система целей. 144

2.6.5. Борьба ИИ-проектов между собой. 144

2.6.6. Усовершенствованный человек. 145

2.6.7. ИИ и его отдельные экземпляры. 145

2.6.8. «Бунт» ИИ. 145

2.6.9. Скорость старта. 146

2.6.10. Сценарии «быстрого страта»: 146

2.6.11. Медленный старт и борьба разных ИИ между собой. 147

2.6.12. Плавный переход. Превращение государства в ИИ. 148

2.6.13. «Восстание» роботов. 149

2.6.14. Контроль и возможность истребления. 150

2.6.15. ИИ и государства. 151

2.6.17. Вероятность появления ИИ. 151

2.6.18. Другие риски, связанные с компьютерами. 153

2.6.19. Время возникновения ИИ. 154

2.7. Риски, связанные с роботами и нанотехнолгиями. 155

2.7.1. Робот-распылитель 155

2.7.2. Самовоспроизводящийся робот. 155

2.7.3. Стая микророботов. 156

2.7.4. Армии крупных боевых роботов, выходящие из-под контроля. 156

2.7.5. Неограниченное распространение нанороботов. 156

2.7.7. Вероятность возникновения нанороботов и возможное время для этого события. 160

2.8. Технологические способы провоцирования естественных природных катастроф. 160

2.8.1. Отклонение астероидов. 161

2.8.2. Создание искусственного сверхвулкана. 161

2.9. Технологические риски, связанные с принципиально новыми открытиями. 163

2.9.1. Неудачный физический эксперимент. 163

2.9.2. Новые виды оружия, новые источники энергии, новые среды распространения и дальнодействия. 167

2.10. Риски, связанные с освоением космического пространства. 167

2.10.1. Атака на землю с помощью космического оружия. 167

2.10.1. Ксенобиологические риски. 168

2.10.2. Столкновение с превосходящими нас разумными силами. 169

2.10.3. Риски, связанные с программой SETI. 171

2.11. Риски, связанные с размыванием границ между человеком и нечеловеческим. 181

2.11.1. Риски, связанные с проблемой «философского зомби». 181

2.12. Природные риски. 182

2.12.1. Геологические катастрофы. 182

2.12.2. Извержения сверхвулканов. 182

2.12.3. Падение астероидов. 184

2.12.4. Зона поражения в зависимости от силы взрыва. 187

2.12.5. Солнечные вспышки и увеличение светимости. 189

2.12.6. Гамма-всплески. 191

2.12.7. Сверхновые. 192

2.12.8. Глобальное потепление. 192

2.12.9. Сверх-цунами. 194

2.12.10. Сверх-землетрясение. 195

2.12.11. Переполюсовка магнитного поля Земли. 195

2.12.13. Возникновение новой болезни в природе. 196

2.12.14. Маргинальные природные риски. 196

2.12.15. Переход вакуума в состояние с более низкой энергией. 197

2.12.16. Неизвестные процессы в ядре Земли. 197

2.12.17. Взрывы других планет солнечной системы. 199

2.12.18. Немезида. 199

2.12.19. Прекращение действия «защиты», которую нам давал антропный принцип. 200

2.12.20. Ослабление устойчивости и человеческие вмешательства. 201

2.13. Видовые риски, не связанные с новыми технологиями. 202

2.13.1. Исчерпание ресурсов. 202

2.13.2. Перенаселение. 202

2.13.3. Крах биосферы. 203

2.13.4. Социально-экономический кризис. Война. 203

2.13.5. Генетическая деградация и ослабление фертильности (способности к размножению). 204

2.13.6. Старение вида. 204

2.13.7. Вытеснение другим видом. 205

2.14. Неизвестные нам сейчас причины катастроф. 205

2.14.1. Закон Мура в отношении глобальных катастроф. 205

2.15. «Конструктор» однофакторных сценариев глобальной катастрофы. 207

2.15.1. Общие признаки любого опасного агента. 207

2.15.2. Способы возникновения. 207

2.15.3. выход из точки и начало распространения. 208

2.15.4. Распространение важнее разрушения. 209

2.15.5. Способ распространения. 209

2.15.6. Способ причинения смерти. 211

2.15.7. Типичные виды разрушающего воздействия: 212

2.15.8. Временная структура события. 213

2.15.9. Предаварийные ситуации 214

2.15.10. Намеренная и случайная глобальная катастрофа. 214

2.15.11. Машина судного дня. 215

3. Многофакторные сценарии. 217

3.1. Интеграция различных технологий, создающие ситуации риска. 217

3.2. Парные сценарии. 218

3.3. Исторические аналогии глобальной катастрофе. 222

3.4. Неизбежность достижения устойчивого состояния. 225

3.5. Рекуррентные риски. 226

3.6. Глобальные риски и проблема темпа. 226

3.7. Сравнительная сила разных опасных технологий. 228

3.8. Последовательность возникновения различных технологий во времени. 228

3.9. Сопоставление факторов риска разных технологий. 229

3.10. Цели создания. 231

3.11. Социальные группы, готовые рискнуть судьбой планеты. 235

3.12. Обобщающий коэффициент, связанный с человеческим фактором. 236

3.13. Принятие решения о ядерном ударе. 237

3.14. Цена вопроса. 239

4. Глобальные риски второго рода. 241

4.2. События, которые могут открыть окно уязвимости. 242

4.3. Системные кризисы. 243

4.4. Кризис кризисов. 251

4.5. Технологическая Сингулярность. 252

4.6. Перепотребление приводит к одновременному исчерпанию всех ресурсов. 255

4.7. Системный кризис и технологические риски. 256

4.8. Степень мотивации и осведомленности как факторы глобального риска. 257

5. Криптовойны, гонка вооружений и другие сценарные факторы, повышающие вероятность глобальной катастрофы. 260

5.1. Криптовойна. 260

5.2. Уязвимость к сверхмалым воздействиям. 260

5.3. Гонка вооружений. 261

5.4. Моральная деградация. 261

5.5. Враждебность как сценарный фактор. 263

5.6. Месть как сценарный фактор. 263

5.7. Война как сценарный фактор. 264

5.8. Деградация биосферы. 266

5.9. Глобальная дезинфекция. 266

5.10. Экономика как сценарный фактор. 267

5.11. Точка абсолютной уязвимости. 267

5.12. Раскачивающее управление. 268

5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска. 268

5.14. Открытия. 271

5.15. Общие модели поведения систем на грани устойчивости. 272

5.16. Переход катастрофического процесса с одного уровня на другой. 273

5.17. Схемы сценариев. 273

5.17.1. Нехватка ресурсов – война – новые технологии – неожиданные результаты – распространение технологий. 274

6. Глобальные риски третьего рода. 274

6.1. Определение. 274

6.2. Закон Мура. 275

7. Защита от глобальных рисков. 279

7.1. Общее понятие о предотвратимости глобальных рисков. 279

7.2. Активные Щиты. 281

7.3. Действующие и будущие щиты: 284

7.4. Последовательность действия щитов разного уровня. 285

7.5. Сохранение мирового баланса. 285

7.6. Система контроля. 286

7.7. Сознательная остановка технологического прогресса. 287

7.8. Средства превентивного удара. 288

7.9. Удаление источников рисков на значительное расстояние от Земли. 289

7.10. Выживание на природе, создание отдалённых поселений. 289

7.11. Создание досье на глобальные риски и рост общественного понимания. 290

7.12. Убежища и бункеры. 290

7.13. Опережающее расселение в космосе. 294

7.14. всё как-нибудь обойдётся. 294

7.15. Деградация в устойчивое состояние. 295

7.16. Предотвращение одной катастрофы с помощью другой. 295

7.17. Организации, ответственные за предотвращение катастрофы. 296

7.18. Проблема моделирования сценариев глобальной катастрофы. 298

7.19. Глобальные катастрофы и проблема веры. 303

7.20. Глобальные катастрофы и устройство общества. 308

7.21. Глобальные катастрофы и текущая ситуация в мире. 311

7.22. Мир после глобальной катастрофы. 311

7.23. Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф. 313

8. Непрямые способы оценки вероятности глобальной катастрофы. 314

8.1. Закон Парето. 314

8.2. Гипотеза о «Чёрной королеве». 315

8.3. Парадокс Ферми. 316

8.4. «Doomsday argument». Формула Готта. 317

8.5. Рассуждение о конце света Картера-Лесли. 319

8.6. Аналогия с человеком. 323

8.7. Непрямая оценка вероятности природных катастроф. 323

8.8. Рассуждение о Симуляции. 325

8.9. Интеграция различных непрямых оценок. 328

9. Заключение. Наиболее вероятный сценарий глобальной катастрофы. 330

10. Рекомендуемая литература: 333

Литература: 336

5. Угрозы уничтожения человечества 396
   
6. Неуничтожимость как главная сверхзадача цивилизации 398
   
7. Качества неуничтожимой цивилизации 401
   
8. О необходимости разработки теоретических основ решения задач неуничтожимости человечества 402
   

1 Я благодарю Майкла Рой Амеса, Эрика Баума, Ника Бострома, Милана Чирковича, Джона Кларка, Эмиля Гиллиама, Бена Гёрцеля, Робина Хэнсона, Кейт Хэнсона, Билла Хиббарда, Олие Ламба, Петра МакКлуски и Майкла Уилсона за их комментарии, предложения и критику. Нет необходимости говорить, что все оставшиеся ошибки в этой статье – мои.

2 Эта история, хотя и известная, и часто цитируемая, может быть апокрифической. Я не нашёл сообщения из первых рук. Для отчёта без ссылок см. (Crochat and Franklin, 2000) или по адресу: ссылка скрыта. Ошибки такого рода являются предметом больших реалистических рассмотрений при создании и тестировании нейронных сетей.

3 Bill Hibbard, после просмотра черновика этой статьи, написал ответ, доказывающий, что аналогии с проблемой «классификатора танков» не применима к подкрепляющему обучению в целом. Его критика может быть найдена здесь: