А. В. Турчин Ответственные редакторы

Вид материалаРеферат

Содержание


3.86. Склонность переоценивать ущерб от малых и частых аварий и недооценивать большие и редкие
Снижение надёжности системы пропорционально четвёртой степени плотности энергии
Подобный материал:
1   ...   15   16   17   18   19   20   21   22   ...   110

3.77 Разрыв между обзорными и точечными исследованиями, между «деревом и лесом».


Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать. Движение сверху вниз. Это Дрекслер, Фрейтас и др. И есть уровень конкретных исследований отдельных молекул и их эффектов. С точки зрения первых «за деревом не видят леса», с точки зрения вторых «занимаются верхоглядством и фантастикой». Причём оба обвинения могут быть отчасти справедливы.

3.78. Ошибка, связанная с интеллектуальной проекцией.


Юдковски: «Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy) (Jaynes and Bretthorst 2003). Jaynes, специалист по байесовской теории достоверности, определил «ошибочность, связанную с умственной проекцией» как ошибку, связанную с тем, что состояния знания перепутаны со свойствами объектов. Например, фраза «мистический феномен» подразумевает, что мистичность – это свойство самого феномена – но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)» Пример такой ошибочности рассуждение вроде: «ИИ будет добрый, поэтому он не может меня убить». Тогда как доброта – это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная – мы называем ИИ «добрым» , потому что он нас не убивает.

3.79. Представление о том, что изменять обстоятельства следует, уничтожая их причины.


Однако спичка, от которой загорелся пожар, уже погасла. Далее, стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территорией.

3.80. Забвение основного принципа медицины – «Не навреди!»


Другая формулировка этого принципа: «Когда не знаешь что делать, не делай ничего». За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут.

3.81. Путаница между объективными и субъективными врагами.


Когда некто преследует цели, мешающие моим целям, он мой враг объективно (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично меня. Это понятие завязано на кровную месть. Путаница же состоит в том, что объективные враги начинают казаться субъективными. Например, если встать перед мчащимся поездом и сказать, что поезд хочет меня уничтожить. Однако между людьми бывает и реальные ситуации «субъективной» вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей.

3.82. предчувствие катастрофы, на самом деле обусловленное завистью.


Один из примеров того, когда неосознаваемые желания могут влиять на описание действительности. Яркий пример этому – множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.)

3.83. Страх утраты идентичности.


Система не хочет глубоко трансформироваться, так как тогда это будет уже не она. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности.

3.84. Понятная катастрофа может быть привлекательнее непонятного будущего.


В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации – см. у Юдковски.) Непонятное может вызывать страх.

3.85. Неправильное применение бритвы Оккама.


Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и этого не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!

3.86. Склонность переоценивать ущерб от малых и частых аварий и недооценивать большие и редкие.

Подробнее см. Юдковского (Юдковски 2007,1): «Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что должны быть обеспокоены…. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, такие образом, видимо, создавая фальшивое чувство безопасности, ведущее к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения настолько возрастает, что среднегодовой ущерб увеличивается. Кажется, что люди не экстраполируют с пережитых малых опасностей на возможности более серьёзных рисков; наоборот, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков».

3.87. Ошибка, связанная с неверным переносом закономерностей с одной системы на другую.


А) неучёт рост усложнения структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что по мере процессов глобализации, связность и структурность земной цивилизации растёт.

Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) проявляется в сравнении надёжности самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше – за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.