Geum.ru

А. В. Турчин Ответственные редакторы

Вид материалаРеферат

Содержание


5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска.
Подобный материал:
1   ...   79   80   81   82   83   84   85   86   ...   110

5.13. Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска.


Наше знание по-разному влияет на вероятность разных рисков. Можно выделить, так сказать, «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться – в отличие от рисков, которые мы можем приготовиться достаточно легко. Подготовка к риску включает в себя то, что мы:
  1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры против него. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)
  2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может придти риск.
  3. В момент начала риска, мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем привести в жизнь в правильное время.
  4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.
  5. Мы обладаем таким количеством ресурсов, которое позволяет минимализировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.

Иначе говоря, контролируемый риск – этот риск, которым мы можем управлять, делая его произвольно малым.

С другой стороны, можно описать неконтролируемый риск:
  1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а следовательно, нулевой.
  2. Это событие устроено так, что оно не имеет никаких предвестников, или они нам неизвестны.
  3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимализировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.
  4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает.
  5. наших ресурсов не хватает, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.

Изложенная модель неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию того, что когда некий опасный процесс начнётся, люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлый катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, исходя из неё, действуют. Тут не обойтись без нескольких примеров:

Пилоты Боинга, вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы рулевой «Титаника» ударился в айсберг строго в лоб, а не скользящим ударом, судно бы не потонуло.

Проводник поезда в германии решил пойти в конец поезда и посмотреть, что там происходит, вместо того, чтобы сразу дёрнуть за стоп-кран – в результате поезд сошёл с рельс со значительными жертвами.

В критических ситуациях людям очень трудно принимать решения, потому что эти ситуации:
  • Не очевидны им как критические
  • Никогда ещё не случались в их практике
  • Они испытывают давление эмоций, страхов, нехватки времени и предрассудков
  • Они обладают неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки.
  • Они понимают то, что сказано в инструкциях иначе, чем авторы инструкций.

И по ряду других причин, существенных именно для глобальных катастроф, о которых идёт речь в статье Е.Юдковски «Систематические ошибки в рассуждениях о глобальных рисках» и в моей статье «О возможных причинах недооценки рисков уничтожения человеческой цивилизации». Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание требует месяцев тщательного изучения, и, тем не менее, всегда остаются неясности, сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 процентах случаев аварии связаны с человеческим фактором, и в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы управления землёй могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.

Чем малопонятнее новые технологии, тем они автономнее от общественного контроля. Люди могут участвовать в опасных процессах, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в «Сумме технологий», где ИИ используется в качестве советчика по управлению государством. Разумеется, все советы, которые кажутся вредными, отклоняются. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело через много лет и несколько промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели баланса природных ресурсов, которые были поставлены перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.

Дрекслер так описывает этот риск: «Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными" (ее курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.»(«Машины созидания», гл.13)