А. В. Турчин Ответственные редакторы
| Вид материала | Реферат |
- Урок №15. Тема: «Текстовые редакторы», 75.16kb.
- Нло как фактор глобального риска Алексей Турчин, 7525.63kb.
- Ббк 67. 99(2)9 К82 Ответственные редакторы, 7322.98kb.
- А. А. Жилкин Ответственные редакторы, 3418.4kb.
- Положение молодежи и реализация государственной молодежной политики в Российской Федерации:, 2576.32kb.
- Органы, ответственные за выполнение положений Регионального соглашения Автономной Республики, 609.76kb.
- Текстовые редакторы это программы для создания и редактирования текстовых документов, 263.8kb.
- Турчин В. Ф. Феномен науки: кибернетический подход к эволюции. Изд. 2-е, 20.53kb.
- Валентин турчин инерция страха социализм и тоталитаризм, 1299.53kb.
- Ответственные за организацию и проведение егэ-2010, 602.5kb.
Российская Академия Наук
Институт Африки
СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ
Совместный проект
Центра цивилизационных и региональных исследований
Института Африки РАН и
Российского Трансгуманистического Движения.
Москва 2008
СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»
Т.2
Составитель:
А.В. Турчин
Ответственные редакторы:
Валерия Прайд
А.В. Турчин
СОДЕРЖАНИЕ
Предисловие 3
А.В. Турчин
Структура глобальной катастрофы 5
Приложения:
E. Юдковски
Искусственный интеллект как позитивный и негативный фактор глобального риска 335
А.А. Кононов
Идеологические начала общей теории неуничтожимости человечества 390
Н. Бостром
Введение в Doomsday Argument 403
Предисловие
Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.
Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».
Если в ХХ веке возможность вымирания человечества связывалась только с рисками глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков такой глобальной катастрофы, которые связаны с развитием новых технологий, и число это постоянно растёт. Исследование этого вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.
Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: целостному обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер, то есть она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистичных сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.
Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы в плюс, а не в минус. Однако этому вопросу посвящён первый том серии «Диалоги о будущем», издаваемой Российским Трансгуманистическим Движением – организацией, посвящённой исследованию влияния радикальных технологических изменений на будущее человеческой цивилизации.
В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении, необходимые для более ясного понимания темы. Монография на две большие части – методологии и собственно анализа рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике ИСА РАН в виде статьи «О возможных причинах недооценки глобальных рисков».) Эта методология может быть полезна, с небольшими изменениями, и при любых других футурологических исследованиях. Затем в разделе о методологии делается ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.
В приложении в первую очередь следует отметить большую новаторскую статью американца Е.Юдковски «Искусственный интеллект как фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в солидном сборнике «Риски глобальной катастрофы», который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. (Я перевёл две другие статьи из этого сборника, которые выходят в первом томе серии «Диалоги о будущем», издаваемой РТД. Это статья Юдковски «Систематические ошибки в оценке глобальных рисков» и статья Н. Бострома «Угрозы существованию: анализ сценариев вымирания». Я настоятельно рекомендую прочесть эти статьи, которые также можно найти в сети, поскольку они в значительной мере являются отправными точками для рассуждений, которые последуют далее.) Е.Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию Seed AI, много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.
Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в Nature в разделе гипотезы, что говорит об определённом уровне признания.
Наконец, научный сотрудник Института Системного Анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.
Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:
- Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.
- Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.
- Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, Гагарин), или доводила их до масштабного предела (Царь-бомба). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).
- Особенности российского менталитета и организация производство («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.
- Информационная изоляция. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает медленнее, чем сами технологии, и подавляющее большинство литературы на тему глобальных рисков не переведено.
- Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков («русские хакеры»), что может быть особенно опасно в области биотехнологий.
- РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР, что может способствовать осуществлению опасных проектов.
- Публикации на русском могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая «насыщенность среды» информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира. Русскоязычная литература будет доступна и в странах СНГ. Кроме того, переводы на русский язык повышают статус зарубежных авторов. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные здесь знания. И есть класс зарубежных исследователей, читающих по-русски или русского происхождения.
- Россия может оказаться в обстоятельствах, когда её само существование, как части большого мира, окажется зависящим от внешних к ней обстоятельств, и станет необходимым быстрое принятие адекватное решений в условиях острой недостаточности информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.
- Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать на новые пути предотвращения глобальных рисков.
- Если Россия позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается лететь на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.
Многое, сказанное о РФ здесь, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков тоже низка.
Создавая описание возможных глобальных рисков, я не мог не нарисовать определённую картину будущего человечества, то есть перед вами - футурологическая работа.
А.В.Турчин
Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.
А.П.Чехов. «Чайка»
Структура глобальной катастрофы.
Введение.
Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)
Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.
Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.