SETI не относится к научной фантастике. Регулярные поиски внеземных сигналов идут с 60-х годов. В настоящий момент частный фонд ATA (org/seti/projects/ata/ )планирует развернуть 350 радиотелескопов по всему земному шару с бюджетом в десятки миллионов долларов. Это означает, что если опасные сигналы в нашей галактике существуют, они могут быть пойманы в ближайшие несколько лет. Даже если они не будут содержать кода, направленного на уничтожение человечества, шок от такой встречи будет иметь значительные последствия для Земли. Программа поиска внеземных радиосигналов уже давно осознаётся как потенциально опасная. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этому существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт – ничтожно мала. (См. статью А.Зайцева «sending and searching for interstellar messages» ссылка скрыта). В этой статье допускается, что не только активное SETI, то есть посылание сигналов в космос, но и пассивное SETI, то есть чистое слушание, может быть опасно, поскольку получение и расшифровка сообщений может дать опасные технологии в руки неподготовленных индивидов и организаций. Однако есть и более жёсткий вариант рисков, связанных со слушанием космоса, которые возникают, если допустить, что ИИ возможен, и базовая программа для него может быть переслана по радио.
Нет нужды говорить, что для радиотелескопов SETI верен свой закон Мура, который означает, что их характеристики возрастают во много раз каждые несколько лет (от проекта к проекту). Это означает, что шансы успешного SETI экспоненциально растут.
В данной рассматриваются риски, связанные с программой пассивного поиска инопланетных сигналов (SETI). В статье предлагается сценарий возможной уязвимости и обсуждаются причины, по которым доля опасных сигналов может быть велика.
Идея о том, что пассивное SETI может быть опасно – не нова. Структурную схему инопланетной атаки через SETI сигналы предложил Хойл в своём романе «Андромеда». Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит генетический код. На основании этого кода выращивают разумное существо – девушку Андромеду, которая обещает продвинутые технологии военным. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Когда доверие к ней возрастает, её действия внезапно становятся враждебными, и её с трудом удаётся остановить. Этот сценарий остаётся фантастическим, потому что кажется невероятным, чтобы инопланетяне знали генетический код, уникальный для земной жизни, и, во-вторых, потому что мы не обладаем технологиями, позволяющими синтезировать новый живой организм по одному только его генетическому коду. Или, во всяком случае, не обладали ими вплоть до недавнего времени. Нынешние технологии прямого и обратного секвенсирования ДНК, а также успехи в создании изменённого кода ДНК с другим набором алфавита говорят о том, что ещё через 10 лет задача воссоздания живого существа по присланному из космоса коду была бы реализуема. Всё же маловероятно, что нам пришлют код живого разумного существа, так как оно было бы крайне уязвимо к неблагоприятным условиям - тем более, что есть более эффективные сценарии.
Ганс Моравек в книге «Дети ума» (1988) предлагает новый вид уязвимости загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина. Примерно в этом же направлении развивается мысль Р.Кэрригена, который написал статью «SETI-хакер», где высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-home. Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно. Через некоторое время Кэрриген выпустил вторую статью – «Следует ли обеззараживать сигналы SETI?», переведённую мною на русский язык. В ней он указал на лёгкость передачи гигабайт данных на межзвёздные расстояния, а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от убеждения в возможности того, что инопланетный вирус заразит земные компьютеры напрямую, и без человеческой помощи. В качестве возможного подтверждения этой идеи он показал, что без труда возможен обратный инжиниринг языка компьютерной программы – то есть по тексту программы можно догадаться, что она делает и затем восстановить значение операторов.
В 2006 году была написана статья Е.Юдковски «ИИ как позитивный и негативный фактор глобального риска», где он показал, что весьма вероятно возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI – зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
В начале предположим, что существует внеземная цивилизация, которая имеет цель послать такое сообщение, которое позволит ей установить власть над Землёй, и рассмотрим, как мог бы выглядеть такой сценарий. В следующей главе мы рассмотрим вопрос, насколько реально то, чтобы другая цивилизация стала бы посылать такое сообщение.
Во-первых, отметим, что чтобы доказать уязвимость, достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач различается на много порядков, что хорошо известно специалистам по компьютерной безопасности. Именно это различие приводит к тому, что почти все компьютерные системы были взломаны (от Энигмы от Айпода). Я сейчас постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI. Вместе с тем, я хочу предостеречь читателя от мысли, что если он найдёт ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI. Во-вторых, я также хочу обратить внимание читателя, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более месяца размышлений. Сверхцивилизация с IQ в 1000000 и временем размышлений в миллионы лет может существенно усовершенствовать этот алгоритм или найти гораздо более простой и эффективный. Наконец, предлагаемый мною алгоритм не единственный и потом мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом.
Итак, алгоритм атаки по SETI:
Отправитель сигнала создаёт некий маяк в космосе, который привлекает своим явно искусственным сообщением. Например, это может быть звезда, обёрнутая сферой Дайсона, в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого вся звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идёт разное расстояние. Тем не менее, такой маяк может быть виден на расстоянии миллионов световых лет. Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния.
Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание в этому источнику. Этот источник предаёт некую бинарную (то есть последовательность 0 и 1) информацию. Насчёт возражения о том, что эта информация будет содержать шумы, отмечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала по кругу.
Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача с его помощью изображений. Во-первых, потому что в ходе земной эволюции глаза возникали независимо 7 раз, а значит, представление трёхмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам способным построить радиоприёмник.
Во-вторых, двухмерные изображения не трудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развёртки. В конце каждой сроки изображения помещается яркий сигнал, повторяющийся у каждой строки, то есть через равные количества битов. Наконец в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра, и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так:
0101011110101011111111111111111
0111101011111111111111111111111
1110011110000011111111111111111
Здесь сигналом строчной развёртки является последовательность из 25 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.
Очевидно, цивилизация отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
С помощью картинок и фильмов можно передать много информации, можно даже обучит языку, показать свой мир. Очевидно, что можно много спорить о том, насколько такие фильмы будут понятны. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно, они знают радиотехнику – то есть знают транзисторы, конденсаторы, резисторы. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы).
Посылая фотографии с изображением справа радиодеталей, а слева – их условные обозначения, можно легко передать набор знаков, обозначающих электрические схемы. (примерно так же можно было бы передать и логические элементы компьютеров)
Затем с помощью этих обозначений цивилизация-отправитель передаёт чертёж простейшего компьютера. Простейший с аппаратной точки зрения компьютер – это машина Поста. У неё только 6 команд и одна лента данных. Полная её электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертёж машины Поста нетрудно.
При этом важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг совместимыми. То есть инопланетные компьютеры на базовом уровне совместимы со всеми земными. Тьюринг совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале 19 века была Тьюринг совместимой.
Затем она начинает передавать программы для этого компьютера. Хотя этот компьютер крайне прост, он может выполнить программу любой сложности, хотя запись её будет очень длинной, в сравнении с записью программы для более сложного компьютера. Вряд ли люди буду делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера, так, что он будет успевать выполнять триллионы операций в секунду, и поэтому даже очень сложные программы будут выполняться на нём достаточно быстро.
С какой стати люди будут создавать этот пересланный компьютер, и выполнять на нём программы? Вероятно, помимо собственно схемы компьютера и программ в сообщении должна быть некая «наживка», которая бы побудила людей создать такой компьютер, запустить на нём инопланетный программы и предоставить этому компьютеру некие данные о внешнем земном мире. Наживки бывают двух родов – соблазны и угрозы.
Например, возможно следующее «честное предложение» - назовём его «гуманитарная помощь». Отправители сигнала SETI «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно её целей. То есть они утверждают, что это «подарок», который поможет решить нам все медицинские и энергетические проблемы.
«Соблазн абсолютной власти» - в этом сценарии он предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
«Неведомая угроза» - в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например, от другой враждебной цивилизации, и чтобы от неё защитится, нужно вступить в «Галактический альянс» и построить у себя некую установку.
«Неутомимый исследователь» - здесь отправители утверждают, что отправка сообщений – самый дешёвый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад.
Однако основная угроза от инопланетного послании с кодом – не в том, какая именно там будет наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей. А именно, допустим, в мире станет известно, что из галактики Андромеда исходит инопланетной послание, и американцы его уже получили и пытаются расшифровать. Разумеется, тут же все другие страны кинутся строить радиотелескопы и обшаривать ими галактику Андромеду, поскольку будут бояться упустить стратегическое преимущество. И они найдут сообщение и увидят, что там находится предложение о всемогущества. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут клясться, что не открывали опасный код и умолять других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные инопланетные преимущества, и пытаются лишить их «прогрессивное человечество». И хотя большинство будут понимать опасность запуска инопланетного кода, найдутся некоторые, которые готовы будут рискнуть. Тем более что здесь будет игра в духе «начавший первым получает всё», равно как и в случае открытия ИИ, как подробно показывает Юдковски. Итак, опасна не наживка, а множественность получателей. Если же инопланетное послание в сыром виде утечёт в интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то здесь мы имеем классический пример «знаний массового поражения», как сказал Билл Джой, имея в виду, правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его даже без всякой наживки.
Поскольку у людей нет своего ИИ, они существенно недооценивают его силу и переоценивают свои способности его контролировать. Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в чёрный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребёнка. Если ИИ вырвется в интернет, то он может быстро подчинить его себе целиком, а также обучится всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем ИИ может создать продвинутые нанотехнологии, закупив некие биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают). Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание материальной инфраструктуры ИИ потребуется срок порядка недель.
После этого люди ему не нужны для реализации каких-либо его целей. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.
После этого данный SETI-AI может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. Для этого он начнёт, вероятно, превращать материю солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на части.
Итак, мы рассмотрели один возможный сценарий атаки, который стоит из 15 этапов. Каждый из этих этапов выглядит логически убедительным и может критиковаться и защищаться по отдельности.
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку и пытаться её вскрыть. А это будет, на самом деле, подстава.
Однако не только рассылка исполняемого кода может быть опасна. Например, нам могут сообщать о некой полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Теперь мы обратимся к анализу целей, по которым некая сверхцивилизация могла бы осуществлять такую атаку.
Мы не должны путать понятия о сверхцивилизации и сверхдоброй цивилизации. Более того, от сверх доброты тоже ничего хорошего ждать не стоит. Хорошее об этом написано у Стругацких в «Волны гасят ветер». Какие бы цели нам не навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятны. А если SETI атака удалась, то её можно применить для «облагодетельствования» людей.
Мы можем поделить все цивилизации на наивные и серьёзные. Серьёзные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации, вроде Земли – уже обладают средствами дальней прослушки космоса и компьютерами, но ещё не обладают ИИ, не осознают рисков ИИ и не осознают рисков SETI, связанных с ИИ. Вероятно, каждая цивилизация проходит этап «наивности», и это именно этап уязвимости для SETI атаки. И вероятно, этот этап очень короток. Поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может быть, по земным меркам, только несколько десятков лет. Следовательно, SETI атака должна быть настроена именно на такую цивилизацию.
Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолётов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI атаку.
Самое важное, состоит в том, что достаточно один раз начать SETI атаку, как она волной пойдёт по Вселенной, поражая всё новые наивные цивилизации. Например, если у нас есть миллион безвредных вирусов и один опасный, то после того как они попадут в организм, у нас станет триллионы копий опасного вируса, и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс. Поскольку он распространяется почти со скоростью света, остановить его будет почти невозможно.
Далее, рассылка SETI сообщений будет приоритетом для поражённой SETI вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI только несколько десятков миллионов долларов, то есть порядка одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций. Иначе говоря, одна заражённая цивилизация будет производить в миллион раз больше ETI сигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций, и одна заражённая, то у нас будут равные шансы наткнуться на здоровую или заражённую.
Более того, нет никаких других разумных причин, кроме саморазмножения, чтобы рассылать свой код в космические дали, откуда не может быть ответа.
Более того, такой процесс может начаться случайно – например, в начале это был просто исследовательский проект, цель которого была в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а потом это процесс из-за неких сбоев или мутаций стал «раковым».
Нет ничего необычного в такой модели поведения. В любой информационной среде существуют вирусы – в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы.
Путешествие с помощью SETI атаки гораздо дешевле любых других способов. А именно, находясь в Андромеде, можно одновременно посылать сигнал на 100 миллиардов звёзд нашей Галактики. Но потребовалось бы миллиарды звездолётов, к тому же более медленных, чтобы облететь все звёзды нашей Галактики.
Перечислю ещё несколько возможных целей SETI атаки навскидку, просто чтобы показать, что может быть много таких целей.
Это делается для исследования вселенной. После исполнения кода возникают исследовательские зонды, которые отсылают назад информацию.
Это делается для того, что не возникло конкурирующих цивилизаций. все их зародыши уничтожаются.
Это делается для того, чтобы другая конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом.
это делается для того, чтобы подготовить базу к прилёту твердотельных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко, и соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью её кораблей (допустим, 0,5 с) составляет тысячелетия.
это делается с нелогичными и непонятными для нас целями, например, как произведение искусства, акт самоутверждения или игрушка. (Например, инопланетянам будет непонятно, зачем американцы воткнули флаг на луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?)
Поскольку Вселенная существует уже давно, то область, на которую могла бы распространится SETI-атака занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе от нас высотой в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI атаки. Разумеется, это верно, если средняя плотность цивилизации – хотя бы одна штука на галактику.
По мере увеличения глубины сканирования неба на порядок, объём пространства и число звёзд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнутся на ETI сигнал растут нелинейно, а по быстро растущей кривой.
Выводы по SETI-угрозе. Наилучшей нашей защитой в данном контексте было бы то, что цивилизации встречались бы крайне редко. Однако это не совсем верно, потому что здесь парадокс Ферми срабатывает по принципу «оба хуже»:
Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать
Если же внеземных цивилизаций нет, то это тоже плохо, так как придаёт вес гипотезе о неизбежности вымирания технологических цивилизаций.
Теоретически возможен обратный вариант, который состоит в том, что по SETI придёт полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не делайте никаких экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это, чтобы лишить нас неких технологий. (Подтверждением было бы, если бы аналогичные сообщения приходили бы от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн экспериментировать с Х-частицами.
Поэтому я не призываю отказаться от поисков SETI, тем более что такие призывы бесполезны.
Возможно, было бы полезно отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. До этого момента, возможно, осталось 10-30 лет, то есть можно потерпеть. Во-вторых, важно было бы скрывать факт получения опасного SETI сигнала, его суть и месторасположения источника.
С этим риском связан интересный методологический аспект. Несмотря на то, что я каждый день в течение последнего года размышляю и читаю на темы глобальных рисков, я обнаружил эту опасную уязвимость в SETI только сейчас. Задним числом я смог найти ещё примерно четырёх человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть ещё не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.
