Проблемы предотвращения глобальных рисков, угрожающих существованию человеческой цивилизации
| Вид материала | Сборник статей |
СодержаниеДэвид Брин. Сингулярность и кошмары. The retro prescription—renunciation). The seldom-mentioned alternative—reciprocal accountability ) The upside scenario—the singularity ) |
- Влияние военных действий на окружающую среду, 506.82kb.
- Пути, ведущие в грядущее тысячелетие. Проблемы и перспективы, 404.25kb.
- Рисков и минимизация возможных последствий, 23.42kb.
- История России, 409.95kb.
- Развития, 3304.77kb.
- Преамбула 1 Дипломатическая конференция по охране на море, состоявшаяся в Лондоне, 1637.66kb.
- Глобальные риски 2008 Доклад Группы анализа глобальных рисков Доклад для Всемирного, 1187.66kb.
- Жения целей в политической борьбе посредством физического насилия и морально-психологического, 2678.51kb.
- 2. 10. Экологическая безопасность в системе глобальных проблем современности, 222.03kb.
- Возможно ли появление технологий, которые могут повлиять на темпы развития человеческой, 126.66kb.
Дэвид Брин. Сингулярность и кошмары..ru/texts/2007/05/14-31.html Перевод: Алексей Валерьевич Турчин Разрешено некоммерческое использование перевода. avturchin ----- mail.ru Permanent link to this article: eilai.net/meme/frame.html?main=/articles/art0656.html Singularities and Nightmares by David Brin Приближающаяся сингулярность включает в себя следующие варианты: саморазрушение цивилизации, позитивная сингулярность, негативная сингулярность (машины берут верх) и возвращение к традиционному образу жизни. Нашей срочной целью является: найти ошибочные образы действий (и избежать их), используя предвидение (мысленные эксперименты), и усилить жизнеспособность – создать мощные системы, которые могут справляться почти с любой проблемой при её возникновении. Опубликовано в «Представление нанотехнологий: Обзор сверхточного проектирования и нанотехнологии». (Nanotechnology Perceptions: A Review of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27 2006.1 Reprinted with permission on KurzweilAI.net March 28, 2006). Чтобы у вас сегодня были приятные сны, позвольте мне предложить вам описание нескольких возможностей ближайшего будущего, которое скоро наступит – описание перемен, которые могут произойти в течение следующих примерно двадцати лет, приблизительно за одно человеческое поколение. Эти возможности принимаются всерьёз некоторыми лучшими современными умами и означают потенциальную возможность трансформации человеческой жизни на Земле и, может быть, даже самого смысла слова «человек». Например, что если биологи и органические химики смогут сделать для своих лабораторий то, что кибернетики сумели сделать для компьютеров? Сжать свои огромные биохимические лаборатории от бегемотов размером со здания до крайне компактных устройств, сделав их меньше, дешевле и мощнее, чем кто-либо может себе представить. Не это ли случилось с гигантскими компьютерами в недавнем прошлом? Вплоть до того, что сейчас ваш карманный сотовый телефон содержит столько же вычислительной мощности и конструктивной сложности, сколько было у НАСА во времена лунных запусков. Люди, которые предвидели эти перемены, скользили на гребне технологической волны. Некоторые из них заработали много денег. Биологи уже прошли большой путь к достижению такой же трансформации. Возьмём, например, Human Genome Project, который ускорил расшифровку ДНК на столько порядков, что большая часть этого процесса автоматизирована и миниатюризирована. Скорость выросла до небес, в том время как цена упала вниз, обещая нам, что вскоре каждый может иметь собственную генетическую карту в день обращения, за ту же цену, что ЭКГ. Продолжение этой тенденции в воображении, путём простой экстраполяции, уменьшит полную биохимическую лабораторию размером с дом до дешёвого агрегата на вашем столе. MolecuMac, если вы хотите. Возможности – и прекрасные, и ужасные. мы все окажемся в выигрыше, когда сконструированные лекарства и методы терапии будут легко модифицируемы образованными медицинскими работниками. Но будет ли биохимический эквивалент «хакеров»? Что мы собираемся делать, когда дети во всём мире смогут анализировать и синтезировать любые органические соединения по своей воле? В этом случае нам лучше рассчитывать на соответствующий прогресс в области искусственного интеллекта и роботов… во всяком случае, в приготовлении наших фаст-фуд гамбургеров. Я не собираюсь есть ни в одном ресторане, который нанимает злопамятных подростков, которые обмениваются забавными рецептами для своих молекулярных синтезаторов через Интернет. А вы? Но не поймите меня неправильно. Если мы когда-нибудь получим MolecuMac на наш рабочий стол, я готов поспорить, что 99 процентов его изделий будут нейтральны или позитивны, как и большая часть программ, создаваемых молодыми новаторами сегодня. Но если мы сейчас беспокоимся об одном проценте вредителей в мире битов и байтов – о хакерах и кибер-саботажниках – то что случится, когда этот вид «креативности» будет направлен на саму жизнь? И мы ещё не упомянули о возможности намеренного причинения вреда более крупными образованиями – террористическими сетями, интригующими диктаторами или мошенническими корпорациями. Эти страхи становятся ещё более беспокоящими, когда мы задумываемся о следующей за биотехом стадии. Уже сейчас распространяется глубокое беспокойство о том, что случится, когда нанотехнологии – микромашины, создающие продукты атом за атомом по сверхточным правилам - наконец достигнут успеха. Молекулярное производство может привести к созданию сверхэффективных заводов, которые будут создавать блага с ошеломительной эффективностью. Ремонтные нанороботы можно будет вводить в ваши кровеносные сосуды, чтобы лечить болезни или тонко настраивать функции тела. Провидцы предполагают, что эта технология поможет спасти планету от более ранних человеческих ошибок, например, путём катализа повторного использования устойчивых загрязнителей. Эти настольные устройства, в конце концов, могут стать универсальными производителями, которые будут превращать почти любой исходный материал в почти любой продукт, который вы захотите… … или (тревожатся некоторые) наномашины могут вырваться на свободу и стать окончательным загрязнением. Саморазмножающаяся бяка, пожирающая всё на своём пути и вероятно, превращающую всю земную поверхность в серую слизь. (gray goo) (2). Другие уже рассматривали эту проблему раньше, и некоторые – в очень ярких красках. Возьмём, например, великолепный роман «Жертва» (Prey) Майкла Кричтона (Michael Crichton), который изображает секретное агентство, высокомерно продвигающее самонадейную новую технологию, не обращая внимания на возможные изъяны и последствия. Этот типичный Кричтовский тревожащий сценарий о нанотехнологиях следует модели, почти идентичной его ранним триллерам о вырвавшихся на свободу динозаврах, роботах, и десятках других технических угроз, каждая из которых рассмотрена с отрефлексированным подозрительным отвращением. (Разумеется, в каждой ситуации опасные эксцессы случались в результате секретности, - тема, к которой мы позже вернёмся) Более ранний и лучший роман, «Музыка Крови» (Blood Music), Грега Бира (Greg Bear) представляет с большой живостью позитивные и негативные возможности нанотехнологий. Особенно возможность, которая больше всего беспокоит даже оптимистов в нанотехнологическом сообществе - что скорость инноваций может обогнать нашу способность справляться с ними. И, на некотором уровне, это древний страх. Если вы хотите выбрать единственное клише, которое распространенно повсеместно, пересекая все грани идеологии и веры – например, левое против правого, или даже религиозное против мирского – наиболее общим из всех будет следующее: «Разве это не позор, что наша мудрость отстаёт от нашей технологии?» Хотя это клише абсолютно верно на уровне отдельных человеческих существ и даже массовых объединений, таких, как корпорации, государственные учреждения или политические партии, ситуация нигде так не ясна, как на самом верхнем уровне человеческой цивилизации. В другом месте я предположил, что «мудрость» должна определяться, исходя из результатов и процессов, а не восприятия или проницательности любого отдельного гуру или мудреца. Возьмём, например, исход Холодной Войны - первый известный пример, когда человечество обрело средство массового уничтожения и затем в целом отошло от этой пропасти. Да, это средство уничтожения по-прежнему с нами. Но два поколения беспрецедентного самоограничения предполагают, что мы сделали некоторый прогресс по крайне мере в одном виде «мудрости». И это так, когда средства массового уничтожения контролируются несколькими избирательно отобранными высшими государственными лицами обеих сторон в ситуации простого противостояния. Но готовы ли мы к новой эре, когда дилеммы вовсе не так просты? В наступающее время самые худшие опасности для цивилизации могут возникать не от идентифицируемых и исчислимых противников, – которые стремятся победить в ясном, точно просчитанном соревновании – а от общей доступности средств нанесения вреда. Новые технологии, распространяемые через интернет и усиливаемые легко доступными инструментами, предложат всё большему числу разъяренных людей доступ к разными видам разрушительных сил, которые будут использованы по причине оправданной обиды, алчности, возмущения, или просто потому что они есть. Старинный рецепт: отказ от прав. (THE RETRO PRESCRIPTION—RENUNCIATION). Осознавая разгон технологий в биотехе, нанотехе, ИИ и т. д., некоторые искренние люди – вроде Билл Джоя (Bill Joy), бывшего ведущего учёного фирмы Sun – видят мало шансов для выживания полностью отрытого общества. Возможно, вы читали грустный манифест Джоя в журнале ‘Wired’ (3), в котором он цитирует Унабомбера (не кого-нибудь, а именно его) в поддержку предположения, одновременно старого и нового – что нашей единственной надеждой на выживание может быть отказ, уничтожение или остановка нескольких видов технологического прогресса. Идея об отказе получила поддержку повсюду на философской и политической карте, особенно на крайне правых и левых её краях. Возьмём, например, романы и высказывания Маргарет Атвуд (Margaret Atwood), чьи основные сюжетные линии почти идентичны тем, что у Майкла Кричтона, несмотря на их различия в поверхностной политике. Оба автора постоянно выражают беспокойство, которое часто переходит настоящее отвращение по отношению к самонадейной гордыне технологических инноваторов, которые просто не могут предоставить природу в достаточной мере самой себе. На другой стороне спектра правых и левых стоит Фрэнсис Фукуяма, который занимает пост Bernard L. Schwartz Professor of International Political Economy at the Paul H. Nitze School of Advanced International Studies of Johns Hopkins University. Наиболее известная работа доктора Фукуямы, «Конец истории и последний человек» (1992) с триумфом воспринимает коллапс коммунизма как, вероятно, последнее волнующее событие, стоящее занесения в летопись историков. С этого момента мы увидим цветение либеральной демократии без значительного соревнования или столкновений. Больше не будет «интересных времён». (4) Но этот жизнерадостный взгляд заканчивается, когда Фукуяма начинает замечать потенциально опасную «историю» разрушительных эффектов новых технологий. Будучи придворным интеллектуалом Администрации Буша и членом Президентского совета по биоэтике, он сейчас осуждает значительную часть биологической науки как разрушительную и даже аморальную. Нельзя, согласно Фукуяме, доверять людям в принятии качественных решений об использовании – например – генетической терапии. Человеческая «недоказуемость» столь опасная концепция, что она должна быть отвергнута почти без всяких исключений. В «Нашем постчеловеческом будущем: Последствия Биотехнологической революции» (2002), Фукуяма предписывает индустриальным отделам отечественного правительства контролировать или запретить целые направления научных исследований, производя все действия, которые они полагают для этого необходимыми. Вы можете подозревать, что я сомневаюсь. С одной стороны, должны ли мы распространить этот запрет на исследования на весь мир? Возможно ли истребить такие инструменты навсегда? Как для элит, так и для масс? И если да, то как? Хотя некоторые из режимов разрушения, упоминаемых Биллом Джоем, Ральфом Петерсом (Ralph Peters) и Фрэнсисом Фукуямой выглядят убедительными и стоящими исследования, всё же не понятно, как мы можем справиться со всем, став нео-луддитами. Законы, которые направлены на ограничение технологического продвижения, наверняка будут нарушаться экстремистскими группами, где как раз и сконцентрированы наибольшие опасности. Даже если будут введены свирепые репрессии – вероятно, усиленные всевидящим и универсальным контролем – это не предотвратит исследования и использование таких технологий элитами. (Корпорации, правительства, аристократы, преступники, иностранцы – выберете на свой вкус богему с неограниченной властью.) Годами я бросал вызов отрицателям прогресса - привести хотя бы один пример из всей человеческой истории, когда власть имущие позволяли такому случиться. Особенно, когда они наверняка оставались на месте, чтобы выиграть от чего-то нового. Будучи неспособными ответить на этот вызов, некоторые отрицатели возражали, что новые мега-технологии – включая биотех и нанотехнологию – могут быть лучше использованы и продвигаемы, если контроль будет ограничен известными элитами, возможно даже в секрете. Когда на кону так много, не должны ли лучшие и самые искренние люди принимать решения за всех? В действительности, по справедливости, я должен допустить, что один исторический пример, который я дал раньше – насчёт ядерного вооружения – не даёт особой поддержки этой идее. Определённо, главным обстоятельством здесь, которое спасло нас, было ограниченное число лиц, принимающих решения, которые могли начать бедственную войну. И ещё, не был ли весь политический процесс тогда под внимательным наблюдениям публики? Не были ли эти лидеры контролируемы публикой, хотя бы с одной стороны? Более того, решения об атомных бомбах не были сильно подвержены влиянию эгоистических интересов. (Говард Хьюз не стремился иметь и использовать частный ядерный арсенал.) Но эгоистический интерес определённо будет воздействовать на правящие элиты, когда они будут оценивать огромные преимущества и потенциальную цену биотехнологий и нанотехнологий. И с другой стороны, не является ли элитарная секретность в точности тем создающим ошибки режимом, который Кричтон, Атвуд и многие другие изобразили столь живо, снова и снова, когда выступали против технологической гордыни? История кишит примерами бредовых сборищ самоуверенных мелких дворян, рассказывающих друг другу воодушевляющие истории и избегающих при этом какой-либо критики, которая могла бы обнаружить расчеты в Плане (мятежа). Предписывая возвращение к патернализму – контролю элитами, которые остаются замкнутыми и неподотчётными – не предлагают ли таким образом отрицатели именно тот самый сценарий, который – справедливо – все боятся больше всего? Вероятно, это одна из причин того, почему отрицатели – словоохотливые и конкретные, когда речь идёт о возможных путях катастрофы – редко выражаются ясно о том, какие именно контролирующие организации должны выполнить грязную работу по подавлению технологического прогресса. Или о том, как именно эта остановка разработок будет реализована повсеместно. В действительности, сторонники этой теории не могут указать ни одного исторического примера, где подавление знаний вело бы к чем-нибудь большему, чем ещё большие человеческие страдания. До сих пор нет ни одного предложения о том, как предотвратить жульничество некой элитарной группой. А возможно, и всеми элитами. В результате, только огромное количество нормальных людей будет исключено, отвлекая их мириады глаз, ушей и префронтальных лобных долей от всецивилизационной сети обнаружения ошибок. И, прежде всего, самоограничение выглядит мерой отчаяния, полностью противоположной характером оптимистичной, прагматичной, могучей культуре. Редко упоминаемая альтернатива - взаимная подотчётность. (THE SELDOM-MENTIONED ALTERNATIVE—RECIPROCAL ACCOUNTABILITY ) И всё же, несмотря на весь скептицизм, я в действительности гораздо больше поддерживаю Джоя, Атвуда, Фукуяму и др. , чем кто-то мог бы ожидать. В Прозрачном Обществе, я общался с большим числом социальных критиков, которые затыкались, когда осознавали потенциальные опасности на пути. Превыше всего, подтверждение с высоким уровнем критики – единственный известный антидот к ошибкам. Эта коллективная версия «мудрости» - почти наверняка то, что спасало нас до сих пор. У него нет почти никакого сходства с индивидуальной мудростью, которую мы привыкли ассоциировать со священниками, гуру и бабушками… но он менее зависим от совершенства. Менее склонен к катастрофе, когда миропомазанный Центр Мудрости делает неизбежный просчёт. В силу этого, на самом деле, я нашёл живительными раздражающих торговцев беспокойством! Одно только их присутствие помогает прогрессу продвигаться вперёд с помощью озадачивания легковерных энтузиастов. Это процесс, называемый взаимная подотчётностью (reciprocal accountability). Без искренних ворчунов, стремящихся указать на потенциальные виды аварий, мы действительно окажемся в в той опасности, в которой мы, по их словам, находимся. Забавно, что в открытом обществе – где брюзги-Кассандры прекрасно слышны – вряд ли потребуются самоограничения, или драконовский контроль, который они предписывают. Итак, я приближаюсь к главной идее ограничителей. Если общество останется столь же глупым, как некоторые люди думают – или даже если оно столь же умно, как я полагаю, но не становится ещё умнее – то тогда немногое получится из того, что народ планирует на тысячах исполненных благих намерений футурологических конференциях. Получится не более, чем отсрочка неизбежного. В этом случае, мы будем иметь ответ на давнюю загадку науки – почему нет подлинных следов внеземных цивилизаций среди звёзд. (5) Ответ будет прост. Где бы ни возникала технологическая цивилизация, она всегда разрушает себя. Эта возможность всегда таится в засаде в углу нашего взгляда, напоминая нам, каковы ставки. С другой стороны, я вижу все причины верить, что у нас есть шанс опровергнуть эту суровую тревогу. Как члены открытой и вопрошающей цивилизации – которая использует взаимную подотчётность, чтобы находить и проверять любой возможный источник ошибок – мы можем быть уникально экипированы, чтобы справится с предстоящими задачами. В любом случае, верить в это гораздо более весело. Оптимистический сценарий – Сингулярность. (THE UPSIDE SCENARIO—THE SINGULARITY ) Мы выслушали грустных ограничителей. Давайте посмотрим на другое будущее. Сценарий тех, кто – буквально – верит, что только небо им предел. Среди многих наших великих мыслителей вращается одна мысль – новый «мем», если вы хотите, - который говорит, что мы готовимся к старту. Я имею в виду идею о Технологической сингулярности. Фантаст Вернор Виндж считается главным популяризатором этой идеи, хотя она уже существовала во многих формах в течение поколений. Недавно, Рэй Курцвайль в книге «Сингулярность рядом» доказывал, что наша научная компетентность и технологическая сила скоро резко возрастут, направив человечество в полностью новую эру. Можно назвать это современной хай-тек версией апотеоза ноосферы Тейяра де Шардена (Teilhard De Chardin) – приближающееся время, когда человечество может перейти, ярко и решительно, на более высокий уровень осознания или бытия. Однако, вместо достижения трансцендентности через медитацию, хорошую работу или благородство духа, идея нынешнего времени состоит в том, что мы можем использовать ускоряющийся цикл образования, творчества и компьютерно-опосредованного знания для достижения интеллектуального господства как на окружающей средой, так и над нашими примитивными носителями. Иными словами, взять под контроль «колесо жизни» Брахмы, а затем учиться крутить его туда, куда мы хотим. Чем бы ещё вы это назвали … Когда мы начнём использовать нанотехноогии, чтобы ремонтировать тела на клеточном уровне? Когда, при получении последних исследований по самой интересной вам теме, автономные программные агенты доставят её вам, настолько быстро и легко, как ваша рука сейчас движется, куда вы хотите? Когда производство по запросу станет таким обыденным, что богатство и бедность станут почти бессмысленными словами? Когда опыт виртуальной реальности – скажем, посещение далёкой планеты, - станет трудно различим от реальной вещи? Когда каждый из нас сможет иметь столько «слуг» - как роботов, так и программных – сколько захочет, таких же послушных, как наша правая рука? Когда усиленный человеческий интеллект взмоет вверх – и, обмениваясь прозрениями с другими умами на скорости света – поможет нам достичь абсолютно новых уровней мысли? Конечно, стоит задуматься о том, как эта идея о «сингулярности» соотносится с давней традиции размышлений о выходе за пределы человеческого. В действительности, идея перехода на другой уровень существования навряд ли новая! Она представляет одну из самых устойчивых тем в истории культуры, а значит, происходит из нашей исходной природы. В действительности, многие оппоненты науки и технологии вцепились в свои собственные образы мессианской трансформации, образы, которые – говоря по правде – смешивают множество эмоциональных потоков с технологически нагруженными восприятием, даже если они различаются в вопросе о средствах достижения трансформации. В течение истории, большая часть этих размышлений задерживались на духовном пути, на идее о том, что человеческие существа могут достичь более высокого состояния посредством молитвы, морального поведения, ментальной дисциплины, или повторения правильных заклинаний. Возможно, потому что молитва и заклинания были единственными доступными средствами. В последнем веке, интеллектуальная традиция, которая может быть названа «Техно-трансцендентализм», добавила пятое колесо. Идею о том, что новый уровень бытия или более притягательное качество жизни может быть достигнуто посредством знания и умения. Но какими именно видами знания и умений? В зависимости от эпохи, в которой вам довелось жить, техно-трансцендентализм смещался от одного мимолётного увлечения к другому, направляя пылкие надежды на научную моду недели. Например, сто лет назад марксисты и фрейдисты сплетали сложные модели человеческого общества – или ума – предсказывая, что рациональное применение этих моделей будет иметь результатом гораздо более высокие уровни общего счастья. (6) Впоследствии, на фоне популярных новостей об успехах в сельском хозяйстве и эволюционной биологии, некоторые группы были увлечены евгеникой – соблазном улучшения человеческого животного. Время от времени, это приводило к неправильным и даже ужасающим последствиям. И эта повторяющаяся мечта недавно ожила в новых формах, вместе с перспективами генетической инженерии и нейротехнологии. Энтузиасты ядерной энергетики в 1950-е годы обещали энергию, слишком дешёвую, чтобы её мерить. Часть этой же страсти можно увидеть в широко распространившемся энтузиазме в отношении космических колоний в 1970-е и 80-е годы, и в теперешнем продолжающемся кибертрадиционализме, который обещает неограниченную свободу и приватность каждому, стоит нам только зашифровать каждое интернет сообщение, используя анонимность он-лайн, чтобы совершенным образом замаскировать хилые создания, которые в действительности печатают на реальной клавиатуре. В дальней перспективе некоторые держатся надежды, что человеческие умы можно будет загружать на компьютеры или огромную новую осваиваемую область кибер-пространства середины 21 века, освобождая людей от всякой остающейся рабской зависимости от грубых и ненадёжных органических тел. Эта давняя традиция – искренних людей, направляющих свою веру и энтузиазм на трансцендентные мечты – говорит многое об одном аспекте нашей натуры, о характерной особенности, которая пересекает все культуры и эпохи. Довольно часто этот энтузиазм сопровождается презрением к современному обществу - вере, что некий вид спасения может быть достигнуть только за пределами обычной культурной среды, - среды, которая часто недобра к искренним философам – и к отщепенцам. Крайне редко обсуждается, как много эти энтузиасты имеют общего - во всяком случае эмоционально – с теми, кто верит более старые, более традиционные виды апотеоза (apotheosis - богоуподобление), которые настаивают на методах, которые являются в большей мере ментальными или духовными. Мы должны помнить всю эту длинную историю, когда мы обсуждаем последнюю фазу: веру в исключительно позитивные эффекты экспоненциального роста способностей вычислительных устройств. В то, что ускоряющаяся мощь вычислений предложит соответственно глубокое увеличение наших знаний и сил. Нашей мудрости и нашего счастья. Вызов, который я неоднократно бросал, состоит в следующем: «Назовите хотя бы один пример в истории, когда эти верования действительно сбывались. Помня все прошлые поколения, которые были уверены в своей идее изменения, не должны ли вы подходить к своему новомодному набору с некоторой предосторожностью… и может быть небольшим сомнением?» |