Информатика. Лекции. Краткая история компьютерной техники Первые компьютеры: Z3, Colossus, eniac
| Вид материала | Лекции |
- Лекция Развитие компьютерной техники, 430.69kb.
- 1. Что такое информатика?, 205.32kb.
- Положение о проведении Всероссийского игрового конкурса «Кит компьютеры, информатика,, 59.05kb.
- Учебной дисциплины «Компьютерная графика» для направления 010400 «Прикладная математика, 36.03kb.
- Урок подготавливается и проводится учителем информатики совместно с учителем предметником, 138.11kb.
- Врассказе «Краткая история парикмахерского дела», 191.64kb.
- Передача информации между компьютерами существует, наверное, с самого момента возникновения, 65.58kb.
- Характеристика предмета «Радиоприемные устройства», взаимосвязь с другими, 3189.29kb.
- Реферат по информатике История вычислительной техники, 158.06kb.
- Общие принципы построения вычислительных сетей, 1480.56kb.
Информатика. Лекции.
Краткая история компьютерной техники
Первые компьютеры: Z3, Colossus, ENIAC
Лавры первых компьютеров в некотором смысле незаслуженно носят два наиболее ярких представителя того времени — компьютеры Colossus и ENIAC, «яркость» которых кроется в тех задачах, для решения которых они создавались и использовались.
Вместе с тем первым универсальным свободно программируемым компьютером является компьютер Z3, построенный немецким инженером Конрадом Цузе (Konrad Zuse) в 1941 году. Хотя он и не был полностью электронным, тем не менее, по своей архитектуре и возможности выполнять различные задачи он более всех трех подходит под определение компьютер.
Программа заносилась в Z3 с помощью старой кинопленки, которую использовали в качестве перфоленты. В Z3 обеспечивались четыре основных арифметических действия над числами с плавающей точкой, а также операция по извлечению квадратного корня. Скорость Z3 достигала трех-четырех операций сложения в секунду и одной операции умножения в 5 секунд. В качестве элементной базы вместо электронных ламп использовались более надежные (но и более медленные) электромеханические реле.
Машина не использовалась в криптографических задачах, но активно применялась в течение войны при анализе нагрузок на самолетные крылья, в частности, при решении проблемы флаттера (крайне неприятная вибрация крыльев на высоких скоростях, способная привести к их быстрому разрушению). К сожалению, Z3 был уничтожен во время бомбежек.
В отличие от Z3 более известные Colossus и ENIAC программировались уже не таким передовым способом, а с помощью переключателей. И хотя Colossus по своей архитектуре скорее был по сути большим программируемым калькулятором, все же он стал первым полностью электронным компьютером.
Создавался и использовался Colossus в годы войны для решения вполне определенной прикладной задачи — поиска ключей к зашифрованным немецким сообщениям. Он был спроектирован членом Британского королевского общества профессором Максом X. А. Ньюменом (1897–1985) и построен кавалером ордена Британской империи Т. X. Флауэрзом.
Компьютер начал действовать в декабре 1943 года в Блетчли-Парк, Великобритания. Там его использовали для расшифровки кодов немецкой шифровальной машины «Энигма». Для того, чтобы понять масштаб этого компьютера, достаточно знать хотя бы тот факт, что количество использовавшихся в нем ламп равнялось 1500. И пусть мало кто верил, что его полторы тысячи ламп проработают больше десятка секунд, в результате Colossus не выключали до конца войны. Всего было построено 10 машин, дешифровавших в сумме около 63 миллионов символов, но после войны большинство машин постигла судьба Z3. Они были уничтожены.
Основным достижением Colossus стало доказательство принципиальной возможности использования электроники для статистической атаки на шифр. Рассекречен Colossus был лишь 30 лет спустя — 25 октября 1975 года. Уже в наше время в 2004 году Colossus был востановлен группой энтузиастов. Работа по восстановлению велась 11 лет, а руководил проектом Colossus Rebuild Project Тони Сейл. Не так давно Colossus даже стал одним из «главных» героев фильма “Enigma”, повествующего о расшифровке кодов одноименной шифровальной машины.
В качестве последнего занятного наблюдения стоит также сказать, что скорость Colossus вполне сопоставима со скоростью современных универсальных компьютеров, доведись им работать над той же задачей, то есть расшифровывать закодированные сообщения.
Последнй представитель этой большой тройки, ENIAC (Electronic Numerical Integrator And Computer) стал самым последним из самых первых компьютеров. Он был разработан и построен в 1946 году Американской армией для своей Лаборатории баллистических исследований.
С точки зрения физического устройства это был самый настоящий «монстр», на фоне которого меркнут все остальные компьютеры. ENIAC содержал 17468 электронных ламп, 7200 полупроводниковых диодов, 1500 реле, 70000 сопротивлений, 10000 конденсаторов и около 5 миллионов спаянных вручную узлов. Вес ENIAC потрясает — 27 тонн! А размеры его были 2.4м х 0.9м х 30м, при этом он занимал около 167 м² площади и «пожирал» 160 кВт энергии.
Некоторые из экспертов по электронике предсказывали, что из-за частого перегорания электронных ламп компьютер будет невозможно вообще использовать. В каком-то смысле их предсказания сбылись. Несколько ламп перегорало почти каждый день, поэтому почти половину времени компьютер действительно простаивал. А специальные лампы высокой надежности появились лишь 2 года спустя — в 1948 году.
Назад в будущее
Вернемся теперь от доисторических монстров в более близкое прошлое, когда компьютер приобрел уже привычный для нас вид, став вполне компактным.
Для этого инженерам и изобретателям пришлось изрядно потрудиться. В 1948 году была впервые использована компьютерная память в компьютере «Марк-1» Манчестерского университета. В качестве памяти в нем применили запоминающую электронно-лучевую трубку Уильямса (патент 11 декабря 1946 года).
Изобретение точечного транзистора Джоном Бардином и Уолтером Браттейном, о чем было объявлено в июле 1948 г оду, и плоскостного транзистора Р.Л. Уоллесом, Морганом Спарксом и доктором Уильямом Брэдфордом Шокли в начале 1951 года дало мощный толчок к разработке компьютеров.
Однако, главной стала идея интегральной схемы, впервые высказанная 7 мая 1952 года в своей публикации Джеффри В.А. Даммером (родился в 1909 году) и приведшая в итоге к микроминиатюризации. Микрокомпьютер удалось создать в течение четырех лет (начиная с 1969 и заканчивая 1973 годом) М. Э. Гоффу-младшему из корпорации «Интел» благодаря разработке микропроцессорной интегральной схемы «4004».
Но настоящим прорывом стало создание не просто компактных, а первых по-настоящему «персональных» компьютеров, которые были доступны не только по своим размерам, но и по цене.
Первый персональный компьютер
Пальма лидерства в создании первого персонального компьютера присваивается многим компаниям и отдельным людям, о которых мы обязательно скажем. Однако, есть все же в истории веха, которую можно назвать временем появления «персональных компьютеров».
Возможность создания первых персональных компьютеров миру подарила корпорация Intel, выпустившая в 1972 году сначала процессор 8008, а затем 8080 — в 1975 году.
Именно на базе процессора 8080 был создан один из первых компьютеров — Altair 8800 microcomputer.
За ним последовали созданный в 1976 году одноплатный компьютер Apple I, который разработал Стив Возняк (Steve Wozniak), а также Apple II, созданный в 1977 году.
Еще одним представителем 1977 года является Commodore PET, представленный на выставке передовых технологий в Чикаго компанией Commodore и собранный командой Чака Педла.
И только в 1981 году появился так знакомый нам PC, или Personal Computer. Естественно, его производителем стала компания IBM. Этот персональный компьютер уже обрел привычные для нас очертания, представ в виде системного блока (с одним или двумя дисководами для гибких дисков), монитора и клавиатуры.
Произошло это эпохальное событие 12 августа 1981 года, когда «самая компактная и недорогая система IBM» была выпущена в продажу. Вариант поставки с минимальным объемом памяти и без дисководов стоил на тот момент всего 1565 долларов.
Удивительно, но факт, возникла некоторая настороженность по отношению к IBM, которая «занялась явно не своим делом». «Я не думаю, что это существенно», — комментировал появление IBM на рынке микрокомпьютеров президент фирмы Tandy Джон Роач (John Roach). А компания Apple даже приветствовала в газетной статье появление нового игрока на рынке, не подозревая, что IBM PC станет серьезным соперником не только ее новому компьютеру Apple III, но и все будущим продуктам компании Apple.
Как оказалось, никто из них (даже сама корпорация IBM) не подозревал, что произошло. А произошло следующее — архитектура PC в течение нескольких лет стремительно и бескомпромиссно установила стандарты развития персональных компьютеров на многие годы вперед. Причем, это касалось не только аппаратной части («железа»), но также и программного обеспечения. Сотни производителей могли выпускать дополнительные устройства, расширяющие возможности компьютеров IBM, для чего не требовалось отчислять никаких лицензионных платежей, а все необходимые спецификации шины расширения были открыто опубликованы. То же самое касалось и сферы программного обеспечения. Сейчас это кажется естественным, но двадцать лет назад такая постановка вопроса не была очевидной, что не помешало ей быстро завоевать своих сторонников, в одночасье сделав PC лидером компьютерного рынка.
Откуда пошли «баги»
С первыми компьютерами также связаны не только фантастические по своей сути истории их изобретения и использования, снятые о них художественные фильмы и папки секретных материалов, но и разные легенды.
Одной из таких легенд является история возникновения термина «баг», обозначающего, как всем нам сейчас известно, небольшую техническую ошибку.
В этом смысле термин «баг» был придуман еще Эдисоном в 1870-х годах. Однако, его широкое распространение в компьютерных кругах началось намного позже.
Главным героем этой легенды является Грейс Хоппер (Grace Hopper), работавшая в 1945 году в группе Эйкена (Aiken) над созданием компьютера Марк-2. 9 сентября 1945 года между контактами одного из реле машины были обнаружена мошка (в другой версии — таракан), вызвавшая неисправность — ошибку при проведении операций с плавающей точкой.
Далее трактовки «легенды» расходятся. Согласно одной из версий, таракана обнаружил техник, сделавший запись в журнале: «Сегодня обнаружен первый настоящий баг» (bug — жук, насекомое), приложив к нему и останки насекомого. А Грейс Хоппер лишь так часто рассказывала всем эту историю, что многие считают, что она сама и обнаружила таракана.
Согласно второй, мошку нашла сама Грейс, сделала запись и вклеила в журнал останки несчастной букашки. Сама мошка, заботливо вклеенная в рабочий журнал, до сих пор хранится в Национальном музее американской истории Смитсониановского института.
Тем не менее, именно Хоппер способствовала широкому распространению слова «баг» в компьютерном жаргоне. Ей же принадлежит и термин debugging (буквально — «очистка от насекомых»), который теперь зафиксирован во всех словарях мира в значении «отладка программы».
Краткое введение в теорию информации
Введение
Мир, в котором мы живем, в последнее время претерпел радикальные изменения, став совсем другим и не похожим на тот, каким он был еще сто лет назад.
Как вслед за каменным веком наступил век бронзовой, а затем железный, так и теперь пришла эпоха нового века — информационного.
Время, в которое мы живем, уже давно называют «информационным веком». И даже расхожее выражение «время — деньги» уже нередко звучит совсем иначе: «информация — деньги». Сейчас информация — это действительно практически все. И правильно принятые решения, и не сделанные ошибки, и деньги, и даже власть.
Мы все давно оперируем различными терминами, так или иначе связанными с понятием информация. «Мегабайты» и «гигабайты» окружают нас в повседневной жизни, заманивая большими числами в магазинах компьютеров и электроники. Информацию мы получаем, передаем, добываем, храним и уничтожаем. Ищем и находим, но за всем этим забываем одну важную вещь. Мы до сих пор не знаем, что такое информация на самом деле.
Вопросу определения понятия информация и связанной с ней проблемам уделены многие научные работы. Философы бьются над этим вопросом со своей точки зрения. Вопрос материальности информации и существования информационного поля занимает умы фантастов.
И все ради одного. Понять, что на самом деле мы храним на жестких дисках, куда «это» исчезает при удалении, и исчезает ли вообще. Откуда берется, когда мы «ее» копируем. Возникает ли из ничего, или же где-то все это время нас ждет. Одним словом, чтобы понять, чем же на самом деле является то, вокруг чего крутится теперь наша жизнь.
История Кибернетики — «доинформационные времена»
Изучению информации как таковой и возникновению целой науки «Теория информации» способствовало и предшествовало появление другой науки — «Кибернетики».
Кибернетика (от греческого корня χυβερνητηζ, означающего «искусство рулевого») — это наука о процессах управления и передачи сигналов в машинах и живых организмах.
История кибернетики насчитывает 57 лет. Начало кибернетики положил Норберт Винер, профессор математики Массачусетского технологического института, опубликовав в 1948 году свою знаменитую книгу «Кибернетика, или Управление и связь в животном и машине», название которой во многом перекликается с основными вопросами, которые волнуют эту науку.
В этой книге впервые были точно показаны пути создания четкой теории управления и заложены основы методов рассмотрения проблем управления и связи для различных систем с одной точки зрения.
Как это часто бывает, непосредственным толчком для бурного развития науки стало наличие конкретных практических задач, требующих своего решения. Например, создание и использование первых компьютеров, особенно в военной области (для управления огнем зенитной артиллерии), задачи отделения полезного сигнала от шума, задача создания машины для чтения вслух, некоторые задачи нейрофизиологии.
Не умаляя заслуг Норберта Винера, все же стоит сказать, что некоторые из основных положений кибернетики разрабатывались еще задолго до появления книги. Около 80 лет, начиная с работ Максвелла и Вышнеградского, разрабатывалась теория регулирования и теория систем с обратной связью. Более 10 лет на момент издания книги прошло с начала работ по применению алгебры логики для исследования переключательных схем (работы Шестакова, Гаврилова и Накасимо). А идея создания цифровых вычислительных машин разрабатывалась еще Паскалем и Лейбницем в XVII веке и в более развитом виде Бабэджем в XIX веке.
Cигнал
Естественно, качественное управление какими-либо процессами невозможно без наличия знания о ходе протекания этих процессов и результатов нашего на него воздействия.
Мы можем знать о событиях, даже не принимая в них участие, свидетелями которых не были, отделенных от нас большими пространствами и промежутками времени. Более того, мы можем знать о них даже больше, чем их непосредственные участники и свидетели.
Если вдуматься в этот простой факт, становится очевидным, что даже по прошествии некоторого времени после события остаются некоторые «следы события», которые продолжают существовать.
Каким бы не был этот «след» (фотография в газете, описания очевидцев, зарисовка или видеозапись), при пристальном рассмотрении он носит физическую природу. Кроме того, он имеет самостоятельную физическую природу и самостоятельно существует во времени и пространстве, не имея ничего общего (как физическое явление) с описываемым им событием.
В сказанном заключается общее для характеристики всех таких «следов», которые получили еще одно название — «сигнал».
Сигнал порождается некоторых событием, имеет самостоятельную физическую природу и самостоятельное существование в пределах некоторой организованной системы. Сигнал всегда воплощен в некотором материальном объекте или процессе, в этом виде он может быть зафиксирован и существовать долгое время. Сигнал может быть передан на большие расстояния, а в конце своего существования может превратиться в действие или событие. Он может воздействовать на живого наблюдателя или физическую систему и породить реакцию этого наблюдателя или системы.
Сигнал на примере фотографии
Лучше разобраться с понятием «сигнал» можно на примере черно-белой фотографии футбольного матча.
Фотография как сигнал «правдива», то есть она соответствует описываемому событию. Футболисты на ней расположены именно в тех позах, в которых они находились в момент фотографирования.
С физической точки зрения эта фотография не имеет ничего общего с самим матчем. Ведь она по существу — кусок плотной белой бумаги, покрытый слоем желатина, в который вкраплены мельчайшие зерна серебра. Все это не имеет никакого отношения к футболу, как не имеет к нему отношение тот факт, что бумага свет отражает, а серебро поглощает.
К футболу имеет отношение только распределение зерен серебра по поверхности бумаги, которое определяет распределение потоков света, идущего от фотографии к глазу. И уже это распределение оказывается близким к тому, которое существовало в тот момент, когда была сделана фотография.
При этом необходимо понимать, что соответствие существует лишь приблизительно. Не передан цвет, отсутствует стереоэффект (снимок плоский, а не объемный) и так далее.
Тем не менее, фотографию можно долго хранить, перевозить на длительные расстояния, тиражировать. Кроме того, фотография может породить те же самые эмоции, как если бы мы наблюдали матч на стадионе (реакцию).
Сигналы и реакция
Сигнал, о котором мы только что говорили, — одно из основных понятий кибернетики и теории информации. Именно сигналы «доносят» до нас знание о тех или иных событиях, фактически, «переносят информацию».
Сигналы по своей энергии могут быть как слабее, так и значительно сильнее тех событий, появление которых они отмечают. Так, счетчик Гейгера–Мюллера отмечает импульсом электрического тока пролет через его объем частицы космического или радиоактивного излучения. В этом случае сигнал во много раз по своей энергии превышает само событие. Если же сигнал возникает в виде электрического импульса в системе, регистрирующей перегрев устройства, то его энергия значительно меньше.
В свою очередь, появившийся сигнал вызывает реакцию той системы, в которую он попадает. Если в системе есть элементы, отвечающие за преобразование сигналов в действия, то мы получим «реакцию» системы на сигнал.
Появление сигнала и реакция системы — это начальный и конечный этапы существования сигнала. Но это не все. Часто сигнал существует вместе с другими сигналами, с которыми он может взаимодействовать, порождая новые сигналы.
Примером такого взаимодействия может быть просто телефонный звонок. В коммутаторе АТС при наборе занятого номера два сигнала — набор номера и снятая трубка — породят новый сигнал — короткие гудки в телефонной трубке.
Непрерывные и дискретные сигналы
Событие или одна из его сторон, описываемая сигналом, может иметь характер либо непрерывно изменяющейся величины, либо состоять из различных четко отличающихся ступеней или градация, то есть иметь дискретный характер.
Соответственно, сигналы бывают двух основных типов — непрерывные и дискретные. В первом случае два сигнала могут отличаться друг от друга сколь угодно мало, а во втором — состоят из отдельных, четко различимых символов.
Речь, записанная в виде текста, представляет собой дискретный сигнал. Запись той же речи на магнитную ленту — сигнал непрерывной природы.
С точки зрения математики, дискретный сигнал может быть легко преобразован в сигнал непрерывный. Обратный же переход может быть совершен только приближенно, с округлением до ближайшего дискретного значения. Правда, с повышением числа дискретных символов (измерений) точность подобного преобразования возрастает.
Вопросами соотнесения дискретных и непрерывных функций между собой много и серьезно занимались и продолжают заниматься математики. В прикладном, но не менее важном виде эту задачу для звуковых колебаний решали В. А. Котельников в России и Г. Найквист в Америке. Независимо друг от друга они сформулировали теорему (теорему Найквиста– Котельникова) об оптимальном выборе частоты измерения непрерывного звукового сигнала для наиболее точного его представления в дискретном виде.
Согласно этой теореме для отображения звукового сигнала некоторой частоты F необходима дискретизация исходного сигнала с частотой не менее 2F. Величина половины частоты дискретизации (то есть в нашем случае F), называется пределом Найквиста.
Случайные события и сигналы
Преобразование непрерывных сигналов в дискретные — не единственная проблема, возникающая в процессе обработки сигналов.
В книгах бывают опечатки, в речи встречаются оговорки, на фотографиях и пленках — физические дефекты. Все это — искажения сигнала случайными воздействиями или, как их еще называют, шумами или помехами.
Затрагивание такого понятия как случайное событие повлекло за собой то, что в теорию информации органично вплелась теория вероятностей, изучающая случайные события, а также случайные величины — события, представляющие собой появление одной из множества фиксированных возможностей.
Основным понятием теории вероятностей является понятие вероятности случайного события. Проще всего данное понятие проиллюстрировать на примере «массового» явления, то есть многократно повторяющегося опыта.
Если подбросить монету N раз, то решка выпадет m раз. Тогда отношение m к N называется частотой появления события «выпала решка». С увеличением числа испытаний можно заметить, что частота события стремится к некоторому предельному значению. Этот предел и называется вероятностью события.
Чтобы понять, попробуйте 100 раз подкинуть монетку, частота выпадения решки будет близка к 0.5 (чуть больше или чуть меньше), т.е. к той вероятности, которую все мы знаем с детства. И чем больше Вы проведете опытов, тем меньше частота будет отличаться от вероятности.
Распределение вероятностей, математическое ожидание и дисперсия
Более наглядное представление о поведении той или иной случайной величины дает другое фундаментальное понятие теории вероятностей — распределение вероятностей.
Суть этого распределения проста. Строится график, по оси x которого отложены возможные значения величины ξ, а по вертикальной оси — вероятность того, что эта величина ξ окажется меньше отложенного значения x. По мере возрастания x кривая распределения монотонно возрастает от нуля до единицы. Если величина ξ окажется дискретной, то и график распределения будет иметь ступенчатый вид.
Часто также пользуются плотностью вероятности, которая представляет собой производную распределения вероятностей. Для дискретных величин плотность вероятности будет иметь вид отдельных точек, абсциссы которых равны дискретным значениям ξ, а ординаты — их вероятностям. Для непрерывных величин график будет непрерывным.
Как показали исследования математиков, распределение вероятностей обладает некоторыми собственными характеристиками, определяющими фундаментальные свойства и случайной величины.
Первой из таких характеристик является математической ожидание случайно величины M(ξ), которое представляет собой сумму произведений значений случайной величины на соответствующие им вероятности.
Второй важнейшей величиной является дисперсия — математическое ожидание квадрата отклонения случайной величины от ее математического ожидания.
Математическое ожидание представляет собой в некотором смысле «среднее значение» случайной величины. Дисперсия в свою очередь определяют меру отклонения случайно величины от ее среднего значения. Чем меньше дисперсия, тем точнее измерение.
Шум
Шум — часто встречающееся в теории информации понятие, важное для решения многих задач. Поэтому необходимо понимать, что это такое с научной точки зрения.
Не случайно понятие «шум» стоит уже после всех вероятностных определений, так как для его определения и понимания требуется определенный математический аппарат теории вероятностей.
Дело в том, что шум, являющийся случайным искажением исходного сигнала, легко определяется с помощью теории вероятностей.
Классическим примером шума может служить шум на выходе усилителя любого радиоприемника. Причина этот шума кроется во флюктуациях тока во входных цепях усилителя, которые возникают из-за теплового хаотического движения электронов.
Если измерить значения шумового напряжения в различные моменты времени, а затем подсчитать частоту появления тех или иных значений, то закон распределения окажется близким к нормальному.
Напомним, что нормальное распределение — одно из основных классических распределений случайной величины, получающееся предельным переходом из биномиального распределения.
Проще всего биномиальное распределение понять на примере лотереи. Если взять N лотерейных билетов, которые независимо друг от друга могут выиграть с равной вероятностью p (и проиграть с вероятностью q = 1- p), то вероятность выигрыша одновременно n билетов равна n-му члену биномиального разложения бинома (p + q)N. Отсюда и само название.
Как все Вы знаете из курса школы, найти коэффициент n-го члена разложения очень просто. Для этого можно воспользоваться треугольником Паскаля, который наглядно демонстрирует одно из главных свойств биномиальных коэффициентов.
Если же начать в формуле увеличивать N и n, оставив p и q постоянными, то в пределе мы придем к непрерывному распределению, которое и будет называться нормальным или законом Муавра–Лапласа–Гаусса.
Вероятность и энтропия
Интересную иллюстрацию плодотворного применения понятия вероятность дает нам термодинамика.
Как гласит второе начало термодинамики, сформулированное на основе практики и различных экспериментов, «невозможен процесс, единственным результатом которого является превращение тепла в работу».
Впервые основы второго начала термодинамики были сформулированы в работе Никола Леонар Сади Карно, который выпустил в 1824 году книгу «Размышления о движущей силе огня».
А в 1850 году уже немецкий физик Рудольф Юлиус Эмануэль Клаузиус дал первую формулировку второго начала термодинамики, добавив к этому в 1865 году и «причину» второго начала термодинамики, которой он же дал название — энтропия.
Таким образом, внутреннюю энергию тела можно разделить на две части: ту, которая может быть превращена в работу (свободная энергия), и ту, которая при этом неизбежно будет передана более холодному телу в виде тепла (связанная энергия). Физическая энтропия тела характеризует долю этой «бесполезной» энергии, которая не может быть превращена в работу.
С молекулярно-кинетической точки зрения, энтропия — это мера вероятности того, что процесс будет развиваться тем или иным образом. Чем больше энтропия, тем более вероятно то или иное состояние системы.
Энтропия является реальной величиной, которая может быть вычислена или измерена. Энтропия аддитивна: энтропия суммы тел равна сумме их энтропий. Самым главным свойством энтропии является то, что в замкнутой системе, для которой невозможен обмен энергией с внешним миром, энтропия никогда не уменьшается. Она остается неизменной при обратимых процессах и повышается при необратимых. Это свойство сформулировал в 1865 году тот же человек, что и придумал сам термин, то есть Рудольф Юлиус Эмануэль Клаузиус.
А свойство изолированных систем изменять свою энтропию только в одном направлении — в сторону увеличения — было очень изящно объяснено Больтцманом на основе теории вероятностей. Сущность этого объяснения можно изложить одной фразой: «Физические тела переходят от состояний менее вероятных к более вероятным».
Позднее энтропия будет связана с информацией.
Статистический подход к информации
Другой пример плодотворного применения статистических методов к вопросам передачи сигнала — теория информации. Почему именно статистических — станет понятно чуть позже.
Сигналы не просто распространяются от одной системы к другой. Их можно передавать целенаправленно. Передача сигналов в кибернетических системах и системах управления вообще — важнейшая задача, которой занимается теория связи.
Вместе с развитием технологий и сетей связи на первое место по распространенности среди сигналов вышли сигналы электромагнитные, которые передаются по проводным и беспроводным каналам связи. В частности, один из основоположников всей теории информации Клод Шеннон занимался задачей о передаче данных через зашумленный канал связи, сформулировав теорему о пропускной способности таких каналов связи, доказывающую, что всякий канал связи характеризуется своей предельной скоростью передачи информации (сегодня он называется пределом Шеннона, а сама теорема — теоремой Шеннона).
При скоростях передачи выше этого предела неизбежны ошибки, а вот снизу к пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала. Без этой теоремы невозможным было бы создание ни сетей, ни модемов, ни мобильных телефонов, ни лазерных дисков, — ничего.
Именно из теории связи и «выросла» теория информации, новая наука, рассматривающая вопросы о пропускной способности каналов связи, наилучшем кодировании информации и предельных количествах информации, которые могут быть переданы в единицу времени.
Почему оценка «количества информации» и вообще подход к информации приняли именно такой вид, отрешенный от самого содержания? Странность подобного подхода только кажущаяся. Ведь если вспомнить математические расчеты, то все они тоже производятся с «чистыми» числами, которые не несут какого-либо другого «смыслового» содержания.
То же самое правило применимо и к информации. Какое бы событие она ни описывала, любое событие в каждый из моментов времени может находиться в одном из большого числа возможных состояний. А протекание события во времени — есть смена этих состояний.
Естественно, множество состояний может быть как дискретным, так и непрерывным. Таким образом, информация в отвлеченном от конкретного сообщения виде есть просто выбор некоторого определенного элемента из множества всех возможных. Именно так информация лишается своей «содержательной» окраски.
Информационная емкость
Подобный статистический подход к информации позволил построить уже формальную теорию, чему до этого мешало наличие у информации различных «психологических» свойств (понятности, ценности, новизны и так далее). Лишившись своего содержания, информация превратилась в идеальный объект для математического изучения.
Как и в любой другой науке, теория информации оперирует своими понятиями.
Множество возможных состояний или сигналов называется алфавитом сигнала, а состояние физического объекта или процесса, реализующее этот алфавит, физическим алфавитом. Отдельный сигнал называется буквой алфавита, а серия или комбинация сигналов — словом в алфавите.
Чтобы подойти к определению числовой меры количества информации, необходимо, прежде всего, определиться с объемом множества возможных сообщений. В случае дискретного алфавита сделать это весьма легко, так как число слова длины n в алфавите размера N равно Nn.
Сложнее дело обстоит с алфавитами непрерывными. Но здесь на помощь приходит уже упоминавшаяся возможность представить непрерывную величину в виде конечной последовательности дискретных величин с точностью до допустимой ошибки.
Таким образом, зная алфавит и длительность передачи (размер сигнала или длину слова), можно подсчитать число возможных сообщений, из которых производится выбор при каждой передаче. Так мы подходим к понятию информационной емкости системы, которую в 1928 году Хартли предложил оценивать логарифмом числа возможных состояний.
Подобное определение имеет определенную долю изящности, так как если объединить две системы, то новая система будет иметь информационную емкость равную сумме емкостей исходных систем.
С помощью меры, предложенной Хартли, работа системы, состоящая в прохождении тактов, может быть описана так, что емкость будет возрастать линейно с увеличением числа тактов. А это оправдывает применение логарифмической емкости.
Количество информации
Естественно, что каждое из всевозможных состояний системы (сигналов) встречается с разной частотой. Более того, интуитивно мы понимаем, что число «разумных» сигналов значительно меньше всех вообще возможных. Все это привело к возникновению нового понятия, отражающего вероятностную природу сигналов.
Расположим все возможные сообщения Ai в некотором порядке и припишем каждому из них соответствующие вероятности Pi появления в реальной передаче. Таким образом мы построим конечную схему, состоящую из попарно несовместимых событий, заданных вместе с их вероятностями.
Очевидно, что для каждой передачи какое-то из сообщений обязательно будет выбрано, а значит суммарная вероятность P1 + P2 + ... = 1.
Всякая конечная схема представляет некоторую неопределенность выбора ее элементов, которая снимается после того, как выбор сделан. Степень этой неопределенности в разных схемах различна. По-видимому, неопределенность возрастает вместе с ростом числа элементов схемы при равномерном распределении вероятностей. При одинаковом числе элементов неопределенность возрастает по мере приближения распределения вероятностей к равномерному.
Мера неопределенности выбора в данной конечной схеме и является мерой количества информации на один выбор, так как выбор снимает неопределенность. Эта мера должна быть функцией всех вероятностей Pi, изменяться непрерывно при непрерывном изменении Pi, и принимать максимальное значение в том случае, когда все вероятности равны друг другу.
Клод Шеннон, которому и принадлежит заслуга постановки этого вопроса, показал, что этим и некоторым дополнительным условиям удовлетворяет функция H, вид которой совпадает с выражением для энтропии в статистической физике, причем это совпадение существенное, а не только формальное. Поэтом величина H носит название энтропии совокупности вероятностей Pi.
Существует красивая легенда, «объясняющая», как Клод Шеннон выбрал именно энтропию для связи с количеством информации. Клод Шеннон рассказывал, что его друг Джон фон Нейман посоветовал ему для измерения количества информации использовать энтропию. «Старик, — якобы сказал Нейман, — создавая новую теорию, ты обречен на бесконечные научные споры, а поскольку почти никто толком не знает, что такое энтропия, то у тебя в этих спорах будет известное преимущество».
Однако, от легенд вернемся к энтропии. В качестве меры количества информации или энтропии берется единичный выбор из двух равновероятных возможностей. Для этого случая H = 1.
Хартли, введя свою меру информационной емкости, остановился перед дальнейшими трудностями, считая задачу выбора сообщения из множества психологической, а не математической задачей. Заслуга Шеннона в том, что он использовал статистические данные.
В результате мера Хартли была заменена Клодом Шенноном энтропией, которая является ни чем иным, как математическим ожиданием отрицательного логарифма вероятности, то есть меры Хартли.
Следует отметить, что энтропия относится не к единичному сообщению, которое фактически было выбрано, а к единичному выбору из данного множества с заданными вероятностями. Следовательно, энтропия характеризует не то, что выбрано, а то что могло быть выбрано. Поэтому энтропию называют еще «мерой свободного выбора» или «мерой априорного мнения».
И последнее. Не все события можно описать одной вероятностной схемой. Однако, для независимых событий энтропия сложного события равна сумме энтропий, то есть она аддитивна, что значительно упрощает изучение сложных случаев, представляемых совокупностью многих схем.
«Постулаты Шеннона»
Многие из используемых сейчас определений и формулировок теории информации были введены еще Клодом Шенноном. Приведем основные из них (о некоторых мы уже говорили подробно):
- информация всегда передается в виде сообщений;
- сообщение — это совокупность знаков или первичных сигналов;
- сообщения могут быть непрерывными или дискретными;
- дискретные сообщения состоят из знаков — элементов некоторого конечного множества, отличимых друг от друга объектов (часто называемого «алфавит»);
- один набор знаков можно отобразить в другой набор знаков, и правило (функция) такого отображения называется кодом;
- отображение одного набора знаков в другой на основе кода называется кодированием;
любой набор знаков можно получить, исходя из некоторого набора с меньшим числом знаков;
- минимальное количество знаков в наборе, из которого можно составлять наборы более высокого порядка, равно двум.