Курс лекций Часть I автор: Крапивина И. В. Валуйки 2008

Вид материала

Курс лекций

Содержание 2.3. Вероятностный подход к измерению информации Вопросы для самоконтроля

Подобный материал:

• Г. Валуйки Белгородской области, 647.06kb.
• Курс лекций часть 2 Тюмень 2006 удк 159 01 Михеева Е. М., Фалько Г. В. Психология:, 2034.37kb.
• Курс лекций для студентов идпо специальностей «Юриспруденция», 3911.79kb.
• Курс лекций для студентов идпо специальностей «Юриспруденция», 2986.57kb.
• Курс лекций Часть II учебное пособие рпк «Политехник» Волгоград, 1175.06kb.
• Курс лекций Часть 2 Составитель: кандидат экономических наук Г. Н. Кудрявцева Электроизолятор, 1210.68kb.
• М. К. Мамардашвили Современная европейская философия (XX век) Курс лекций, 421.49kb.
• Краткий курс лекций по медицинской паразитологии Часть Клещи, 643.33kb.
• Курс лекций по дисциплине история экономических учений москва 2008, 5434.7kb.
• Курс лекций москва  2008, 1185.38kb.

При алфавитном подходе, если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ (информационный вес одного символа), вычисляется по формуле: x=log₂N, где N - мощность алфавита (полное количество символов, составляющих алфавит выбранного кодирования). В алфавите, который состоит из двух символов (двоичное кодирование), каждый символ несет 1 бит (2¹) информации; из четырех символов - каждый символ несет 2 бита информации(2²); из восьми символов - 3 бита (2³) и т.д. Один символ из алфавита мощностью 256 (2⁸) несет в тексте 8 битов информации. Как мы уже выяснили, такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере. Один байт информации можно передать с помощью одного символа кодировки ASCII. Если весь текст состоит из K символов, то при алфавитном подходе размер содержащейся в нем информации I определяется по формуле: , где x - информационный вес одного символа в используемом алфавите.
     Например, книга содержит 100 страниц; на каждой странице - 35 строк, в каждой строке - 50 символов. Рассчитаем объем информации, содержащийся в книге.
     Страница содержит 35 x 50 = 1750 байт информации. Объем всей информации в книге (в разных единицах):
     1750 x 100 = 175000 байт.
     175000 / 1024 = 170,8984 Кбайт.
     170,8984 / 1024 = 0,166893 Мбайт.

2.3. Вероятностный подход к измерению информации

Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К. Шеннон в 1948 году. Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log₂ (1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом - чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
     Рассмотрим некоторую ситуацию. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании "не глядя" попадется белый шар больше, чем вероятность попадания черного. Можно сделать заключение о вероятности события, которые интуитивно понятны. Проведем количественную оценку вероятности для каждой ситуации. Обозначим p_ч - вероятность попадания при вытаскивании черного шара, р_б - вероятность попадания белого шара. Тогда: р_ч=10/50=0,2; р_б40/50=0,8. Заметим, что вероятность попадания белого шара в 4 раза больше, чем черного. Делаем вывод: если N - это общее число возможных исходов какого-то процесса (вытаскивание шара), и из них интересующее нас событие (вытаскивание белого шара) может произойти K раз, то вероятность этого события равна K/N. Вероятность выражается в долях единицы. Вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар). Вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).
      Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: . В задаче о шарах количество информации в сообщении о попадании белого шара и черного шара получится: .
      Рассмотрим некоторый алфавит из m символов: и вероятность выбора из этого алфавита какой-то i-й буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула . В случае равновероятных выборов p=1/m. Подставляя это значение в исходное равенство, мы получим

Рассмотрим следующий пример. Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения граней будут следующими: p₁=1/2, p₂=1/4, p₃=1/8, p₄=1/8, тогда количество информации, получаемое после броска, можно рассчитать по формуле:

Для симметричной четырехгранной пирамидки количество информации будет: H=log₂4=2(бит).
     Заметим, что для симметричной пирамидки количество информации оказалось больше, чем для несимметричной пирамидки. Максимальное значение количества информации достигается для равновероятных событий.

Вопросы для самоконтроля

1. Какие подходы к измерению информации вам известны?
     2. Какова основная единица измерения информации?
     3. Сколько байт содержит 1 Кб информации?
     4. Приведите формулу подсчета количества информации при уменьшении неопределенности знания.
     5. Как подсчитать количество информации, передаваемое в символьном сообщении?