М. А. Кремень психология управления курс лекций

Вид материала

Курс лекций

Содержание Информационная емкость

Подобный материал:

• Лекционный курс «Психология управления» тема Психология управления как самостоятельная, 2704.25kb.
• Курс лекций часть 2 Тюмень 2006 удк 159 01 Михеева Е. М., Фалько Г. В. Психология:, 2034.37kb.
• Е. В. Беляева Этика Курс лекций, 693.52kb.
• С. В. Лапина Культурология Курс лекций, 3263kb.
• С. В. Лапина Социология Курс лекций, 2085.17kb.
• О. В. Свидерская Основы энергосбережения Курс лекций, 2953.76kb.
• С. М. Забелов > П. С. Забелов Административное право Курс лекций, 3268.19kb.
• И. М. Вашко Организация и охрана труда Курс лекций, 2301.24kb.
• И. М. Вашко Организация и охрана труда Курс лекций, 2301.17kb.
• Курс лекций для студентов заочного факультета самара, 1339.16kb.

Информационная емкость

Пусть алфавит данного множества дискретных сообщений состоит из т символов, а разрядность сообщений – из n позиций. Будем рассуждать так. Если наше множество сообщений имеем алфавит m и разрядность n=1 (т.е. каждое сообщение этого множества состоит из одной позиции), то любое наугад выбранное из него сообщение будет состоять из одного из символов алфавита /н, занимающего и ли ни ионную позицию сообщения. Очевидно, всего будет т таких однопозиционных сообщений.

Если множество имеет алфавит т и разрядность n=2, то каждое сообщение этого множества будет иметь две позиции и, следовательно, число возможных сообщений в нем будет N = mn = m².

В общем случае, когда сообщения множества имеют алфавит т, разрядность п и вероятность появления в любой позиции « каждого из символов т алфавита одинакова, будем иметь: N = mⁿ.

Это – число возможных сообщений в рассматриваемом множестве, определяющее информационную емкость или максимально возможное число сообщений, которые способна выдать, передать или хранить в себе система, оперирующая алфавитом из т символов и разрядностью из n позиций.

Такой системой может быть источник сообщений, канал связи или запоминающее устройство.

Пример 2.

Пусть m = 30 букв. Из них можно составить 30¹ = 30 однобуквенных слов (n = 1), 30² = 900 двухбуквенных (n = 2), 30³ = 27000 трехбуквенных (n = 3), 30⁴ = 81000 четырехбуквенных (n = 4) и т.д. Между тем в действительности язык содержит примерно 50000 слов.

Информационную емкость принято, однако, оценивать логарифмом числа возможных сообщений: Q = log₂N log₂mⁿ = nlog₂m.

Применение логарифмической меры для измерения объемов информации и других измерений количеств информации оправдано тем, что она обладает рядом преимуществ, делающих удобными математические расчеты, в частности, математическим свойством аддитивности, благодаря которому, например, объемы информации различных источников сообщений могут суммироваться.

Так, если мы имеем два источника сообщений с емкостями Q₁ = n₁log₂m₁ и Q₂ = n₂log₂m₂, то при этом общий объем информации Q = Q₁ + Q₂ = n₁log₂m₁ + n₂log₂m₂

Пример 3.

Вычислим информационную емкость обыкновенного чистого листа бумаги, предназначенного для напечатания текста на научную тему. Будем считать, что с учетом пробелов между словами на таком листе помешается 2000 знаков. Следовательно, разрядность n = 2000 позиций. Далее, пусть алфавит текста включает: русский алфавит m₁ =32, латинский алфавит т₂=21, знаки препинания m₃=12, цифры т₄=10, арифметические знаки m_s=5. Отсюда находим «научный» алфавит: т= m₁ + m₂ + m₃ + m₄ + m₅ =32 + 27 + 12 + 10 + + 5 = 86 символов.

Информационная емкость нашего листа Q = nlog₂m = 2000 Iog₂86= 20006,5 = 13000 дв. ед.

Информационная емкость показывает, какое предельное количество информации может хранить, выдать или передать система, если она обладает конкретным алфавитом в т символов и разрядностью в n позиций.

Энтропия

Понятие «энтропия» введено в 1865г. Р.Клауэиусом. Статистическая физика рассматривает энтропию как меру вероятности пребывания системы в данном состоянии. Этим понятием широко пользуются в физике, химии, биологии и теории информации.

Энтропия (неопределенность) события, явления, процесса в полной мере существует только до получения сообщения или в общем случае – до проведения опыта. После получения сообщения (выполнения опыта) она исчезает или уменьшается, так как уже имеется определенная информация.

Если принять, что до получения информации существовала энтропия Н', а после получения информации она уменьшилась до величины Н", то количество полученной информации будет: Н = Н' – Н".

Если в результате получения информации полностью устранена неопределенность, то Н = Н', т.е. количество информации и в этом случае численно равно энтропии, имевшей место до получении информации. Чем в большей степени устранена неопределенность, тем больше полученная информация. Количественное равенство информации и первоначальной энтропии, конечно, не означает тождественности этих понятий. Более того, они противоположны друг другу, ведь информация равна ycтраненной энтропии.

Понятие энтропии применимо не только к сообщениям, но и к их источникам. Так, если источником сообщений является книга, на каждой странице которой повторяются одни и те же, уже известные, истины, то читатель получит мало информации; такая книга будет обладать низкой энтропией. Напротив, когда каждая глава, каждый параграф содержит что-то новое, книга может дать много информации читателю и, следовательно, имеет большую энтропию.