Задачи изучения дисциплины (необходимый комплекс знаний и умений). 2 Иметь представления о: алгебраических методах построения кодов, исправляющих ошибки

Вид материала

Документы

Содержание 1.2. Задачи изучения дисциплины (необходимый комплекс знаний и умений). 1.2.4. Иметь опыт

Подобный материал:

• Пояснительная записка к курсу Исходный уровень знаний и умений, которыми должен обладать, 977.48kb.
• Пояснительная записка к курсу Исходный уровень знаний и умений, которыми должен обладать, 995.12kb.
• Экспертные системы и базы знаний, 42.45kb.
• Рабочая учебная программа требования к уровню освоения содержания дисциплины, 317.18kb.
• Рабочая программа дисциплины Цели и задачи дисциплины, 63.09kb.
• Задачи изучения дисциплины Реализация поставленной цели требует решение следующих задач:, 36.83kb.
• Задачи изучения дисциплины: формулирование у студентов достаточно необходимых знаний,, 123.46kb.
• Задачи изучения дисциплины Врезультате изучения данной дисциплины студенты должны, 107.67kb.
• Задачи изучения дисциплины, 1770.03kb.
• Рабочая программа дисциплины «управление рисками и страхование в логистике» Рекомендуется, 222.31kb.

ТЕОРИЯ ИНФОРМАЦИИ

Кафедра теории вероятностей и математической статистики факультета физико-математических и естественных наук Российского университета дружбы народов


Обязательный курс для студентов магистратуры по специальности «Теория вероятностей и математическая статистика» (номер специальности 510205), специализирующихся по профилю «Информационная безопасность».


Объем учебной нагрузки:36 часов – лекции, 36 часов – лабораторные занятия

Цель курса

1. Цель и задачи дисциплины

1.1. Цель преподавания дисциплины

Основная цель изучения дисциплины – дать углубленное представление о приложениях алгебраических и вероятностных методов в теории информации и кодирования. Особое место уделяется циклическим кодам и кодам Рида-Соломона.

1.2. Задачи изучения дисциплины (необходимый комплекс знаний и умений).

1.2.1. Иметь представления о:

• алгебраических методах построения кодов, исправляющих ошибки;
  
• основных аспектах теории информации и кодирования
  
• методах сжатия данных;
  

1.2.2. Знать:

• принципы построения кодов, исправляющих ошибки;
  
• методы сжатия данных.
  

1.2.3. Уметь:

• формализовать задачи кодирования;
  
• анализировать коды, связанные с математической формализацией задачи кодирования.
  

1.2.4. Иметь опыт:

• формализации задач кодирования;
  
• анализ и синтез методов, связанных с математической формализацией задач кодирования.
  

Содержание курса

Тема 1 Энтропия

1. Понятие энтропии. Свойства энтропии. Примеры.
   

1. Понятия и свойства совместной и условной энтропии. Примеры.
   

1. Понятия относительной энтропии и взаимной информации. Теорема о взаимной информации и энтропии. Цепное правило для энтропии, относительной энтропии и взаимной информации. Примеры.
   

1. Неравенство Ианцена и ее следствия. Некоторые неравенства и их применение в теории информации. Неравенство Фано. Примеры.
   

1. Асимптотическое свойство эквипартиции и его применение в сжатии данных.
   

1. Коэффициент энтропии и стохастические процессы. Пример случайного блуждания по взвешенному графу.
   

Тема 2 Сжатие данных

1. Примеры кодов. Неравенство Крафта и его обобщение.
   

1. Оптимальные коды.
   

1. Коды Хоффмана и коды Шеннона. Коды Шеннона-Фано-Элайеса. Оптимальность кодов Хоффмана. Примеры.
   

1. Арифметическое кодирование. Кодирование Лемплея-Зива. Примеры.
   

Тема 3 Дискретные каналы без памяти

1. Двоичный симметричный канал.
   

1. Пропускная способность канала.
   

Тема 4 Непрерывные источники и каналы

1. Дифференциальная энтропия.
   

1. Пропускная способность канала и принцип Шеннона. Примеры.
   

Тема 5 Помехоустойчивое кодирование

1. Линейные блочные коды. Порождающая матрица. Синдромное декодирование. Расстояние Хэмминга, совершенные коды и граница Хэмминга. Расширенные коды Хэмминга.
   

1. Циклические коды. Определение и общие свойства. Систематические циклические коды. Порождающая матрица и матрица контроля четности. Схемная реализация циклического кодирования. Синдром циклических кодов и контроль ошибок. Примеры: циклические коды Хэмминга, двоичный код Голлея, CRC коды, укороченные коды, АТМ.
   

1. Сверточные коды и их структура. Декодирование по максимуму правдоподобия.
   

1. Циклические коды. Определение и общие свойства. Систематические циклические коды. Порождающая матрица и матрица контроля четности. Схемная реализация циклического кодирования. Синдром циклических кодов и контроль ошибок. Примеры: циклические коды Хэмминга, двоичный код Голлея, CRC коды, укороченные коды, АТМ.
   

1. Дискретные преобразования Фурье в конечных полях.
   

1. Коды Рида-Соломона. Декодирование кодов Рида-Соломона.
   

Тематика курсовых работ

Курсовые работы по данной дисциплине не предусмотрены.


Литература

Основная

1. Вернер М. Основы кодирования, - М.: Техносфера, 2004, - 286с.
   
2. Яглом А.М., Яглом И.М. Вероятность и информация. - М.: Наука, 1973.
   
3. Шеннон К. Математическая теория связи. – В сб.: Работы по теории информации и кибернетики. - М.: ИЛ, 1963.
   
4. Галлагер Р. Теория информации и надежная связь. - М.: «Советское радио», 1974.
   

Дополнительная

1. Мак-Вильямс Ф.Дж., Слоэн Н.Дж.А. Теория кодов исправляющих ошибки. - М.: Связь, 1979.
   
2. Лидл Р., Нидеррайтер Г. Конечные поля, т. 1, 2, - М.: Мир, 1988.
   

Программа составлена

М.С.Аль-Натор,

К.ф.-м.н., доцентом кафедры теории вероятностей и математической статистики факультета физико-математических и естественных наук Российского университета дружбы нар