Курс Vсеместры 10 (весенний) лекции 16 часов Экзамен 10 семестр (весенний)
| Вид материала | Лекции |
- Курс Vсеместры 9 (осенний), 10 (весенний) лекции 66 часов Экзамен 10 семестр (весенний), 40.04kb.
- Курс IV семестры 8 (весенний) лекции 16 часов Экзамен 8 семестр (весенний), 30.19kb.
- Курс Vсеместры 10 (весенний) лекции 16 часов экзамен нет, 85.63kb.
- Семестр Весенний Весенний лекции 24 часа 0,67 кредита Лабораторные з анятия 24 часа, 298.22kb.
- Курс Vсеместры 9 (осенний) лекции 17 часов Экзамен 9 семестр (осенний), 86.23kb.
- Курс Vсеместры 9 (осенний) лекции 17 часов Экзамен 9 семестр (осенний), 69.52kb.
- Курс Vсеместры 9 (осенний) лекции 17 часов Экзамен 9 семестр (осенний), 30.62kb.
- И. М. Губкина календарный план дисциплина: «Интегральное исчисление и ряды» учебный, 52.15kb.
- Курс 3 Семестр 2 Лекции (часов) 32 Сем занятия (часов) 32 Всего часов: 64 Экзамен (семестр), 699.59kb.
- Рабочая программа практических занятий по основам психотерапии лечебный и педиатрический, 29.04kb.
министерство образования и науки российской федерации
Федеральное агентство по образованию
Государственное образовательное учреждение
высшего профессионального образования
Московский физико-технический институт
(государственный университет)
УТВЕРЖДАЮ
проректор по учебной работе
д.т.н. Е.В. Глухова
«___» _____________ 200__ г.
П Р О Г Р А М М А
курса АНАЛИЗ ДАННЫХ. ЧАСТЬ III. НЕЙРОННЫЕ СЕТИ.
по направлению 010600 «Прикладные математика и физика»
по магистерской программе 010656
факультет РТК
кафедра проблем передачи и обработки информации
курс V
семестры 10 (весенний)
лекции 16 часов Экзамен 10 семестр (весенний)
семинары нет Зачёт нет
лабораторные занятия 16 часов
самостоятельная работа 2 часа в неделю
ВСЕГО ЧАСОВ 32
Программу составили: профессор, д.ф-м.н. Бернштейн А.В.
ассистент Бурнаев Е.В.
Программа обсуждена на заседании кафедры
проблем передачи и обработки информации
02 июня 2008 года
Заведующий кафедрой
чл.-корр. РАН А.П. Кулешов
1. Введение.
Биологический нейрон и его математическая модель, элементарные сведения из нейрофизиологии и теории процессов высшей нервной деятельности. Представление нейронов с помощью направленных графов. Обратная связь. Архитектура сетей. Представление знаний. Искусственный интеллект и нейронные сети.
2. Процессы обучения.
Обучение, основанное на коррекции ошибок. Обучение на основе памяти. Обучение Хебба. Конкурентное обучение. Обучение Больцмана. Задача присваивания коэффициентов доверия. Обучение с учителем. Обучение без учителя. Задачи обучения. Память. Адаптация. Статистическая природа процесса обучения. Теория статистического обучения. Вероятностно-корректная в смысле аппроксимации модель обучения.
3. Однослойный персептрон.
Задача адаптивной фильтрации. Методы безусловной оптимизации. Линейный фильтр, построенный по методу наименьших квадратов. Алгоритм минимизации среднеквадратической ошибки. Графики процесса обучения. Изменение параметра скорости обучения по модели отжига. Персептрон. Теорема о сходимости персептрона. Взаимосвязь персептрона и байесовского классификатора в гауссовой среде.
4. Многослойный персептрон.
Алгоритм обратного распространения ошибки. Задача XOR. Рекомендации по улучшению работы алгоритма обратного распространения ошибки. Представление выхода и решающе правило. Компьютерный эксперимент. Извлечение признаков. Обратное распространение ошибки и дифференцирование. Гессиан. Обобщение. Аппроксимация функций. Перекрестная проверка. Методы упрощения структуры сети. Преимущества и ограничения обучения методом обратного распространения ошибки. Ускорение сходимости процесса обучения методом обратного распространения ошибки. Обучение с учителем как задача оптимизации. Сети свертки.
5. Сети на основе радиальных базисных функций.
Теорема Ковера о разделимости множеств. Задача интерполяции. Обучение с учителем как плохо обусловленная задача восстановления гиперповерхности. Теория регуляризации. Сети регуляризации. Обобщенные сети на основе радиальных базисных функций. Задача XOR. Оценивание параметра регуляризации. Свойства аппроксимации сетей на основе радиальных базисных функций. Сравнение сетей на основе радиальных базисных функций и многослойных персептронов. Регрессия ядра и ее связь с сетями на основе радиальных базисных функций. Стратегии обучения. Компьютерное моделирование: классификация образов.
6. Ассоциативные машины.
Усреднение по ансамблю. Метод усиления. Компьютерный эксперимент. Ассоциативная гауссова модель смешения. Модель иерархического смешения мнений экспертов. Выбор модели с использованием стандартного дерева решений. Априорные и апостериорные вероятности. Оценка максимального подобия. Стратегии обучения для модели HME. Алгоритм EM. Применение алгоритма EM к модели HME.
7. Карты самоорганизации.
Две основные модели отображения признаков. Карты самоорганизации. Описание алгоритма SOM. Свойства карты признаков. Компьютерное моделирование. Квантование вектора обучения. Адаптивная классификация множеств. Иерархическая квантизация векторов. Контекстные карты.
8. Стохастические машины и их аппроксимации в статистической механике.
Статистическая механика. Цепи Маркова. Алгоритм Метрополиса. Метод моделирования отжига. Распределение Гиббса. Машина Больцмана. Сигмоидальные сети доверия. Машина Гельмгольца. Теория среднего поля. Детерминированная машина Больцмана. Детерминированные сигмоидальные сети доверия. Детерминированный отжиг.
9. Применение нейронных сетей в аэродинамике.
Сжатие и генераций профилей. Восстановление профиля по давлению и давления по профилю. Аппроксимация аэродинамических характеристик самолета по его компоновке и режимам полета.
СПИСОК ЛИТЕРАТУРЫ
1. Хайкин С. Нейронные сети: полный курс. М.: ООО “И.Д. Вильямс”, 2006.
2. Уоссерман Ф. Нерокомпьютерная техника. М.: Мир, 1992.
3. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.
4. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.
5. Мкртчян С.О. Нероны и нейронные сети. М.: Энергия, 1971.
6. Горбань А.Н. Обучение нейронных сетей. М.: СП «Параграф», 1990.
7. Галушкин А.И. Синтез многослойных схем распознавания образов. М.: Энергия, 1974.
8. Шеперед Г. Нейробиология. М.: Мир, 1987. Т. 1-2.
9. Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение. М.: Мир, 1988.
10. Банди Б. Методы оптимизации. М.: Радио и связь, 1988.