Технология извлечения знаний из нейронных сетей: апробация, проектирование ПО, использование в психо...
Дипломная работа - Математика и статистика
Другие дипломы по предмету Математика и статистика
Министерство образования Российской Федерации
Омский Государственный Университет
Математический факультет
Горбань Павел Александрович
ТЕХНОЛОГИЯ ИЗВЛЕЧЕНИЯ ЗНАНИЙ ИЗ НЕЙРОННЫХ СЕТЕЙ:
АПРОБАЦИЯ, ПРОЕКТИРОВАНИЕ ПО,
ИСПОЛЬЗОВАНИЕ В ПСИХОЛИНГВИСТИКЕ
Дипломная работа
Научный руководитель:
Член-корреспондент РАН
В.В. Шайдуров
Омск 2002
Оглавление
Введение4
Цель работы4
Основные задачи исследования4
Основные результаты работы, полученные лично автором4
Апробация работы5
Публикации5
Глава 1. Проблема извлечения знаний и обзор методов извлечения знаний6
1.1 Знание и приобретение знаний6
1.1.1 "Знание"6
1.1.2. Приобретение знаний8
1.2. Методы извлечения и приобретения знаний8
1.2.1. Приобретение знаний, обучение и обобщение по примерам в теории классических экспертных систем9
1.2.1.1. Трудности при разработке экспертных систем11
1.2.2. Методы извлечения знаний из таблиц данных12
1.2.2.1. Технология извлечения знаний из таблиц данных12
1.2.2.2. Таблица эмпирических данных13
1.2.2.3. Статистические методы извлечения знаний из таблицы данных15
1.2.3. Методы идентификации систем15
1.2.4. Другие методы обработки данных16
1.3. Требования к технологии извлечения знаний17
Глава 2. Нейронные сети19
2.1. Коннекционизм19
2.2. Элементы нейронных сетей20
2.3. Основные архитектуры нейронных сетей21
2.4. Обучение нейронных сетей как минимизация функции ошибки22
Глава 3. Упрощение нейронной сети.27
3.1. Что такое упрощение нейронной сети и зачем оно нужно27
3.2. Задача извлечения знаний из нейронной сети28
3.3. Методы упрощения нейронных сетей29
3.3.1. Контрастирование синапсов нейросети30
3.3.2. Контрастирование нейронов нейросети32
3.3.3. Контрастирование входных сигналов нейросети35
3.3.4. Бинаризация синапсов36
3.3.5. Упрощение нелинейных преобразователей нейронов37
3.3.6. Дополнительные модификации алгоритмов контрастирования37
3.3.7. Методы модификации структуры обученной сети38
3.4. Требования к процессу упрощения сети для извлечения знаний38
3.5. Упрощающие операции над нейронной сетью39
3.6. Процедура комплексного упрощения нейронной сети40
Глава 4. Методы извлечения знаний из искусственных нейронных сетей41
4.1. Существующие методы извлечения знаний из обученной нейросети41
4.1.1. Методы на основе квантования сигналов сети42
4.1.2. Методы извлечения знаний параллельно с обучением нейросети44
4.1.3. Методы извлечения знаний из обученной нейросети46
4.2. Методы извлечения знаний: требования к методам50
4.3. Методология извлечения явных знаний, использующая технологию комплексного упрощения нейросети52
4.4. Приемы повышения вербализуемости нейронной сети56
4.4.1. Добавление синдрома в набор входных симптомов56
4.4.2. Построение иерархии продукционных правил57
4.4.3. Ручное конструирование сети из фрагментов нескольких логически прозрачных сетей59
Глава 5. Нейросетевой анализ структуры индивидуального пространства смыслов60
5.1. Семантический дифференциал60
5.2. MAN-многообразия63
Литература65
Публикации автора по теме диплома69
Приложение 1. Плакаты для защиты диплома.71
Приложение 2. Статья: Горбань П.А. Нейросетевой анализ структуры индивидуального пространства смыслов. "Нейрокомпьютеры": разработка, применение. 2002, No 4. С. 14-19.84
Введение
Цель работы
Целью дипломной работы является апробация гибкой технологии извлечения знаний из нейронных сетей, настраиваемой с учетом предпочтений пользователя. Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию. Проведение исследований индивидуальных пространств смыслов на основе данной технологии.
Основные задачи исследования
- Анализ разработанных методов извлечения явных знаний из нейронных сетей с указанием их ограничений и областей применимости.
- Апробация гибкой настраиваемой на основе предпочтений пользователя технологии извлечения знаний, опирающейся на предварительное проведение комплексного упрощения нейронной сети, выполняющегося с учетом сформированных пользователем требований к результирующему виду извлекаемых знаний.
- Тестирование, пробная эксплуатация и разработка новой версии программных средств, реализующих данную технологию.
- Усовершенствование метода семантического дифференциала Осгуда при помощи технологии разреживания обучаемых нейронных сетей.
Основные результаты работы, полученные лично автором
- Предложены следующие приемы, упрощающие и делающие более гибким процесс вербализации (семантического анализа осмысления в терминах проблемной области) извлеченного из сети набора правил:
- На основе гипотезы о неединственности извлекаемых правил и учитывая, что разные фрагменты сети (поднаборы правил) будут более или менее правдоподобны и интерпретируемы, предложено конструирование новой, более понятной пользователю нейронной сети из наиболее просто интерпретируемых фрагментов други?/p>