Классификация римских цифр на основе нейронных сетей
Дипломная работа - Компьютеры, программирование
Другие дипломы по предмету Компьютеры, программирование
уктура НС:
- количество слоев: 4
- количество нейронов:
а) во входном слое: 63
б) в выходном слое: 9
3. вид функций активации:
а) входной слой линейная [0;1]
б) выходной слой логистическая
В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах от количества нейронов в скрытом слое.
Скорость обучения = 0,1; момент = 0,1; скрытые слои слой 1 24 нейрона, слой 2 24 нейрона.
Таблица данных
Время обученияФункции активацииMin средняя ошибка1слой2слойна тренировочном наборена тестовом наборе03:18логистическаялогистическая0,00000360,000254808:03ГауссоваГауссова0,00000060,000365200:05линейнаялинейная0,50475480,712697101:01компГауссовакомпГауссова0,00000590,0004709Исходя из таблицы, оптимальной структурой для данной сети являестся сесть с Гауссовыми активационными функциями.
Вых1Вых2Вых3Вых4Вых5Вых6Вых7Вых8Вых9R квадрат1,00001,00001,00001,00001,00001,00000,99951,00000,9999СКО0,0020,0020,0010,0010,0010,0020,0070,0010,004Относ СКО %0,1550,1950,0730,0570,0820,1660,7220,0840,351
НС после обучения показывает не очень хорошие обобщающие данные. Неплохие обобщающие данные сеть в середине интервала.
Скорость обучения и начальный момент на качество обобщения не влияют.
Сеть Ворда с двумя блоками в скрытом слое.
Структура НС:
- количество слоев: 4
- количество нейронов:
а) во входном слое: 63
б) в выходном слое: 9
В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах и времени обучения от вида функций активации.
Скорость обучения = 0,1; момент = 0,1
Таблица данных
1 скрытый слой2 скрытый слойMin средняя ошибкаВремя обученияФункция активацииКол-во нейроновФункция активацииКол-во нейроновна тренировочном наборена тестовом набореКомп.Гауссова24Комп. Гауссова240,00000160,000535804:42Гауссова24Гауссова240,00000170,001952903:58логистическая24логистическая240,00000580,000368802:18логистическая24Комп.Гауссова240,00000430,000600701:35
Исходя из таблицы дла данной сети оптимальными будут гауссовы функции активации.
Вых1Вых2Вых3Вых4Вых5Вых6Вых7Вых8Вых9R квадрат1.00000.99920.99991.00000.99991.00000.99951.00001.0000СКО0.0020.0090.0030.0010.0030.0010.0210.0010.002Относ СКО %0.1520.9100.2750.1070.3200.1332.1120.1280.153
Данная сеть после обучения показывает хорошие обобщающие данные.
Скорость обучения и начальный момент на качество обобщения не влияют.
Сеть Ворда с двумя блоками в скрытом слое и с обходным соединением
Структура НС:
- количество слоев: 4
- количество нейронов:
а) во входном слое: 63
б) в выходном слое: 9
3. активационная функция
а) во входном слое: линейная
б) в выходном: логистическая
В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах и времени обучения от вида функций активации.
Скорость обучения = 0,1; момент = 0,1
Таблица данных
1 скрытый слой2 скрытый слойMin средняя ошибкаВремя обученияФункция активацииКол-во нейроновФункция активацииКол-во нейроновна тренировочном наборена тестовом набореГауссова24компГауссова240,00000130,003489802:59Гауссова24Гауссова240,00000050,006550705:21компГауссова24компГауссова240,00000170,003742602:29логистческая24логистическая240,00001470,001954900:38
Исходя из таблицы дла данной сети оптимальными будут функции активации Гауссова для 1 слоя и Комплем. Гауссова для 2 слоя.
Вых1Вых2Вых3Вых4Вых5Вых6Вых7Вых8Вых9R квадрат0,99950,99950,99860,99950,99830,99940,99960,99770,9979СКО0,0070,0080,0130,0070,0120,0070,0060,0140,015Относ СКО %0,6900,7601,2580,6921,2300,7460,6201,4291,512
Данная сеть после обучения показывает не очень хорошие обобщающие данные.
Скорость обучения и начальный момент на качество обобщения не влияют.
Сеть Кохонена
Структура НС:
- кол-во нейронов
- входной слой: 63
- выходной слой: 9
- скорость обучения: 0,5
- начальные веса: 0,5
- окрестность: 8
- эпохи: 500
в таблице отражена зависимость средней количества неиспользованных категорий от пораметров выбора примеров и метрик расстояния.
Параметры выбора примеровМетрики расстоянияВремя обученияКол-во неиспозльзованных категорийпоочередныйевклидова00:021случайныйевклидова00:021поочередныйнормированная00:023случайныйнормированная00:022
Данная сеть обладает плохим обобщением.
На данной диаграмме показаны сравнительные данные по времени обучения рассмотренных сетей.
Т.к сеть Кохонена обладает наихудшими обобщением, ее в диаграмму не включаем.
На данной диаграмме показаны сравниваемые нами значения выходных данных обученных сетей.
Исходя из представленных диаграмм оптимальной для нас будет сеть Ворда с 2мя скрытыми блоками.
2.3 Выбор параметров обучения
Находим оптимальные параметры:
скорость обучения в интервале от 0 до1
момент в интервале от 0 до 1
начальные веса от 0 до 1
1. Зависимость качества обучения от скорости обучения
Скорость обучения0,10,50,71Мин. ср. ошибка на тест. наборе0,00195290,00069560,00050160,00026412.Зависимость качества обучения от момента
Момент0,10,50,71Мин. ср. ошибка на тест. наборе0,00195290,00124110,00138240,5690943
3.Зависимость качества обучения от начальных весов
Начальный вес0,10,30,71Мин. ср. ошибка на тест. наборе0,00103590,00195290,00321820,0031102
2.4 Оптимальные параметры обучения
Скорость обучения: 0,1
Начальный момент: 0,1
Начальные веса: 0,3
Модель - Сеть Ворда с двумя блоками в скрытом слое.
Структура НС: