Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная
Финансы
Финансы
| Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997 | |
РЕЗУЛЬТАТЫ КЛАССИФИКАЦИИ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ |
|
|
Были опробованы различные нейронные классификаторы, основанные на стандартной MBPN-модели, и их результаты сравнивались с тем, что дают методы MDA и 1-NN. Чтобы сохранить естественное отношение упорядоченности между тремя классами, выход был выбран одномерным. Описанные выше три агрегированных количественных показателя никаким преобразованиям не подвергались, поскольку их значения лежат в интервале от -2 до 2, и это вполне подходит для подачи на входной слой сети. Оба скрытых элемента и выходной элемент имели сигмоидную функцию преобразования с единичной крутизной и коэффициентом обучения 0.1. Полученные на выходе значения разбивались на три группы в соответствии с предполагаемым вариантом ответа на основной вопрос: 0 < выход < 0.33 положить выход равным 0 банкроты 0.33 < выход < 0.66 положить выход равным 0.5 неясно 0.66 < выход < 1 положить выход равным 1 жизнеспособные Здесь, как и в предыдущих случаях, мы применяли процедуру перекрестного подтверждения (по очереди отбрасывая каждое наблюдение) с целью выбрать наилучшую конфигурацию сети (с точки зрения способности к обобщению) и получить оценку надежности модели. Каждый вариант конфигурации сети обучался в течение 30 циклов (3000 эпох) на 29 образцах, а 30-й образец оставлялся для проверки. Выбор подходящей архитектуры сети осуществлялся на основании статистики по среднеквадратичной ошибке (RMSE) перекрестного подтверждения (CV = Cross-Validation). Тип сети CVRMSE Доля правильных прогнозов (%) Число весов 3-0-1 0.42 50.00 4 3-1-1 , 0.40 56.70 6 3-2-1 0.45 40.00 11 3-3-1 0.58 36.60 16 Таблица 8.10. Данные перекрестного подтверждения для раз' личных вариантов архитектуры сети Была сделана попытка выбрать степень сложности модели, исходя из другого критерия - итоговой ошибки прогноза (FPE = Final Prediction Error). Эта величина вычисляется по ошибке на всем обучающем множестве с добавлением штрафного слагаемого за сложность модели: FPE (к) = MSE (Л)[(1 + S (k)/N)( 1 - S (k)/N)], (2) где NЧ объем выборки, S (X) - число весов модели (X.). Для линейных моделей в предположении, что объем выборки достаточно велик, этот критерий дает несмещенную оценку риска обобщения при прогнозе. Это утверждение верно в асимптотическом смысле при NЧ>оо, и наши результаты указывают на то, что при S(A,)-N оно не выполняется. Утанс и Муди [270] утверждают, что несмещенные оценки могут быть получены также для нелиней-ных моделей (в частности, нейронных сетей). Мы подсчитывали FPE для различных сетей возрастающей сложности, и в табл. 8.11 приведены результаты, соответствующие двум видам выходных элементов: многопорогового (0, 0.5, 1) и сигмоид- ного. Для исследуемой задачи модель FPE1 (сигмоидная) представляется не вполне подходящей, так как FPE здесь более естественно было бы вычислять лступенчато (как это делается в FPE2). Критерий FPE2 имеет локальный минимум для конфигурации 3-1-1, что согласуется с результатами перекрестного подтверждения. Это, однако, говорит о том, что ни один из методов выбора модели не является идеальным (при конечном числе точек наблюдения). Поэтому мы остано- вим свой выбор на перекрестном подтверждении как на наиболее надежном методе выбора варианта модели и рассмотрим 3-1-1 сеть. Из таблицы результатов классификации для 3-1-1 сети (см. табл. 8.13) видно, что 80% случаев из 1-й группы и 90% из 3-й группы были классифицированы правильно. С другой стороны, из со-мнительных компаний ни одна не была идентифицирована правильно. Тип сети (ж) RMSE1 FPE1 RMSE2 FPE2 3-0-1 0.302 0.119 3.87 19.6 3-1-1 0.286 0.122 3.46 18.0 3-2-1 0.134 0.134 3.46 25.9 3-3-1 0.076 0.076 2.23 16.4 3-4-1 0.066 0.066 0 0 (ж) Эти данные соответствуют фиксированному количеству эпох обучения (20 тыс.). Поскольку при дополнительном обучении среднеквадратичная ошибка MSE 3-4-1 сети уменьшится, результаты не носят абсолютный характер. RMSE1 соответствует сигмоидному выходному узлу, а RMSE2 - пороговому. Таблица 8.11. Данные об итоговой ошибке прогноза Сеть Доля правильных прогнозов (%) Число весов 1-NN 46.60 ** MDA 60.00 12 Сеть 3-0-1 60.00 4 Сеть 3-1-1 70.00 6 Сеть 3-2-1 70.00 11 Сеть 3-3-1 90.00 16 Сеть 3-4-1 100.00 21 Таблица 8.12. Метод повторной подстановки. Результаты для сетей возрастающей сложности Мы проводили также обучение этих сетей на всем обучающем множестве (метод повторной подстановки), меняя при этом число скрытых элементов от 0 до 4. Как и следовало ожидать, при увеличении сложности сети (числа весов) ошибка классификации уменьшалась, а для сети с четырьмя скрытыми элементами даже было достигнуто полное соответствие в отображении (ошибка равна нулю). Так как для отделения друг от друга трех групп понадобилось 4 скрытых элемента, задача, очевидно, является нелинейно отделимой. Однако, результаты перекрестного подтверждения заставляют сомневаться в возможностях такой сети к обобщению. Далее будут анализировать ся результаты, полученные для модели 3-1-1 после 7000 эпох обучения. Доля правильно классифицированных случаев: 70% Конфигурация 3-1-1 дает точность классификации примерно 70%, что на 10% лучше, чем МБА. В первой группе число правильно классифицированных элементов стало больше на 30% - прекрасный результат с учетом того, что структура базы данных позволяет анализировать только ошибки 1-го рода. Показательно, что и МБА, и нейронная сеть одновременно неправильно классифицировали одну из компаний 1-й группы (№13 в списке) как жизнеспособную (отнесли ее к 3-й группе). Такое совпадение заставило банк пересмотреть ее рейтинги. Оказалось, что эта компания получила очень высокие оценки по многим параметрам благодаря тому, что в тот момент качество оценки было несовершенным. Предсказанный номер группы 3-1-1 Действительный номер группы Число случаев 1 2 3 Группа 1 10 9 0 1 Банкроты 90% 0% 10% Группа 2 10 5 2 3 Неясные случаи 50% 20% 30% Группа 3 10 0 0 10 Жизнеспособные 0% 0% 100% Таблица 8.13. Метод повторной подстановки. Результаты классификации для 3-1-1 сети Нейронная сеть не смогла превзойти результаты метода МБА на 2-й группе компаний. Эта группа состоит из фирм с неясным будущим. В данный момент их финансовое положение неустойчиво, и, возможно, они справятся с этими трудностями, а, может быть, и нет. Было бы интересно сравнить результаты классификации с тем, что в действительности произошло с этими фирмами спустя некоторое время. Опять-таки, приятно отметить, что компании, неправильно классифицированные методом МБА, были также неправильно оценены нейронным классификатором. 100-процентный результат, достигнутый на 3-й группе, говорит о том, что эта часть компаний образует отчетливо выделяемую область в пространстве переменных. Все полученные результаты собраны на рис. 8.1, где для каждой компании наряду с ее истинным номером группы (целевой перемен ной) изображены результаты ее классификации 3-1-1 нейронной сетью, методами МБ А и 1-ЫЫ. Для удобства дискретные выходные значения представлены в непрерывном виде. ж Цель МБА 1-Ш 3-1-1 Рис. 8.1. Метод повторной подстановки. Результаты классификации различными методами |
|
| << Предыдушая | Следующая >> |
| = К содержанию = | |
Похожие документы: "РЕЗУЛЬТАТЫ КЛАССИФИКАЦИИ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ" |
|
|