Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная
Финансы
Финансы
| Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997 | |
Результаты для случая 5-мерной входной матрицы |
|
|
Для значений целевой переменной (усредненного экспертного прогноза финансовых трудностей в ближайшие полгода) была выбрана следующая числовая запись: группа 0 выживут предоставить О группа 1 пограничные случаи не знаю 0.5 группа 2 банкроты отказать 1 Таким образом количественно выражается естественное отношение упорядоченности между тремя классами. Пять количественных показателей никаким преобразованиям не подвергались, поскольку их значения располагаются приблизительно от -2 до 2 и вполне могут быть поданы на вход сети в исходном виде. И у элементов скрытого слоя, и у выходного элемента функция преобразования была взята сигмоидной с единичной крутизной. Выходные значения разбивались на три категории, соответствующие предполагаемому ответу на основной вопрос: О < выход < 0.33 положить выход равным О 0.33 < выход < 0.66 положить выход равным 0.5 0.66 < выход < 1 положить выход равным 1 Как это и бывает в действительности, в выборке представлены, главным образом, фирмы, которые, по мнению экспертов, должны выжить, и поэтому есть опасность, что сеть получит недостаточно информации, относящейся к потенциальным банкротам. Чтобы уравнять представительство обеих групп, во время обучения сети компании, испытывающие трудности (группа 2), подавались на вход чаще других. Никакой новой информации к базе данных не добавлялось, но уже такое корректирование приводит к правильному расположению гиперплоскостей в пространстве входов. Из-за малого размера базы данных и неравномерного распределения образцов по группам не представляется возможным разбить случайным образом все данные на обучающее, подтверждающее и тестовое множества. Поэтому для получения достоверной оценки доли случаев неправильной классификации применялся метод лскладного ножа: из выборки по очереди выбрасывалось каждое на-блюдение. Для оценки обобщающей способности классификатора применялся 59-кратный метод перекрестного подтверждения. Окончательная оценка (так называемая лleave-one-out cross-validation error) вычислялась путем суммирования ошибок, полученных при выбрасывании отдельных наблюдений. В данном случае мы получаем 59 сетей, обученных на 58 наблюдениях каждая. Прием повторного использования наблюдений, несмотря на вычислительные затраты, хорош тем, что позволяет максимально использовать имеющуюся информацию, - важное качество, когда число наблюдений невелико. Ошибка 59-кратного перекрестного подтверждения Класс 0 Класс 1 Класс 2 Всего Число весов Число скрытых элементов 1 35% 100% 100% 55.90% 8 2 10% 100% 100% 39% 15 3 32.50% 68.80% 100% 45.70% 22 4 32.50% 75% 100% 47.50% 29 5 27.50% 100% 66.70% 49% 36 6 37.50% 87.50% 100% 54.20% 43 Таблица 8.3. Ошибки перекрестного подтверждения Данные о количестве правильных и неправильных классификаций для 5-2-1 сети, которая имела наименьшую общую ошибку (39%), приведены в табл. 8.4. Все члены 2-й группы (высокий кредитный риск) и 1-й группы (пограничные случаи) были классифицированы неправильно. Конкретно, двое лбанкротов получили кредиты, а трем лжизнеспособным было отказано. Общий результат довольно плох, однако нужно отметить, что правильная классификация члена 2-й группы, пропущенного при обучении, представляет собой непростую задачу, поскольку остается всего два наблюдения для идентификации класса лбанкротов. Класс Число неправильньх классификаций 0 1 2 0 36 1 3 10% 1 14 0 2 100% 2 2 1 0 100% Таблица 8.4. Таблица ошибок перекрестного подтверждения для 5-2-1 сети Все 59 обучающих множеств подавались на вход 4000 раз (с начальным состоянием датчика случайных чисел, равным 2). Результаты приведены вместе с соответствующими доверительными интервалами, потому что на компьютере Convex перекрестное подтверждение производилось с автоматически фиксированными начальными весами. При различных инициализациях могут получаться разные результаты, и таким образом можно обходить локальные минимумы. Уже первые эксперименты показали, что окончательный ответ очень чувствителен к изменениям установки начальных значений. Чтобы получить более надежные результаты, при обучении нужно выполнить несколько прогонов на 59-элементном множестве и затем оставить только те из них, которые соответствуют наилучшим индивидуальным результатам обучения (наименьшей среднеквадратичной ошибке на обучающем множестве). Кроме того, мы брали сети с разным числом скрытых элементов (от одного до шести) и обучали их на всем обучающем множестве (метод повторной подстановки). Как и следовало ожидать, с увеличением сложности сети (числа весов) ошибка классификации уменьшалась, а для сети с шестью скрытыми элементами, вообще, оказалась равной нулю (полное обучение). Однако результаты перекрестного подтверждения не внушают доверия к надежности такого метода. Анализ результатов для модели 5-2-1 будет проведен ниже. А сейчас мы хотим привести матрицы ошибок классификации для 5-2-1 модели и для MDA-метода (см. табл. 8.6). Выбранная конфигурация сети дает приблизительно 80-процентную точность классификации - вдвое лучше, чем MDA. Это говорит об отличной способности сети к обобщению (вспомните, что наилучшие результаты сеть показала при перекрестном подтверждении). Особенно важно, что все три лпромаха были поняты. Таким образом, ошибки 1-го рода сведены к нулю. Следует помнить, что минимизация этих ошибок имеет смысл только при том условии, что не становятся слишком большими ошибки 2-го рода. Действительно, когда выборка состоит преимущественно из лжизнеспособных компаний, даже малое количество ошибок 2-го рода сильно скажется на общей ошибке. По этому показателю сеть также опере-жает МБ А. Неправильные классификации на всем обучающем множестве Класс 0 Класс 1 Класс 2 Всего Число весов Число скрытых элементов 1 25% 81.30% 0% 39% 8 2 2.50% 68.70% 0% 20.30% 15 3 0% 43.70% 0% 11.90% 22 4 0% 12.50% 0% 3.40% 29 5 0% 6.25% 0% 1.70% 36 6 0% 0% 0% 0% 43 Таблица 8.5. Результаты обучения для сетей возрастающей сложности Предсказанный номер группы МБА Действительный номер Число 0 1 2 группы случаев Группа 0 40 16 12 12 40% 30% 30% Группа 1 16 4 6 6 25% 38% 38% Группа 2 3 0 1 2 0% 33% 67% Доля правильно классифицированных случаев: 41% Предсказанный номер группы 5-2-1 Действительный номер Число 0 1 2 группы случаев Группа 0 40 39 1 0 97% 3% 0% Группа 1 16 11 5 0 69% 31% 0% Группа 2 3 0 0 3 0% 0% 100% Доля правильно классифицированных случаев: 80% Таблица 8.6. Метод повторной подстановки. Результаты классификации для 5-2-1 модели и АША Убедившись в высоком качестве работы сети, мы обратились к исследованию поведения отдельных переменных. К сожалению, в данном случае каждая степень свободы отвечает за несколько переменных (это относится и к МБА), и роль каждой из них в отдельности с трудом поддается изучению. Поэтому мы заново обучили сеть на исходных, большей частью качественных, данных. |
|
| << Предыдушая | Следующая >> |
| = К содержанию = | |
Похожие документы: "Результаты для случая 5-мерной входной матрицы" |
|
|