Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная
Финансы
Финансы
| Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997 | |
ОЦЕНКА КАЧЕСТВА МОДЕЛИ |
|
|
Оценка качества моделей классификации представляет собой сложную задачу, потому что в большинстве реальных приложений цена ошибок неодинакова. Так например, отказ в кредите хорошему клиенту влечет за собой лишь организационные расходы на поиск нового клиента, тогда как предоставление кредита ненадежному партнеру может привести к большим убыткам. Из-за этой несимметрии денежных потоков при определении степени точности модели необходимо учитывать последствия того или иного прогноза. Качество прогнозирования банкротств определяется и тем, насколько точно выявляются банкроты, и тем, насколько точно классифицируются небанкроты. Необнаружение компании-банкрота называется ошибкой 1-го рода, а прогноз банкротства, которого на самом деле не последовало, - ошибкой 2-го рода. Из-за несимметрии цены ошибки становится чрезвычайно трудно найти компромисс между ошибками 1-го и 2-го родов. Говоря иначе, трудно ответить на вопрос, которая из двух моделей лучше: та, которая правильно идентифицирует 90% банкротств и на одну правильную классификацию дает 10 ошибок 2-го рода, или та, которая идентифицирует 80% банкротств, но дает только 8 ошибок 2-го рода на одну классификацию. Как можно видеть из рис. 9.1, точки X и У, показывающие качество прогнозов, соответственно, для моделей х и у, не дают возможности однозначно сказать, какая модель лучше. Если снизить требования к точности прогнозирования банкротства, то может оказаться, что модель х, по-прежнему, будет давать большее число ошибок 2-го рода и, тем самым, будет уступать модели у в таких приложениях, где ошибки 2-го рода относительно дороги по отношению к ошибкам 1-го рода. Из сказанного следует, что качество модели прогнозирования банкротств можно оценить только при условии, что заранее заданы цена ошибок и вероятность банкротства/выживания. Если, например, нам известно, что цена одного не предсказанного вовремя бан-кротства равна цене пяти ложных тревог, и что потерпит банкротство один процент компаний, то мы можем оценить модели: Цена ошибки модели х: 1% х {5 х (10%) + 10 х (1 - 10%)} = 0.095, Цена ошибки модели у: 1% х {5 х (20%) + 8 х (1 - 20%)} = 0.074. Модель х уступает модели у, которая пропускает 20% банкротов, но имеет более низкий показатель ошибок 2-го рода. Если же одно пропущенное банкротство стоит 30 ложных тревог, то ошибки этих двух моделей будут такими: Цена ошибки модели х\ 1% х {30х(10%) + 10 х (1 - 10%)} = 0.120, Цена ошибки модели у. 1% х {30 х (20%) + 8 х (1 - 10%)} = 0.132, и модель х оказывается лучше, чем у. Заметьте, что наибольший вклад в погрешность модели вносит большое количество ошибок 2-го рода, и так получается потому, что они совершаются на жизнеспособных компаниях, а такихЧ подавляющее большинство. Решить, достаточно ли существенно отличаются результаты обеих моделей, чтобы по ним можно было высказывать предпочтение, здесь довольно трудно, так как неизвестно, как модель х будет работать при каком-либо совсем другом соотношении между ценами ошибок. При сдаче экзаменов на аудитора экзаменующиеся распознают толь-ко 25% компаний-банкротов, но зато на каждый правильный прогноз приходится только 4 ложных тревоги (см. [258]). Доля распознанных банкротств (%) Рис. 9.1. Ошибки 2-го рода в прогнозе банкротств При том, что MDA-модели способны распознавать гораздо большую долю компаний-банкротов, общий результат не обязательно будет лучше, чем практика аудиторов. Так, если цена одной ошибки 1-го рода в 5 раз больше, чем ошибки 2-го рода, то итоговая погрешность аудиторов будет равна 1% X {5 X (75%) + 4 X (1 - 75%)] = 0.0475, что меньше, чем у обеих гипотетических моделей х и у. Эти примеры иллюстрируют следующую мысль: если соотношения цен ошибок различаются сильно, то настройка модели банкротств на конкретные пропорции, по-видимому, более важна, чем качество модели как таковое. Можно ввести обобщенное понятие информационной значимости модели, используя расстояние до так называемой эффективной информационной границы, т.е. кривой, огибающей результаты всех моделей. На рис. 9.1 модель х расположена ближе к этой границе, чем модель у, и поэтому ее следует считать более информационно эффективной. Следующая проблема - это выработка стандарта для тестирования. Для оценки МБА-моделей в большинстве случаев берется небольшое количество образцов, и это увеличивает вероятность того, что модель будет слишком точно подогнана под тестовые данные. В выборках обычно содержится поровну компаний-банкротов и небанкротов, а сами данные, как правило, соответствуют периодам интенсивных банкротств. Это приводит к выводу о том, что надежными являются только результаты оценки модели на новых данных. Из табл. 9.1 видно, что даже на самых благоприятных тестах с новыми данными (когда все примеры берутся из одного периода времени и притом однородными в смысле отраслей и размера предприятия) качество получается хуже, чем на образцах, по которым определялись параметры модели. Поскольку на практике пользователи моделей классификации не смогут настраивать модель на другие априорные вероятности банкротства, размер фирмы или отрасль, реальное качество модели может оказаться еще хуже. Качество может также ухудшиться из-за того, что в выборках, используемых для тестирования МБА-моделей, бывает мало фирм, которые не обанкротились, но находятся в зоне риска. Если таких лс риском выживающих фирм всего четыре-пять, то это искажает реальную долю рисковых компаний, и в результате частота ошибок 2-го рода оказывается недооцененной. Оценивание Новые данные Доля ошибок Доля ошибок Доля ошибок Доля ошибок 1-го рода (%) 2-го рода (%) 1-го рода (%) 2-го рода (%) Альтман [7] 6 3 4 21 Альтман [12] 3.8 10.3 7.5 10.3 Люерти (1989) 6.6 6.6 11.1 11.1 Таблица 9.1. Ошибки при определении параметров модели по выборке и на новых данных |
|
| << Предыдушая | Следующая >> |
| = К содержанию = | |
Похожие документы: "ОЦЕНКА КАЧЕСТВА МОДЕЛИ" |
|
|