Банковское дело / Доходы и расходы / Лизинг / Финансовая статистика / Финансовый анализ / Финансовый менеджмент / Финансы / Финансы и кредит / Финансы предприятий / Шпаргалки Главная Финансы Финансы
Д.Э. БЭСТЕНС, В.М. ВАН ДЕН БЕРГ, Д. ВУД. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. - Москва: ТВП,1997. - хх, 236 с., 1997

ОЦЕНКА КАЧЕСТВА МОДЕЛИ

Оценка качества моделей классификации представляет собой сложную задачу, потому что в большинстве реальных приложений цена ошибок неодинакова. Так например, отказ в кредите хорошему клиенту влечет за собой лишь организационные расходы на поиск нового клиента, тогда как предоставление кредита ненадежному партнеру может привести к большим убыткам. Из-за этой несимметрии денежных потоков при определении степени точности модели необходимо учитывать последствия того или иного прогноза. Качество прогнозирования банкротств определяется и тем, насколько точно выявляются банкроты, и тем, насколько точно классифицируются небанкроты. Необнаружение компании-банкрота называется ошибкой 1-го рода, а прогноз банкротства, которого на самом деле не последовало, - ошибкой 2-го рода.
Из-за несимметрии цены ошибки становится чрезвычайно трудно найти компромисс между ошибками 1-го и 2-го родов. Говоря иначе, трудно ответить на вопрос, которая из двух моделей лучше: та, которая правильно идентифицирует 90% банкротств и на одну правильную классификацию дает 10 ошибок 2-го рода, или та, которая идентифицирует 80% банкротств, но дает только 8 ошибок 2-го рода на одну классификацию.
Как можно видеть из рис. 9.1, точки X и У, показывающие качество прогнозов, соответственно, для моделей х и у, не дают возможности однозначно сказать, какая модель лучше. Если снизить требования к точности прогнозирования банкротства, то может оказаться, что модель х, по-прежнему, будет давать большее число ошибок 2-го рода и, тем самым, будет уступать модели у в таких приложениях, где ошибки 2-го рода относительно дороги по отношению к ошибкам 1-го рода.
Из сказанного следует, что качество модели прогнозирования банкротств можно оценить только при условии, что заранее заданы цена ошибок и вероятность банкротства/выживания. Если, например, нам известно, что цена одного не предсказанного вовремя бан-кротства равна цене пяти ложных тревог, и что потерпит банкротство один процент компаний, то мы можем оценить модели:
Цена ошибки модели х: 1% х {5 х (10%) + 10 х (1 - 10%)} = 0.095,
Цена ошибки модели у: 1% х {5 х (20%) + 8 х (1 - 20%)} = 0.074.
Модель х уступает модели у, которая пропускает 20% банкротов, но имеет более низкий показатель ошибок 2-го рода.
Если же одно пропущенное банкротство стоит 30 ложных тревог, то ошибки этих двух моделей будут такими:
Цена ошибки модели х\ 1% х {30х(10%) + 10 х (1 - 10%)} = 0.120,
Цена ошибки модели у. 1% х {30 х (20%) + 8 х (1 - 10%)} = 0.132, и модель х оказывается лучше, чем у. Заметьте, что наибольший вклад в погрешность модели вносит большое количество ошибок 2-го рода, и так получается потому, что они совершаются на жизнеспособных компаниях, а такихЧ подавляющее большинство. Решить, достаточно ли существенно отличаются результаты обеих моделей, чтобы по ним можно было высказывать предпочтение, здесь довольно трудно, так как неизвестно, как модель х будет работать при каком-либо совсем другом соотношении между ценами ошибок. При сдаче экзаменов на аудитора экзаменующиеся распознают толь-ко 25% компаний-банкротов, но зато на каждый правильный прогноз приходится только 4 ложных тревоги (см. [258]).

Доля распознанных банкротств (%)
Рис. 9.1. Ошибки 2-го рода в прогнозе банкротств
При том, что MDA-модели способны распознавать гораздо большую долю компаний-банкротов, общий результат не обязательно будет лучше, чем практика аудиторов. Так, если цена одной ошибки 1-го рода в 5 раз больше, чем ошибки 2-го рода, то итоговая погрешность аудиторов будет равна
1% X {5 X (75%) + 4 X (1 - 75%)] = 0.0475, что меньше, чем у обеих гипотетических моделей х и у.
Эти примеры иллюстрируют следующую мысль: если соотношения цен ошибок различаются сильно, то настройка модели банкротств на конкретные пропорции, по-видимому, более важна, чем качество модели как таковое. Можно ввести обобщенное понятие информационной значимости модели, используя расстояние до так называемой эффективной информационной границы, т.е. кривой, огибающей результаты всех моделей. На рис. 9.1 модель х расположена ближе к этой границе, чем модель у, и поэтому ее следует считать более информационно эффективной.
Следующая проблема - это выработка стандарта для тестирования. Для оценки МБА-моделей в большинстве случаев берется небольшое количество образцов, и это увеличивает вероятность того, что модель будет слишком точно подогнана под тестовые данные. В выборках обычно содержится поровну компаний-банкротов и небанкротов, а сами данные, как правило, соответствуют периодам интенсивных банкротств. Это приводит к выводу о том, что надежными являются только результаты оценки модели на новых данных. Из табл. 9.1 видно, что даже на самых благоприятных тестах с новыми данными (когда все примеры берутся из одного периода времени и притом однородными в смысле отраслей и размера предприятия) качество получается хуже, чем на образцах, по которым определялись параметры модели. Поскольку на практике пользователи моделей классификации не смогут настраивать модель на другие априорные вероятности банкротства, размер фирмы или отрасль, реальное качество модели может оказаться еще хуже. Качество может также ухудшиться из-за того, что в выборках, используемых для тестирования МБА-моделей, бывает мало фирм, которые не обанкротились, но находятся в зоне риска. Если таких лс риском выживающих фирм всего четыре-пять, то это искажает реальную долю рисковых компаний, и в результате частота ошибок 2-го рода оказывается недооцененной. Оценивание Новые данные Доля ошибок Доля ошибок Доля ошибок Доля ошибок 1-го рода (%) 2-го рода (%) 1-го рода (%) 2-го рода (%) Альтман [7] 6 3 4 21 Альтман [12] 3.8 10.3 7.5 10.3 Люерти (1989) 6.6 6.6 11.1 11.1 Таблица 9.1. Ошибки при определении параметров модели по выборке и на новых данных
<< Предыдушая Следующая >>
= К содержанию =
Похожие документы: "ОЦЕНКА КАЧЕСТВА МОДЕЛИ"
  1. Отбор и диагностика модели
    оценка для среднего значения ряда, NЧ число данных в ряде. Последующая нормализация с помощью оценки для вариации позволяет проводить более надежные сравнения для различных приложений. Используя предыдущее значение целевой переменной, можно оценить способность модели предсказывать на один шаг вперед. Подставляя предсказанные значения на место истинных, получим метод предсказания на к шагов
  2. 8.2. СИСТЕМА ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПРОДУКЦИИ
    оценки уровня качества продукции используется система показателей, которая включает в себя обобщающие и единичные показатели качества продукции. Обобщающие показатели качества характеризуют уровень качества продукции в целом по отрасли или предприятию. К этим показателям относятся: сортность, марка, класс, содержание полезного вещества, доля продукции, соответствующая мировым стандартам, и др.
  3. 8.3. КОНКУРЕНТОСПОСОБНОСТЬ П РОДУКЦИИ, ЕЕ СУЩНОСТЬ И МЕТОДЫ ОПРЕДЕЛЕНИЯ
    оценке качества продукции. Технический уровень продукции - относительная характеристика качества продукции, основанная на сопоставлении значений показателей, характеризующих техническое совершенство оцениваемой продукции с соответствующими базовыми значениями (ГОСТ 15467Ч79). В международных стандартах нет понятия лтехнический уровень продукции, поэтому в них отсутствует и определение этого
  4. 8.5. СИСТЕМА УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОДУКЦИИ НА ПРЕДПРИЯТИИ
    оценки качества труда - это процент сдачи продукции с первого предъявления. Однако саратовская система при всех ее достоинствах, а они проявились довольно ярко и быстро, имела и ряд недостатков. В частности, она не позволяла контролировать и управлять уровнем разработок и проектирования изделий, не охватывала другие стадии их жизненного цикла - реализацию и эксплуатацию Относительно ограничена
  5. 14.4.2. Формы тарифной системы оплаты труда
    оценки аккордного задания, распределяется на условиях, определенных бригадой- пропорционально отработанному времени; в соответствии с коэффициентом трудового участия; пропорционально квалификации работников, в зависимости от сложности выполняемых работ; другими способами, предусмотренными в коллективном договоре, положении об оплате труда на предприятии и т. п. или в договоре на выполнение
  6. 1 7.2. АНАЛИЗ И ОЦЕНКА ЛИКВИДНОСТИ И ПЛАТЕЖЕСПОСОБНОСТИ
    оценки финансового состояния выступают ликвидность и платежеспособность. Под ликвидностью предприятия понимается его способность покрыть свои краткосрочные обязательства активами, срок превращения которых в денежные средства соответствует сроку погашения обязательств. Анализ и оценка ликвидности предприятия осуществляются на основе анализа ликвидности баланса. Ликвидность баланса выражается в
  7. 1.3. Предпринимательство как особая форма экономической активности
    оценка эффективности предпринимательской деятельности. Предпринимательская идея представляет собой выявленный возможный интерес фирмы-производителя, имеющий видимые очертания какой-либо конкретной экономической формы. Выявление такого интереса может осуществляться посредством совмещения возможностей предпринимателя с потребностями рынка или, наоборот, путем совмещения потребностей рынка с
  8. 1.5. Цели предпринимательской деятельности
    оценку товарно-рыночным возможностям в отрасли и в экономике. Но в жизни присутствуют и непредвиденные обстоятельства, вероятность которых может быть относительно низка, а воздействие на рентабельность предпринимательской единицы огромно. Это влияние может быть как негативным, приводящим к катастрофическим последствиям (война в Ираке принесла значительные потери для фирм, которые в эту страну
  9. 4.1. Принципы и методы оценки эффективности предпринимательской деятельности
    оценки эффективности предпринимательства рассмотрим взаимоотношения между двумя важнейшими экономическими категориями - эффектом и эффективностью. И эффект, и эффективность отражают рост и развитие экономического объекта, т. е. его способность к прогрессивным количественным изменениям, отраженным в объемных показателях, и к прогрессивным качественным изменениям, дополняющим количественные и
  10. 4.5. Организационно-управленческие инновации
    оценки результатов работы персонала). В качестве экономических нововведений можно привести систему создания резервов. Так, например, выполнение заказов на строительную продукцию в установленный срок зачастую затрудняется так называемыми внутренними и внешними сбоями в системе. Для их ликвидации необходимо создание резервов (материальных, трудовых и технических) с целью компенсации возникающих