Книги, научные публикации
Экономические Математические и инструментальные 9(58) 330 науки методы экономики 2009 Оценка качества и сравнение скоринговых карт й 2009 С.В. Уланов кандидат экономических наук, доцент Сарапульский
политехнический институт В статье предлагается комплексная методика оценки кредитных скоринговых карт, основанная на таких критериях, как обычное и кумулятивное распределение кредитов, статистка К С, ROC анализ и Lift кривая. На примере показывается, как сравнивать две скоринговые карты, постро енные разными методами статистическим и экспертным.
Ключевые слова: банковский менеджмент, скоринг, оценка кредитоспособности, математичес кие методы.
Введение данным клиентом, либо сразу выносится реше Кредитный скоринг как технология массо ние о принадлежности клиента к одному из двух вой оценки кредитоспособности заемщика полу классов УплохойФ, УхорошийФ. Для перехода чила распространение в нашей стране значительно от интегрального показателя каждого клиента к позже, чем на Западе, в силу того, что активно его классу делают сравнение с точкой отсечения, банки стали развивать розничный бизнес только которая рассчитывается из отношения, сколько последнее десятилетие1. Cкоринг же позволяет в среднем нужно заемщиков, которые не допус решить важную задачу обеспечить хорошее ка кают просроченной задолженности, для того что чество кредитного портфеля при высокой скоро бы компенсировать убытки от одного дефолтно сти принятия решений о предоставлении креди го кредита3.
тов, поэтому число отечественных банков, вне Классическим представителем скоринговой дряющих скоринг в программах потребитель модели является скоринговая карта. Анализируя ского и беззалогового кредитования, с каждым литературу по скорингу, в которой сосредоточен годом увеличивается, хотя официальная статис мировой опыт его использования4, можно ска тика на этот счет отсутствует.
зать, что балльные скоринговые методики лиди Из за того, что технология скоринга имеет руют по количеству и частоте использования, зарубежное происхождение, до сих пор в ней уступая нейросетевым и другим моделям машин нет единой терминологии, поэтому часто специ ного обучения. Отчасти причины этого нахо алисты по розничным банковским рискам ис дятся в консервативном восприятии новых ал пользуют англоязычные понятия без перевода горитмов в банковском риск менеждменте.
на русский язык (примеры: approval rate, пробле Как правило, при наличии кредитных исто ма reject inference, cut off, LTI и др.). Кроме того, рий современные скоринговые карты строятся с по разному трактуют и само понятие скоринга, использованием аппарата множественной логис включая в него процедуры верификации и ан тической регрессии. Будем называть такие кар деррайтинга кредитных заявок. Говоря о скорин ты статистическими. И если алгоритмическая ге, мы будем отталкиваться от следующих опре база скоринга сегодня хорошо проработана, то делений2. Скоринг это метод оценки благона вопросы об оценке их качества и сравнения час дежности клиента на основании обработки ин то не включаются в стандартный инструмента формации о поведении аналогичных клиентов в рий кредитного аналитика. Из за того, что со прошлом либо экспертных знаний. Скоринговая временные скоринговые технологии представля модель это математическая модель, предсказы ют собой сплав из различных областей, таких вающая, вернет или нет клиент кредит в срок.
как математическая статистика, машинное обу Такие модели строятся либо на основе статисти чение, методы оптимизации, регрессионный ана ческих данных по кредитным историям, либо лиз, финансы, возникает потребность в наличии (реже) с применением методов обработки экс комплексной методики, позволяющей проводить пертных оценок. На выходе модель формирует оценку и сравнение нескольких скоринговых карт некоторый интегральный показатель (рейтинг), для выбора наилучшей.
указывающий на степень риска, связанного с Коновалихин М.Ю., Сергиенко Д.О., Кулик В.В., Паклин Н.Б., Орешков В.И. Бизнес аналитика: от Кремлева И.В. Подходы к построению скоринговых мо данных к знаниям. СПб., 2009.
делей // Управление финансовыми рисками. 2007.
Руководство по кредитному скорингу / Под ред.
№ 01(09).
2 Э. Мэйнз. Минск, 2008.
Там же.
n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t Экономические Математические и инструментальные 9(58) науки методы экономики Методы валидации между точками кумулятивных кривых есть уро и сравнения скоринговых карт вень статистики К С. Эта статистика измеряет Большинство методов валидации и сравне способность скоринговой карты разделять клас ния скоринговых карт основываются на анализе сы, и на практике ее диапазон варьирования от качества модели с непрерывным выходом, кото 25 до 75. Чем выше значение статистики К С, рый трактуется как рейтинговый балл. Разделе тем лучше качество скоринговой карты. В месте ние клиентов на два класса благонадежные и максимального значения К С лежит оптималь неблагонадежные производится при помощи ный скоринговый балл, минимизирующий сум порогового балла, что представляет собой отдель марную ошибку классификации I и II рода.
ную задачу и не связано напрямую с понятием 3. ROC кривая и индекс AUC. Предварительно качества скоринговой карты. введем понятия ошибок I и II рода. Для каждого Основой для построения скоринговой кар скорингового балла отсечения ci = ci 1 +, i = ты является использование двух множеств ра 1,..., n получим соответствующий бинарный бочего и тестового. На тестовом множестве оце классификатор, характеристиками которого яв нивается обобщающая сила карты, т.е. опреде ляются два типа ошибок:
ляется, насколько модель уловила закономерно ошибка I рода P1 интересующее событие сти исследуемого процесса при установленном ошибочно не обнаружено (выдача кредита заем пороге отсечения. Это, по сути, оценка работы щику, у которого будут значительные просрочки бинарного классификатора на основе трех глав или дефолт по кредиту);
ных показателей.
ошибка II рода P2 интересующее событие 1. Общая ошибка классификации присутствует, но не обнаружено (отказ хороше E = (1 k / m)100%, му заемщику).
где m общее число примеров в тестовом множестве;
Формулы для расчета данных ошибок име k число верно классифицированных примеров.
ют вид 2. Уровень одобрений скоринговой карты P1 = bg / (bb + bg);
P2 = gg / (gg + gb), AR = (1 b / m)100%, где bb и gg количество плохих и хороших кредитов, m где bf число отказов клиентам по скорингу.
соответственно, предсказанных верно;
bg число плохих кредитов, предсказанных как 3. Уровень дефолтов скоринговой карты хорошие;
BR = (b / (k b ))100%, m gb число хороших, предсказанных как плохие.
где b фактическое число дефолтных кредитов.
Совокупность точек (P1i, P2i) образует ROC На рабочем множестве анализируется то, кривую. Численный показатель площади под насколько эффективно скоринговая карта разде ROC кривой называется AUC индексом и рас ляет заемщиков на классы. К обязательным про считывается любым численным методом, напри цедурам оценки скоринговой карты можно от мер методом трапеций:
нести статистическую оценку значимости коэф фициентов и самой логрегресионной модели, а AUC = (0,5 (P1i+1 + P1i )(P2i+1 - P2i )). Значение AUC i также расчет доверительных интервалов. Однако индекса, большее 0,8, свидетельствует о хоро эти процедуры подходят только для статисти шей прогностической силе скоринговой карты.
ческих скоринговых карт (т.е. полученных на Часто ROC кривую строят отдельно на рабочем прошлых кредитных историях). Возникает про и на тестовом множестве.
блема, как сравнить две карты, одна из которых 4. Lift кривая. Формируется на основе лифт статистическая, а другая экспертная. Нужны кри фактора, который в машинном обучении при терии, пригодные для любых скоринговых карт.
решении задачи оптимизации массовой рассыл Выделим четыре таких критерия:
ки был впервые определен как показатель, отра 1. Кривые распределения для хороших и пло жающий увеличение числа откликов относитель хих кредитов. Это зависимости числа наблюде но числа почтовых отправлений. Lift кривая стро ний от скорингового балла. Чем более явно раз ится следующим образом: по горизонтальной оси делены два данных распределения, тем более откладывается размер выборки в процентах от эффективна скоринговая карта.
общего числа наблюдений в списке примеров, 2. Распределение кумулятивных процентов для упорядоченном по убыванию вероятности наступ хороших и плохих кредитов. Такой график пока ления положительного исхода. По вертикальной зывает зависимость скорингового балла от CE и оси фиксируется кумулятивное число положи CNE (CE доля хороших кредитов накоплен тельных исходов в каждой подвыборке. Вообще, ным итогом, CNE доля плохих кредитов на Lift кривая призвана выбрать подмножество при копленным итогом). Вертикальное расстояние n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t Экономические Математические и инструментальные 9(58) науки методы экономики меров, которые имеют наибольшую вероятность Требуется оценить эффективность каждой положительного исхода. Эта задача не так акту скоринговой карты для выбора наилучшей.
альна в скоринге, как, к примеру, в директ мар Принцип интерпретации коэффициентов по кетинге, однако по площади под кривой можно статистической скоринговой карте следующий.
тоже проводить сравнение моделей. Например, рассмотрим образование заемщика.
Рассчитаем отношения шансов: OR(среднее) = Практический пример = e0 = 1;
OR(среднее специальное) = e0,94 = 2,6;
Пусть имеются две скоринговые карты, па OR(высшее) = e1,86 = 6,2. Их интерпретация сле раметры которых приведены в таблице. Баллы дующая: при фиксированных значениях других первой получены на основе модели множествен переменных у клиента с высшим образованием ной логистической регрессии и представляют шансы стать благонадежным заемщиком в собой регрессионные коэффициенты, баллы вто 6,2 раза выше по сравнению с тем, у кого обра рой путем опроса эксперта. Эксперту предла зование среднее. В экспертной же модели кли галось только проставить веса в уже упорядо ент с высшим образованием получит 10 баллов к ченные признаки заемщика и решать, что боль общему рейтингу.
ше влияет на положительную кредитоспособность, Для оценки эффективности моделей по опи например Уженат/замужемФ или УдругоеФ в се санным выше для каждой скоринговой карты мейном положении, ему не приходилось. То есть критериям понадобится два поля:
эксперт выносил решение о том, насколько боль 1) фактический класс заемщика (плохой, хо ше влияние одного признака на другой. Заме роший);
тим, что на практике правильно (с точки зрения 2) кредитный рейтинг, рассчитанный на ос статистических закономерностей в данных) упо нове скоринговой карты.
рядочить значения признаков тоже представляет На рис. 1 приведены графики кривых рас собой трудную задачу, результаты решения ко пределения кредитов. Видно, что в экспертной торой прямым образом влияют на качество ско модели хуже разделяются распределения плохих ринговой карты. и хороших кредитов, но в статистической ско Параметры двух скоринговых карт Группа признаков заемщика Признак Коэффициент Экспертный балл Начальный балл (константа) - -6,39 Проживание Аренда 0 Муниципальное жилье 1,42 Собственник 1,94 Срок проживания в регионе Менее года 0 От 1 до 5 лет 1,06 Свыше 5 лет 1,47 Стаж работы на последнем месте Менее года 0 От 1 до 5 лет 0,63 Свыше 5 лет 1,12 Возраст От 50 0 До 35 0,35 От 35 до 49 0,90 Семейное положение Разведен/вдовство 0 Другое 0,6 Холост/не замужем 1,25 Женат/замужем 1,79 Образование Среднее 0 Среднее специальное 0,94 Высшее 1,82 Уровень должности Сотрудник 0 Руководитель среднего звена 0,4 Руководитель высшего звена 0,47 Кредитная история Отрицательная 0 Нет данных 1,99 Положительная 4,22 Отношение "платеж/доход", % От 40 0 От 30 до 40 0,45 От 20 до 30 1,15 До 20 1,60 n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t Экономические Математические и инструментальные 9(58) науки методы экономики Диапазон скорингового балла хорошие кредиты плохие кредиты а) Диапазон скорингового балла хорошие кредиты плохие кредиты б) Рис. 1. Кривые распределения для кредитов:
а) логистическая регрессия;
б) экспертная модель Диапазон скорингового балла хорошие кредиты плохие кредиты а) Рис. 2. Кумулятивные кривые распределения для кредитов (начало):
а) логистическая регрессия Общий процент кредитов 0- 4- 8- 12- 16- 20- 24- 28- 32- 36- 40- 44- 48- 52- 56- 60- 64- 68- 72- 76- 80- 84- 88- 92- 96- Общий процент кредитов 0- 4- 8- 12- 16- 20- 24- 28- 32- 36- 40- 44- 48- 52- 56- 60- 64- 68- 72- 76- 80- 84- 88- 92- 96- Кумулятивный процент кредитов 0- 4- 8- 12- 16- 20- 24- 28- 32- 36- 40- 44- 48- 52- 56- 60- 64- 68- 72- 76- 80- 84- 88- 92- 96- n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t Экономические Математические и инструментальные 9(58) науки методы экономики Диапазон скорингового балла хорошие кредиты плохие кредиты б) Рис. 2. Кумулятивные кривые распределения для кредитов (окончание):
б) экспертная модель ринговой карте большое число плохих кредитов сконцентрировано в верхнем диапазоне скорин гового балла, что можно объяснить характером логит преобразования в уравнении регрессии. Это подтверждает и форма кривых распределения кумулятивных процентов (рис. 2), из которых следует, что экспертная модель демонстрирует более крутой подъем, поскольку в ней большее число плохих кредитов принадлежит области са мых низких значений скорингового балла. Зна чение статистики для логрегресионной скорин говой карты К С максимально в диапазоне 80 баллов и равно 72,6. Для экспертной модели оно составляет 63 в диапазоне 36 40 баллов.
0 20 40 60 80 При визуальной оценке ROC кривых рас 100-Sp, % положение относительно друг друга указывает Рис. 3. Сравнение ROC кривых на их сравнительную эффективность. Кривая, для двух скоринговых карт расположенная выше и левее, свидетельствует о 1, 0, 0, 0, 0, 0, 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 Размер выборки, % логистическая регрессия экспертная скоринговая карта Рис. 4. Сравнение Lift кривых для двух скоринговых карт Кумулятивный процент кредитов 0- 4- 8- 12- 16- 20- 24- 28- 32- 36- 40- 44- 48- 52- 56- 60- 64- 68- 72- 76- 80- 84- 88- 92- 96- Se, % Lift показатель n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t Экономические Математические и инструментальные 9(58) науки методы экономики большей предсказательной способности модели. Предложенную методику сравнения и оцен Так, на рис. 3 видно, что статистическая скорин ки скоринговых карт целесообразно применять говая карта с AUC = 0,9 превосходит эксперт в следующих случаях:
ную модель, а следовательно, обладает лучшей Х сравнение скоринговых моделей, разработан прогностической силой. ных различными методами, в том числе эксперт Lift кривые имеют схожую с ROC кривой ными, для принятия решения о выборе наилучшей;
форму: с 10 го по 40 й процентили статистичес Х оценка пригодности использования сторон кая скоринговая карта имеет больший лифт по ней скоринговой карты в новых условиях (дру казатель, чем экспертная модель (рис. 4). гой регион, другая страна и т.п.).
Поступила в редакцию 04.08.2009 г.
n g a e h V C i X e w F e D r P w Click to buy NOW!
m w o w c.
.
d k o c c a r u t
Книги, научные публикации