Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Модели с дискретной зависимой переменной Пуассонова регрессия

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1495.22kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Модели с дискретной зависимой переменной

Модели с бинарной зависимой переменной (логит и пробит)

Бинарная зависимая переменная Y_i называется так, потому, что принимает два значения, обычно 0 и 1. Обозначим через P_i  вероятность появления единицы, или, что в данном случае то же самое, математическое ожидание Y_i:

P_i = Prob (Y_i = 1) = E(Y_i).

Вероятность P_i в линейной модели с бинарной зависимой переменной зависит от X_i b , где X_i — строка матрицы регрессоров, b — вектор коэффициентов регрессии:

P_i = F (X_i b).

Здесь F (.) — (кумулятивная) функция распределения некоторого непрерывного распределения.

В логите используется (стандартное) логистическое распределение c функцией распределения

F (z) =

и плотностью распределения

f (z) = .

В пробите используется стандартное нормальное распределение c функцией распределения

F (z) = e dt.

Логарифмическая функция правдоподобия равна

 = ln P_i(b) +ln (1 – P_i(b)) =

= [ Y_i ln P_i(b) + (1– Y_i) ln (1 – P_i(b))].

где I₀ и I₁ – множества наблюдений, для которых Y_i = 0 и Y_i = 1 соответственно.

Градиент функции правдоподобия равен:

g^T = =  [  –  ] =   f (X_i b)X.

Логит

Для логита верно, что f (z) = F (z) (1 – F (z)), поэтому f (X_i b) = P_i(1 – P_i). Это позволяет упростить формулу градиента:

g^T = (Y_i – P_i)X,

где P_i = .

Гессиан в случае логита равен:

 = = –   X^T = – f (X_i b) X^TX =

= – P_i(1 – P_i) X^TX.

Видно, что гессиан всюду отрицательно определенный (кроме вырожденных случаев). Таким образом, логарифмическая функция правдоподобия всюду вогнута.

Гессиан не зависит от случайного вектора Y, поэтому ожидаемый гессиан равен просто гессиану, то есть информационная матрица равна минус гессиану:

= –  = P_i(1 – P_i) X^TX.

Для поиска максимума можно использовать метод Ньютона (он же в данном случае и method of scoring):

b  = b  – ((b ))g(b ) = b  – Db .

Поскольку максимизируемая функция вогнута, то метод Ньютона всегда сходится. Шаг алгоритма удобно находить как оценки коэффициентов во вспомогательной регрессии Y по X, где

Y = , X = X.

Пробит

В случае пробита выражение для гессиана несколько более громоздкое:

 = =   [  –  ] f (X_i b)X =

= –  [  +  ] f (X_i b)X^TX

+  [  –  ] f (X_i b) X =

= –  [ ()f (X_i b)X^T –  ] f (X_i b)X.

Для нормального распределения верно, что = – z f (z). Это позволяет несколько упростить выражение для гессиана, так как

= – X_i b  f (X_i b) X_i^T.

Обозначим

v_i = f (X_i b).

Тогда

 = – v_i(v_i +X_i b) X^TX.

В тех же обозначениях градиент равен

g^T = v_i X.

Как и в случае логита, можно показать, что гессиан является отрицательно определенным.

Чтобы найти информационную матрицу для пробита, воспользуемся тем, что E (Y_i) = P_i, E (Y_i – P_i)² = P_i(1 – P_i ).

  = – E () = – E (v_i²) X^TX = –   X^TX.

Для поиска максимума, как и в случае логита, можно использовать градиентный алгоритм:

b  = b  – ( )g  = b  – Db .

В методе Ньютона с  = – (b ) используется вспомогательная регрессия с переменными

Y =  , X =  X.

Если использовать информационную матрицу в точке оценок   =  (b ) (method of scoring), то надо взять

Y = , X = X.

Вспомогательные регрессии для пробита и логита являются искусственными регрессиями, то есть, с помощью них можно проверять все те гипотезы, которые можно проверять в случае обычной регрессии, в частности, использовать t-ста­тис­ти­ки.

Метод максимального правдоподобия для моделей с дискретной зависимой переменной по сути является нелинейным методом наименьших квадратов (НМНК). Математическое ожидание Y_i равно P_i. Разность Y_i и P_i должна иметь нулевое математическое ожидание, то есть подходит в качестве ошибки в нелинейной регрессии Y_i по P_i. Однако эта ошибка будет гетероскедастична. Действительно,

V(Y_i) = E (Y_i – P_i)² = P_i(1 – P_i )² + (1 – P_i )P_i² = P _i(1 – P_i).

Таким образом, следует воспользоваться взвешенным НМНК, где веса рассматриваются как фиксированные:

® min.

Поскольку веса неизвестны, то приходится использовать итерационные процедуры, которые совпадают с описанными выше. Оба метода дают одни и те же оценки, поскольку достигают экстремума одновременно.

Пуассонова регрессия

Распределение Пуассона — дискретное распределение, задаваемая формулой

Prob(Y = r) = e,

где m — параметр распределения.

Распределение Пуассона имеет случайная величина Y, равная количеству событий, произошедших за некоторый промежуток времени, если эти события независимы и происходят с постоянной скоростью (рав­но­мер­но по времени). Это, например, может быть количество покупателей, посетивших магазин в течении часа.

Моменты распределения:

E(Y) = m, Var(Y) = m.

В регрессионной модели с распределением Пуассона параметр m зависит от набора факторов и неизвестных параметров.

В линейной модели:

m_i = exp(X b ).

Тогда логарифмическая функция правдоподобия равна

 = [Y_i X b – exp(X b ) – lnY_i! ] ® max_b.

Градиент равен:

g^T = = [Y_i X  – exp(X b )X ].

Условие первого порядка максимума:

[Y_i – exp(X b )] X.

Гессиан не содержит случайных компонент, и поэтому информационная матрица равна минус гессиану.

 = = – exp(X b ) XX^T.

Для поиска максимума можно использовать метод Ньютона:

b  = b  – ()g .

Метод Ньютона легко реализовать с помощью вспомогательной регрессии.

Обозначим

v_i = exp( X b ), Y_i^* = Y_i / v_i – v_i, X_i^* = X_i v_i.

Тогда если Db — оценки коэффициентов в регрессии Y^* по X ^*, то шаг метода Ньютона задается формулой:

b  = b  – Db .

Оценка ковариационной матрицы оценок есть – () =(X ^*TX ^*), поэтому тесты для коэффициентов матрицы и т. п. можно получить из регрессии Y^** по X ^*, где Y^** = Y^*/s, s = , и Y^* берется в точке оценок МП (на последней итерации метода Ньютона). Проверять ограничения на коэффициенты можно как с помощью c² статистики Вальда, так и с помощью соответствующих t- и F-статистик из вспомогательной регрессии. В качестве аналога стандартного F-теста на равенство нулю коэффициентов при всех переменных кроме константы можно использовать статистику отношения правдоподобия. Пусть — значение логарифмической функции правдоподобия когда m_i = m "i.

LR = 2 ( – ) c² (m – 1),

где m — количество регрессоров (столбцов X).

Найдем :

 = [Y_i lnm – m – lnY_i! ].

=  Y_i – N = 0 Þ =  Y_i  = .

Таким образом, = N  ln – N   – lnY_i! .