Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Обобщенный метод наименьших квадратов

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1495.22kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Обобщенный метод наименьших квадратов

Отбросим предположение, что в регрессионной модели ошибки независимы. Пусть ошибки кореллированы и структура матрицы ковариаций ошибок V известна. Найдем оценки в этой регрессии методом МП при нормально распределенных ошибках. Заметим, что метод можно использовать и для более широкого класса распределений.

Модель имеет вид

Y = Xb + e, где e ~N(0,V ).

Плотность распределения e равна

p_e(z) = (2p) |V  |  exp(– z^TV z).

Отсюда получим логарифмическую функцию правдоподобия

 = – ln(2p) – ln|V  | – (Y – Xb)^TV (Y – Xb).

Далее мы рассмотрим случай, когда V известна с точностью до множителя:

V = s ²W.

Подставим это выражение в функцию правдоподобия:

 = – ln(2ps ²) – ln|W | – (Y – Xb)^TW (Y – Xb).

Воспользовавшись условием первого порядка

= 0,

выразим s ² через b: s ²(b) = RSS(b )/N где

RSS(b ) = (Y – Xb)^TW (Y – Xb)

— обобщенная сумма квадратов остатков.

Подставив s ²(b) в логарифмическую функцию правдоподобия, получим концентрированную функцию правдоподобия:

 = – ln(2p ) – ln|W | – .

Поскольку W — константа, то максимизация  эквивалентна минимизации обобщенной суммы квадратов: RSS(b ) ® min_b .

 = 0 Û Y ^TW X = ^TX ^TW X.

Получим оценку МП для b :

  = (X ^TW X)X ^TW Y.

На практике удобно использовать не эту формулу, а преобразовать X и Y так, чтобы можно было делать расчеты с помощью ОМНК. Поскольку W — симметричная положительно определенная матрица, то к ней можно применить разложение Холецкого (или любое другое аналогичное представление):

W = TT ^T,

где T — нижняя или верхняя треугольная матрица. Отсюда

W  = (T )^TT ,

  = (X ^T(T )^TT X)X ^T(T )^TT Y.

Обозначим T X = X ^*, T Y = Y ^*. Тогда выражение для   примет вид:

  = (X ^* TX ^*) X ^{* T}Y ^*.

Таким образом, оценки коэффициентов b можно найти, применив обычный метод наименьших квадратов к регрессии Y ^* по X ^*. Вообще говоря, предположения о нормальности не требуется для состоятельности оценок, и на метод максимального правдоподобия можно было не ссылаться, поскольку предложенное преобразование сразу приводит к классической регрессионной модели.

Несложно проверить, что информационная матрица равна

 = X ^TW X,

поэтому и ковариационная матрица оценок полученная из той же регрессии будет оценкой ковариационной матрицы оценок максимального правдоподобия:

V() =  ² (X ^TW X) =  ² (X ^* TX ^*),

где  ² — оценка дисперсии в регрессии Y ^* по X ^*, которая является оценкой параметра s ² в исходной модели. Это позволяет использовать t- и F-статистики в преобразованной модели для проверки гипотез о коэффициентах b.

В более общем случае матрица ковариаций ошибок V зависит от вектора неизвестных параметров a. Эту модель в дальнейшем будем называть моделью обобщенного метода наименьших квадратов, хотя ковариационная матрица ошибок в обобщенном методе наименьших квадратов в собственном смысле слова зависит от единственного неизвестного множителя. Предполагается, что два вектора параметров не связаны между собой, т.е. математическое ожидание Y не зависит от a, а матрица ковариаций V не зависит от b.

 = – ln(2p) – ln |V(a) | – (Y – Xb)^TV(a)(Y – Xb).

Информационная матрица будет блочно­­-диагональной­­­­­­­­­­­­­­­­­­­: ее часть, соответствующая “взаимодействию” a и b будет равна нулю:

= (Y – Xb)^TV(a)X.

= (Y – Xb)^T X.

 = E((b₀, a₀)) = E(e^T X) = E(e^T) X = O.

Отсюда следует, что для проведения тестов относительно a можно использовать просто диагональный блок информационной матрицы, относящийся к a, не учитывая, что — оценки, и наоборот, для проведения тестов относительно b можно использовать просто диагональный блок информационной матрицы, относящийся к b :

 = E(^T ) = X ^TV(a)X.

Если имеется способ получить состоятельную оценку параметров a ( то эффективную оценку параметров b благодаря блочно-диа­го­наль­ности информационной матрицы можно получить за один шаг:

= (X ^TV(X)X ^TV(Y.

Такую оценку принято называть одношаговой эффективной оценкой, а метод называют возможный обобщенный метод наименьших квадратов (feasible generalized least squares).

Если на основании оценок b можно из условий первого порядка максимума правдоподобия вычислить оценки a, то можно использовать итеративный обобщенный метод наименьших квадратов (iterated generalized least squares). Этот метод сходится к оценкам максимального правдоподобия.