Пособие состоит из двух самостоятельных разделов
Вид материала | Документы |
СодержаниеОбобщенный метод наименьших квадратов |
- Пособие состоит из двух самостоятельных разделов, 1481.78kb.
- Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
- Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
- Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
- Аннотации дисциплин, 456.29kb.
- Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
- Природоохранное и природоресурсное закон, 1307.64kb.
- -, 9049.93kb.
- Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
- Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.
Обобщенный метод наименьших квадратов
Отбросим предположение, что в регрессионной модели ошибки независимы. Пусть ошибки кореллированы и структура матрицы ковариаций ошибок V известна. Найдем оценки в этой регрессии методом МП при нормально распределенных ошибках. Заметим, что метод можно использовать и для более широкого класса распределений.
Модель имеет вид
Y = X + , где ~N(0,V ).
Плотность распределения равна
p(z) = (2) |V | exp(– zTV z).
Отсюда получим логарифмическую функцию правдоподобия
= – ln(2) – ln|V | – (Y – X)TV (Y – X).
Далее мы рассмотрим случай, когда V известна с точностью до множителя:
V = 2W.
Подставим это выражение в функцию правдоподобия:
= – ln(2 2) – ln|W | – (Y – X)TW (Y – X).
Воспользовавшись условием первого порядка
= 0,
выразим 2 через : 2() = RSS( )/N где
RSS( ) = (Y – X)TW (Y – X)
— обобщенная сумма квадратов остатков.
Подставив 2() в логарифмическую функцию правдоподобия, получим концентрированную функцию правдоподобия:
= – ln(2 ) – ln|W | – .
Поскольку W — константа, то максимизация эквивалентна минимизации обобщенной суммы квадратов: RSS( ) min .
= 0 Y TW X = TX TW X.
Получим оценку МП для :
= (X TW X)X TW Y.
На практике удобно использовать не эту формулу, а преобразовать X и Y так, чтобы можно было делать расчеты с помощью ОМНК. Поскольку W — симметричная положительно определенная матрица, то к ней можно применить разложение Холецкого (или любое другое аналогичное представление):
W = TT T,
где T — нижняя или верхняя треугольная матрица. Отсюда
W = (T )TT ,
= (X T(T )TT X)X T(T )TT Y.
Обозначим T X = X *, T Y = Y *. Тогда выражение для примет вид:
= (X * TX *) X * TY *.
Таким образом, оценки коэффициентов можно найти, применив обычный метод наименьших квадратов к регрессии Y * по X *. Вообще говоря, предположения о нормальности не требуется для состоятельности оценок, и на метод максимального правдоподобия можно было не ссылаться, поскольку предложенное преобразование сразу приводит к классической регрессионной модели.
Несложно проверить, что информационная матрица равна
= X TW X,
поэтому и ковариационная матрица оценок полученная из той же регрессии будет оценкой ковариационной матрицы оценок максимального правдоподобия:
V() = 2 (X TW X) = 2 (X * TX *),
где 2 — оценка дисперсии в регрессии Y * по X *, которая является оценкой параметра 2 в исходной модели. Это позволяет использовать t- и F-статистики в преобразованной модели для проверки гипотез о коэффициентах .
В более общем случае матрица ковариаций ошибок V зависит от вектора неизвестных параметров . Эту модель в дальнейшем будем называть моделью обобщенного метода наименьших квадратов, хотя ковариационная матрица ошибок в обобщенном методе наименьших квадратов в собственном смысле слова зависит от единственного неизвестного множителя. Предполагается, что два вектора параметров не связаны между собой, т.е. математическое ожидание Y не зависит от , а матрица ковариаций V не зависит от .
= – ln(2) – ln |V() | – (Y – X)TV()(Y – X).
Информационная матрица будет блочно-диагональной: ее часть, соответствующая “взаимодействию” и будет равна нулю:
= (Y – X)TV()X.
= (Y – X)T X.
= E((0, 0)) = E(T X) = E(T) X = O.
Отсюда следует, что для проведения тестов относительно можно использовать просто диагональный блок информационной матрицы, относящийся к , не учитывая, что — оценки, и наоборот, для проведения тестов относительно можно использовать просто диагональный блок информационной матрицы, относящийся к :
= E(T ) = X TV()X.
Если имеется способ получить состоятельную оценку параметров ( то эффективную оценку параметров благодаря блочно-диагональности информационной матрицы можно получить за один шаг:
= (X TV(X)X TV(Y.
Такую оценку принято называть одношаговой эффективной оценкой, а метод называют возможный обобщенный метод наименьших квадратов (feasible generalized least squares).
Если на основании оценок можно из условий первого порядка максимума правдоподобия вычислить оценки , то можно использовать итеративный обобщенный метод наименьших квадратов (iterated generalized least squares). Этот метод сходится к оценкам максимального правдоподобия.