Обобщенный метод наименьших квадратов
Информация - Менеджмент
Другие материалы по предмету Менеджмент
1. Обобщенный метод наименьших квадратов
Вопрос об эффективности линейной несмещенной оценки вектора ? для обобщенной регрессионной модели решается с помощью следующей теоремы.
Теорема Айткена. В классе линейных несмещенных оценок вектора ? для обобщенной регрессионной модели оценка
b* = (X??№X)?№X??№Y
имеет наименьшую ковариационную матрицу.
Доказательство. Убедимся в том, что оценка b* является несмещенной. Учитывая обобщенную линейную модель множественной регрессии (Y = X ? + ?), представим ее в виде:
b* = (X??№X)?№X??№(X? + ?) = (X??№X)?№(X??№X)? + (X??№X)?№X??№? = ? + (X??№X)?№X??№?.
Математическое ожидание оценки b*, т.е. М(b*) = ?, ибо М(?) = 0, т.е. оценка b* есть несмещенная оценка ?.
Для доказательства оптимальных свойств оценки b* преобразуем исходные данные - матрицу X, вектор Y и возмущение ? к виду, при котором выполнены требования классической модели регрессии.
Из матричной алгебры известно, что всякая невырожденная симметричная (n*n) матрица А допускает представление в виде А=РР, где Р - некоторая невырожденная (n*n) матрица.
Поэтому существует такая невырожденная (n*n) матрица Р, что
? = РР
(представление матрицы ? в виде ? = РР не единственно, но для нас это не имеет значения).
Учитывая свойства обратных квадратных матриц, т. е.
(AВ) ?№= В?№А?№ и (Р) ?№ = (P?№) , это означает, что
??№=(P ?№) P ?№
Заметим, что если обе части равенства (умножить слева на матрицу PЇ№, а справа - на матрицу (Р) Ї1=(РЇ1), то в произведении получим единичную матрицу.
Действительно,
РЇ1 ? (Р) ?№ = РЇ1 РР)(Р) ?№ =(Р ?№Р)Р(Р) ?№ =Е п.т.е.РЇ1 ? (P ?№) = Еп.
Теперь, умножив обе части обобщенной регрессионной модели
Y=X ? + ? на матрицу РЇ1 слева, получим
Y.=Х. ? + ?.,
Где
У = РЇ1 Y, Х.=РЇ1 X, ?.=РЇ1 ?.
Убедимся в том, что модель Y=Х ? + ? удовлетворяет всем требованиям классической линейной модели множественной регрессии:
М(?.) =М(РЇ1 ?)=РЇ1 М (?) = 0, ибо М(?) = 0;
??. = М(?. ? .) = М [(РЇ1 ? )( РЇ1 ?) ] =М [РЇ1 ? ?(РЇ1 ) ]=
= РЇ1 М(? ? )( РЇ1)= РЇ1 ?(РЇ1 ) = Еп
r(X)=p + 1 < n (так как матрица Р - невырожденная).
Следовательно, на основании теоремы Гаусса-Маркова наиболее эффективной оценкой в классе всех линейных несмещенных оценок является оценка
Ь* =(Х. Х.) Ї1 X.Y.
Возвращаясь к исходным наблюдениям X и Y и учитывая ??№=( P ?№) P?№, получим
b*=[(PЇ1X) c(PЇ1X)] Ї1(PЇ1 X)PЇ1Y =
=[X (PЇ1 )PЇ1X] Ї1X (PЇ1 ) PЇ1Y=(X ? Ї1X) Ї1 X ? Ї1Y,
т. е. выражение b* = (X??№X)?№X??№Y, что и требовалось доказать.
Нетрудно проверить, что в случае классической модели, т. е. при выполнении предпосылки ?? = ? = ?2Еп , оценка обобщенного метода наименьших квадратов b* (b* = (X??№X)?№X??№Y) совпадает с оценкой обычного метода b.
При выполнении предпосылки 5 о нормальном законе распределения вектора возмущений ? можно убедиться в том, что оценка b* обобщенного метода наименьших квадратов для параметра ? при известной матрице ? совпадает с его оценкой, полученной методом максимального правдоподобия.
Оценка b* = (X X) Ї1 XY является точкой минимума по b остаточной суммы квадратов
S = . = e. e. =(Y.-X.b) (Y.-X.b).
Переходя к исходным наблюдениям,
S = [PЇ1 (Y-Xb][PЇ1 (Y-Xb)] = = (Y- Xb) (PЇ1 ) PЇ1 (Y - Xb) = (Y- Xb)
?Ї1 (Y- Xb) =е ?Ї1е,
т. е. оценка b* обобщенного метода наименьших квадратов может быть определена как точка минимума обобщенного критерия е ?Ї1е .
Следует отметить, что для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации вычисленный по формуле
RІ=1-
(где b* - оценка обобщенного метода наименьших квадратов (b* = (X??№X)?№X??№Y)), не является удовлетворительной мерой качества модели. В общем случае R2 может выходить даже за пределы интервала [0;1], а добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению).
Причина состоит в том, что разложение общей суммы квадратов Q на составляющие Qr и Qe выводилось в предположении наличия свободного члена в обобщенной модели. Однако, если в исходной модели содержится свободный член, то мы не можем гарантировать его присутствие в преобразованной модели (Y = Х ? + ?.). Поэтому коэффициент детерминации R2 в обобщенной модели может использоваться лишь как весьма приближенная характеристика качества модели.
В заключение отметим, что для применения обобщенного метода наименьших квадратов необходимо знание ковариационной матрицы вектора возмущений ?, что встречается крайне редко в практике эконометрического моделирования. Если же считать все п(п+1)/2 элементов симметричной ковариационной матрицы ? неизвестными параметрами обобщенной модели (в дополнении к (p+1) параметрам ?i), то общее число параметров значительно превысит число наблюдений п, что сделает оценку этих параметров неразрешимой задачей. Поэтому для практической реализации обобщенного метода наименьших квадратов необходимо вводить дополнительные условия на структуру матрицы ?. Так мы приходим к практически реализуемому (или доступному) обобщенному методу наименьших квадратов.
. Разложение временного ряда в ряд Фурье
-,<http://ru.wikipedia.org/wiki/%