Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Регрессия с MA-ошибкой Оценивание регрессии с MA-ошибкой нелинейным МНК

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1495.22kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Регрессия с MA-ошибкой

Оценивание регрессия с MA(1)-процессом в ошибке полным методом максимального правдоподобия

Будем рассматривать регрессию Y = X b + e с MA(1)-про­цес­сом в ошибке:

e _i = x _i + m x _i–1 x _i ~ N(0, w ²)

s ² = var(e _i) = (1 + m ²)w ²

Ковариационная матрица ошибок e _i имеет вид V(s ², m) = s ² W(m).

W= = (1 + m ²) I + mF ,

где F = .

Симметричную положительно определенную матрицу можно представить в виде W = H ^TL H , где H — ортогональная матрица собственных векторов (H ^T =  , а L — диагональная матрица, диагональ которой состоит из соответствующих собственных чисел. В данном случае, собственные вектора матрицы W совпадают с собственными векторами матрицы F, и поэтому не зависят от m. Типичный элемент матрицы H равен

H_kl = sin(  )

Типичный диагональный элемент матрицы L (собственное число) равен

l_k = m ² + 2 m cos(  ) + 1.

Матрица W такова, что

W  = H ^TL H.

Несложно также найти определитель матрицы W:

|W| = .

Обозначим Y ^* = DHY, X ^* = DHX, где D = L^{– 1/2} — диагональная матрица.

Пусть e^*(m) — остатки из вспомогательной регрессии, b (m) — оценки коэффициентов из этой регрессии. Тогда

(Y – X b (m))^T W (m) (Y – X b (m)) = e^*(m) ^Te^*(m).

Концентрированная функция правдоподобия после исключения параметров s² и b приобретет вид

^c(m) = – (ln(1– m ^{2N + 2}) – ln(1– m ²)) – ln(e^*(m) ^Te^*(m)) + const.

Остается с помощью одномерного поиска максимизировать концентрированную функцию правдоподобия по m на отрезке [, 1]. В максимуме функции правдоподобия можно с ненулевой вероятностью получить m = 1 или m  = –1.

Можно предложить и другую вспомогательную регрессию, которая применима и в общем случае MA(l)-процесса. Обозначим h = x₀. Тогда модель можно преобразовать к виду

0 = –h + x₀,

Y₁ = X₁b + m h + x₁,

Y₂ – mY₁ = (X₂ – mX₁)b – m² h + x₂,

и так далее для i =3,...,N.

Более компактно это можно записать как уравнение регрессии:

= b + h + x.

Здесь , и имеют по N+1 наблюдению и вычисляются по рекуррентным формулам:

_i = Y_i – m _i–1, ₀ = 0,

_i = X_i – m _i–1, ₀ = 0,

_i = – m _i–1, ₀ = –1.

Пусть (m) — остатки из вспомогательной регрессии, b (m) — оценки коэффициентов b из этой регрессии. Тогда можно показать, что (Y – X b (m))^TW (m)(Y – X b (m)) = (m)^T(m). Соответственно, концентрированная функция правдоподобия равна

^c(m) = – (ln(1– m ^{2N + 2}) – ln(1– m ²)) – ln((m)^T(m)) + const.

Оценивание регрессии с MA-ошибкой нелинейным МНК

Как и в случае регрессии с AR-процессом, можно получить оценку, которая асимптотически эквивалентна точной оценке максимального правдоподобия, если пренебречь первыми наблюдениями. В данном случае удобно считать, что довыборочные ошибки x_i (i < 1) равны нулю. При этом из функции правдоподобия исчезает мешающий член –¹/₂ (ln(1– m ^{2N + 2}) – ln(1– m ²)), и модель сводится к нелинейной регрессии, которую можно оценить с помощью метода Гаусса-Ньютона. Требуется минимизировать сумму квадратов остатков

x_i²(b, m) ® min.

Остатки вычисляются рекуррентно по формуле

x_i (b, m) = Y_i – X_i b – m x_i–1(b, m) (x₀(b, m) = 0).

Производные функции x_i (b, m), необходимые для использования метода Гаусса-Ньютона также находятся рекуррентно:

= – X_i – m  ( = 0).

= – m  – x_i–1 ( = 0).