Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Внешне не связанные регрессионные уравнения

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1481.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Внешне не связанные регрессионные уравнения

Пусть есть k = 1,...,K регрессионных уравнений и соответствующие выборки одинаковой длины i = 1,...,N:

Y_k = X_k _k + _k, k = 1,...,K.

Предполагается, что коэффициенты _k в разных уравнениях не связаны между собой какими-либо ограничениями, т.е. уравнения независимы с точки зрения коэффициентов, но существует связь с точки зрения ошибок наблюдений с одним и тем же номером i. Т.е. соответствующая корреляционная матрица не является диагональной, причем все элементы этой матрицы неизвестны. Ошибки, относящиеся к наблюдениям с разными номерами, считаются независимыми.

В экономике такое может быть если наблюдения относятся к одному и тому же периоду времени. В этом случае “одновременные” ошибки могут быть сильно коррелированы (как прибыль предприятий из-за экономического цикла). Еще один пример — регрессии, относящиеся к мужьям и женам.

Если обозначить

Y = X     =  = ,

тогда модель можно переписать в более компактном виде:

Y= X  + .

Пусть остатки k-й регрессии равны e_k(_k) = Y_k – X_k _k .

Составим матрицу E (), столбцами которой являются e_k:

E_{k i} = Y_{k i} – X_{k i} _{k i}.

Строки матрицы E будем обозначать E_i.

Предположение модели об ошибках состоит в том, что “одновременные” ошибки коррелированы, а “разновременные” — нет. Таким образом,

E(_ki _li) = _kl и E(_ki _ls) = 0 (i  s)

или, в матричной записи,

E (E_i( ₀) E_i( ₀)^T) =  и E (E_i( ₀) E_s( ₀)^T) = 0 (i  s).

Составим из ошибок вектор-столбец по другому:

= = ,

где ошибки, относящиеся к одному и тому же наблюдению i стоят рядом.

Ковариационная матрица этого вектора ошибок является блочно-диагональной и равна

= E ( ^T) = .

Обратная к ней тоже блочно-диагональная и равна

= .

Если использовать символ Кронекера, то можно записать ковариационную матрицу не переставляя наблюдения:

V = E(^T) = I_K

(в этих обозначениях = I_K  ), где I_K — единичная матрица KK. Аналогично

V  = I_K.

Чтобы оценить модель, мы должны указать распределение ошибок. Предполагаем, как обычно, что ошибки имеют нормальное распределение.

 и  — неизвестные параметры модели.

Так же как и из ошибок, составим один вектор-столбец и из остатков:

e() = , () =

Логарифмическая функция правдоподобия равна

  – ln |V | – e^TV e + const =

 – ln | | –  ^T + const  max

  – ln || – E_iE_i ^T+ const 

= – ln || – Tr (E E ^T) + const.

В максимуме правдоподобия производная по  равна нулю:

=   –  E ^TE = 0.

Откуда получаем ()  E()^TE().

При дифференцировании мы использовали правила

= A^T и = CA.


Подставим () в (.), чтобы получить концентрированную функцию правдоподобия:

  – ln |()| – Tr (E ()E ^T)  – ln |()| – Tr (E ^TE ()) 

= – ln |()| – Tr (I_K) = – ln |()| – .

Задача  max эквивалентна задаче

|()|  min или

|E()^TE()| min .

Выражение |E()^TE()| получило название обобщенной дисперсии .

Найдем условия первого порядка максимума концентрированной функции правдоподобия.

 ln|()| = Tr (()­  ()­).

Здесь мы используем, что

= Tr( ),

где s(A) — скалярная функция от матрицы A, а также что

= (A)^T.

 ()­   ( E^TE)  E^T  – E^T(0,...,0,X_k j,0,...,0) 

 – (0,...,0, E^TX_{k j},0,...,0).

Поэтому,

Tr (()­  ()­) = – ()­E^TX_k j,

где ()­ — k-я строка матрицы ()­.

Отсюда

 ln|()| = – ()­E^TX_k = – 2 (E^TE)­E^TX_k.

Получим условия первого порядка:

(E()^TE())­E()^TX_k = 0.

Эта система уравнений нелинейна относительно . Один из возможных способов решения состоит в использовании последовательности вспомогательных регрессий. Он основан на том, что эти уравнения для оценок МП (хотя показать это технически сложно) эквивалентны уравнениям

_k = (X_k^*TX_k^*)X_k^*TY_k ,

где X_k* = (X_k, E()), E() — матрица остатков всех уравнений, кроме k-го. То есть в каждую регрессию надо добавить остатки из других регрессий.

Оценки вычисляются итеративно, начиная, например, с оценок ОМНК. Стандартные ошибки полученных в результате итераций уравнений надо скорректировать: вычислять не на основе суммы квадратов остатков из вспомогательной регрессии, а на основе суммы квадратов исходных остатков, т. е. e_k()^Te_k() = (Y_k –X_k )^T(Y_k –X_k ).

В частном случае, когда регрессоры во всех уравнениях одни и те же, оценки МП для коэффициентов  совпадут с оценками ОМНК. Различие будет только в оценке ковариационной матрицы ошибок  . Если в условии первого порядка

(E()^TE())­E()^TX_k = 0

взять X_k = X k, то должно выполняться (E()^TE())­E()^TX = 0, откуда следует, что E()^TX = 0, то есть e_k()^TX = 0 — в каждом уравнении остатки ортогональны матрице регрессоров X. А это и есть условие минимума суммы квадратов в соответствующем уравнении.

Как и в любой модели обобщенного метода наименьших квадратов информационная матрица параметров  вычисляется по формуле

  X ^TV X,

т.е.

  X ^T(I_K) X.

Другой подход к вычислению оценок МП состоит в использовании итеративного обобщенного МНК.

  E( )^TE( ).

   (X ^T(()I_K)X ) X ^T(()I_K)Y.

При использовании этого метода приходится иметь дело с матрицами большой размерности.