Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Регрессия с ошибками во всех переменных

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1495.22kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Регрессия с ошибками во всех переменных

В классической регрессионной модели ошибка содержится в единственной переменной — той, которая стоит в левой части (зависимой переменной). Рассмотрим более общий случай.

Пусть имеется матрица ненаблюдаемых исходных переменных X = (X₁,..., X_M), X = {X_ij }, i = 1, ..., N, j = 1, ..., M. Эти переменные связаны между собой линейной зависимостью: Xb = 0. Требуется оценить коэффициенты b. Наблюдаются только переменные Y, которые представляют собой переменные X измеренные с ошибками:

Y_j = X_j + e_j.

Предполагается, что ошибки некоррелированы для разных номеров наблюдений, но ошибки, относящиеся к наблюдениям с одним и тем же номером i коррелированы, причем матрица ковариаций W точно известна. Для того, чтобы можно было воспользоваться методом максимального правдоподобия, делаем предположение, что ошибки распределены нормально.

Логарифмическая функция правдоподобия равна

 = – ln |W| –  E_iWE_i ^T+ const ® max _{X, b}

где E_i = Y_j – X_j — i-я строка матрицы остатков.

Максимизируем функцию правдоподобия при ограничении Xb = 0.

Задачу максимизации можно записать с помощью лагранжиана:

L = – Tr((Y – X) W(Y – X)^T) – l^TXb =

= – Tr(Y WY ^T) + Tr(X WY ^T) – Tr(X WX ^T) – l^TXb.

= WY ^T – WX ^T– b l^T = 0.

Используем

= B = 2BA^T = yx^T.


Отсюда получим выражение для X:

X = Y – lb ^TW.

Если домножить это уравнение на b и вспомнить, что Xb = 0, то

Yb = lb ^TW b, Þ l = Yb.

Подставим эти соотношения в функцию правдоподобия и получим концентрированную функцию правдоподобия (“концентрированный лагранжиан”):

 = – Tr(lb ^TW W Wbl^T) = – Tr(l^Tl b ^TW b) = – l^Tl b ^TW b =

= –

Таким образом, нахождение максимума правдоподобия равносильно минимизации следующей функции:

j = ® min_b

Условие первого порядка для минимума:

= 2 Y ^TYb – 2 W b = 0

Þ (Y ^TY – W) b = 0

или (WY ^TY –) b = (WY ^TY – j) b = 0.

Таким образом, j должно быть собственным числом матрицы WY ^TY, а b — ее собственным вектором. Проверим, что эти два условия не противоречат друг другу. Пусть b_k — некоторый собственный вектор, j_k — соответствующее собственное число этой матрицы:

(WY ^TY – j _k)b _k = 0.

Покажем, что j _k = .

Домножим слева на b _k^TW:

b _k^TY ^TYb _k – j _k b _k^T W b _k = 0.

Отсюда получаем требуемое равенство.

Поскольку требуется минимизировать j, то нужно выбрать минимальное собственное число j_min. Оценкой вектора коэффициентов будет соответствующий собственный вектор b_min. Отсюда получаем оценки для матрицы исходных переменных X:

X = Y – l ^TW = Y – Y  ^TW = Y(I –   ^TW).

В частном случае, когда ошибка имеется только в первой переменной

W = .

Нужно минимизировать величину

j = = (Y₁ + Y₍₁₎ b₍₁₎)^T(Y₁ + Y₍₁₎ b₍₁₎).

где Y₍₁₎ — матрица Y без первого столбца, b₍₁₎ — вектор b без первого элемента. Если обозначить = Y₁, = Y₍₁₎, = b₍₁₎ то получим ОМНК:

( – )^T( – ) ® min