Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Распределение градиента и оценок максимального правдоподобия Выборочная оценка распределения градиента и оценок максимального правдоподобия N ®¥ = . Поскольку — состоятельная оценка истинных параметров q

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1495.22kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Распределение градиента и оценок максимального правдоподобия

Асимптотическое распределение градиента и оценок максимального правдоподобия

Оценки максимального правдоподобия имеют нормальное асимптотическое распределение. Для доказательства этого мы воспользуемся предположением, что градиент функции правдоподобия в точке истинных значений параметров q ₀ имеет асимптотическое нормальное распределение.

Градиент g (Y,q ₀) будет иметь нормальное распределение (асимп­то­ти­чес­ки), если к нему применима центральная предельная теорема. Надо представить g₀ как сумму некоторой последовательности случайных величин. Для этого подходит разложение градиента на вклады отдельных наблюдений

g_i(Y,q ₀) = å_iG_ij(Y,q ₀).

Как сказано выше, каждое из слагаемых здесь имеет нулевое математическое ожидание. Если выполнены некоторые условия регулярности (см. литературу, посвященную центральной предельной теореме), то åG_ij(Y,q ₀) стремится к нормальному распределению с ростом количества наблюдений. Ковариационная матрица градиента в точке q ₀ есть информационная матрица, поскольку его математическое ожидание равно нулю: V(g₀) = E ( g₀ g₀^T) =  . Последнее равенство выполнено по определению.

Окончательно получаем

g₀ N(0, ).


Используя это свойство градиента мы докажем асимптотическую нормальность оценок ММП. Для этого используем разложение в ряд Тейлора в точке q ₀ до членов первого порядка:

0 = g( ) = g(q ₀) + ( )( – q ₀),

где  — гессиан (матрица вторых производных от логарифмической функции правдоподобия),  _j — выпуклая комбинация _j и q _0 j. Поскольку _j  — состоятельная оценка параметра q _0 j, то  _j тоже должна быть состоятельной оценкой q _0 j. Поскольку –  ₀   , то имеем асимптотическое равенство: – ( ) .

Таким образом, ( – q ₀) () g₀ N(0, () ()).

Окончательно получим

( – q ₀) N(0, ()).

Это соотношение позволяет оценить ковариационную матрицу оценок . С этой точки зрения оценка обратной информационной матрицы является оценкой ковариационной матрицы МП-оценок _q (с точностью до множителя ), и эти термины можно использовать как синонимы. Понятно, что для этого должны быть выполнены соответствующие условия, гарантирующие, что операции интегрирования и дифференцирования коммутируют и что справедлива центральная предельная теорема, что мы всегда в дальнейшем будем предполагать.

Выборочная оценка распределения градиента и оценок максимального правдоподобия

Для получения выборочной оценки распределений МП-оценок   и градиента, можно воспользоваться формулами для их асимптотических распределений. Все эти величины асимптотически нормально распределены и их асимптотические матрицы ковариаций являются функциями асимптотической информационной матрицы в точке истинных параметров (). Таким образом, требуется получить состоятельную оценку , чтобы подставить ее в соответствующие формулы. Будем обозначать символом такую матрицу, что — состоятельная оценка :

Plim _{N ®¥} = .

Поскольку — состоятельная оценка истинных параметров q ₀, то ( — состоятельная оценка . Это дает первый способ оценивания. Он состоит в том, чтобы сначала для данной модели найти функцию (q ), а затем подставить в нее оценки максимального правдоподобия (конечно, подойдут и любые другие состоятельные оценки). Методы нахождения (q ) описаны ниже.

Другой способ основывается на равенстве для информационной матрицы  = – lim_{N ® ¥} E (₀) и на том, что ожидаемый гессиан E (₀) асим­п­­тотически равен эмпирическому гессиану  = (Y, ) =  (Y, ). Этот способ обычно проще пре­ды­ду­ще­го, поскольку не требует вычисления математических ожиданий. Получить матрицу вторых производных данной функции правдоподобия можно и с помощью компьютерной программы.

Особой простотой, и потому притягательностью (требуется найти только первые производные), отличается третий способ оценивания информационной матрицы, использующий матрицу вкладов в градиент G. Этот способ предложен в статье Berndt, Hall, Hall, and Hausman (1974) и поэтому называется BHHH. Другое название — метод внешнего произведения градиента (outer product of the gradient, сокращенно OPG). Этот способ основан на том, что E(G₀^TG₀) = ₀. Предлагается использовать матрицу G(Y, )^TG(Y, ) в качестве .

Таким образом, имеем три варианта матрицы :

I. ( ); II. (Y, ) ; III. G(Y, )^TG(Y, ).

Как показывают эксперименты методом Монте-Карло, тесты, использующие G(Y, )^TG(Y, ) самые неточные в конечных выборках, а тесты, основанные на ( ) обычно не уступают тестам, основанным на (Y, ).

Три рассмотренных способа нахождения подходят для любых распределений. Есть также более специфические методы, которые можно использовать только в случае моделей определенного вида. Например, метод Гаусса-Ньютона используется в нелинейных регрессиях, метод удвоенной регрессии — в квазирегрессионных моделях с неизвестными параметрами в правой части.

Особого рассмотрения требует нахождение оценки ковариационной матрицы оценок в случае квази-МП методов (их называют также псевдо-МП методами). Если предполагается, что ошибки в модели имеют нормальное распределение и гомоскедастичны, а на самом деле это не так, то часто только что рассмотренные методы дают несостоятельные оценки. Оказывается, что во многих случаях следующие оценки состоятельны (ко­неч­но, при вычислении этих величин используется не настоящая, а псевдо функция правдоподобия):

(Y, ) ( ) (Y, )

(Y, ) G(Y, )^TG(Y, ) (Y, )

Поясним интуитивно, откуда берутся эти формулы. При выводе асимптотического распределения оценок максимального правдоподобия, мы пользовались тем, что “усредненный” гессиан –  ₀ равен асимптотически . В общем случае нужно воспользоваться пределом  E() — “асимп­то­ти­чес­ким” ожидаемым гессианом в точке истинных оценок(. Формула приобретет следующий вид:

( – q ₀) () g₀ N(0, () ()).