Пособие состоит из двух самостоятельных разделов

Вид материала

Документы

Содержание Распределение градиента и оценок максимального правдоподобия Выборочная оценка распределения градиента и оценок максимального правдоподобия N   . Поскольку — состоятельная оценка истинных параметров 

Подобный материал:

• Пособие состоит из двух самостоятельных разделов, 1481.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 49.78kb.
• Экзамен по избранному виду спорта состоит из двух разделов теоретического и практического, 81.96kb.
• Курсовая работа по дисциплине Экономика предприятия состоит из двух разделов: теоретической, 153.63kb.
• Аннотации дисциплин, 456.29kb.
• Виктор Сергеевич Стародубцев учебное пособие, 718.78kb.
• Природоохранное и природоресурсное закон, 1307.64kb.
• -, 9049.93kb.
• Методические рекомендации по выполнению самостоятельной работы студентов по дисциплине, 54.29kb.
• Программа состоит из двух разделов: Примерная программа родительского всеобуча «Семейная, 451.17kb.

Распределение градиента и оценок максимального правдоподобия

Асимптотическое распределение градиента и оценок максимального правдоподобия

Оценки максимального правдоподобия имеют нормальное асимптотическое распределение. Для доказательства этого мы воспользуемся предположением, что градиент функции правдоподобия в точке истинных значений параметров  ₀ имеет асимптотическое нормальное распределение.

Градиент g (Y, ₀) будет иметь нормальное распределение (асимп­то­ти­чес­ки), если к нему применима центральная предельная теорема. Надо представить g₀ как сумму некоторой последовательности случайных величин. Для этого подходит разложение градиента на вклады отдельных наблюдений

g_i(Y, ₀)  _iG_ij(Y, ₀).

Как сказано выше, каждое из слагаемых здесь имеет нулевое математическое ожидание. Если выполнены некоторые условия регулярности (см. литературу, посвященную центральной предельной теореме), то G_ij(Y, ₀) стремится к нормальному распределению с ростом количества наблюдений. Ковариационная матрица градиента в точке  ₀ есть информационная матрица, поскольку его математическое ожидание равно нулю: V(g₀)  E ( g₀ g₀^T)  ^. Последнее равенство выполнено по определению.

Окончательно получаем

g₀ N(0, ).


Используя это свойство градиента мы докажем асимптотическую нормальность оценок ММП. Для этого используем разложение в ряд Тейлора в точке  ₀ до членов первого порядка:

0  g( )  g( ₀) + ( )( –  ₀),

где  — гессиан (матрица вторых производных от логарифмической функции правдоподобия),  _j — выпуклая комбинация _j и  _0 j. Поскольку _j  — состоятельная оценка параметра  _0 j, то  _j тоже должна быть состоятельной оценкой  _0 j. Поскольку –  ₀   , то имеем асимптотическое равенство: – ( ) .

Таким образом, ( –  ₀) () g₀ N(0, () ()).

Окончательно получим

( –  ₀) N(0, ()).

Это соотношение позволяет оценить ковариационную матрицу оценок . С этой точки зрения оценка обратной информационной матрицы является оценкой ковариационной матрицы МП-оценок _ (с точностью до множителя ), и эти термины можно использовать как синонимы. Понятно, что для этого должны быть выполнены соответствующие условия, гарантирующие, что операции интегрирования и дифференцирования коммутируют и что справедлива центральная предельная теорема, что мы всегда в дальнейшем будем предполагать.

Выборочная оценка распределения градиента и оценок максимального правдоподобия

Для получения выборочной оценки распределений МП-оценок   и градиента, можно воспользоваться формулами для их асимптотических распределений. Все эти величины асимптотически нормально распределены и их асимптотические матрицы ковариаций являются функциями асимптотической информационной матрицы в точке истинных параметров (). Таким образом, требуется получить состоятельную оценку , чтобы подставить ее в соответствующие формулы. Будем обозначать символом такую матрицу, что — состоятельная оценка :

Plim _{N }  .

Поскольку — состоятельная оценка истинных параметров  ₀, то ( — состоятельная оценка . Это дает первый способ оценивания. Он состоит в том, чтобы сначала для данной модели найти функцию ( ), а затем подставить в нее оценки максимального правдоподобия (конечно, подойдут и любые другие состоятельные оценки). Методы нахождения ( ) описаны ниже.

Другой способ основывается на равенстве для информационной матрицы   – lim_{N  } E (₀) и на том, что ожидаемый гессиан E (₀) асим­п­­тотически равен эмпирическому гессиану   (Y, )   (Y, ). Этот способ обычно проще пре­ды­ду­ще­го, поскольку не требует вычисления математических ожиданий. Получить матрицу вторых производных данной функции правдоподобия можно и с помощью компьютерной программы.

Особой простотой, и потому притягательностью (требуется найти только первые производные), отличается третий способ оценивания информационной матрицы, использующий матрицу вкладов в градиент G. Этот способ предложен в статье Berndt, Hall, Hall, and Hausman (1974) и поэтому называется BHHH. Другое название — метод внешнего произведения градиента (outer product of the gradient, сокращенно OPG). Этот способ основан на том, что E(G₀^TG₀)  ₀. Предлагается использовать матрицу G(Y, )^TG(Y, ) в качестве .

Таким образом, имеем три варианта матрицы :

I. ( ); II. (Y, ) ; III. G(Y, )^TG(Y, ).

Как показывают эксперименты методом Монте-Карло, тесты, использующие G(Y, )^TG(Y, ) самые неточные в конечных выборках, а тесты, основанные на ( ) обычно не уступают тестам, основанным на (Y, ).

Три рассмотренных способа нахождения подходят для любых распределений. Есть также более специфические методы, которые можно использовать только в случае моделей определенного вида. Например, метод Гаусса-Ньютона используется в нелинейных регрессиях, метод удвоенной регрессии — в квазирегрессионных моделях с неизвестными параметрами в правой части.

Особого рассмотрения требует нахождение оценки ковариационной матрицы оценок в случае квази-МП методов (их называют также псевдо-МП методами). Если предполагается, что ошибки в модели имеют нормальное распределение и гомоскедастичны, а на самом деле это не так, то часто только что рассмотренные методы дают несостоятельные оценки. Оказывается, что во многих случаях следующие оценки состоятельны (ко­неч­но, при вычислении этих величин используется не настоящая, а псевдо функция правдоподобия):

(Y, ) ( ) (Y, )

(Y, ) G(Y, )^TG(Y, ) (Y, )

Поясним интуитивно, откуда берутся эти формулы. При выводе асимптотического распределения оценок максимального правдоподобия, мы пользовались тем, что “усредненный” гессиан –  ₀ равен асимптотически . В общем случае нужно воспользоваться пределом  E() — “асимп­то­ти­чес­ким” ожидаемым гессианом в точке истинных оценок(. Формула приобретет следующий вид:

( –  ₀) () g₀ N(0, () ()).