Книги по разным темам Pages:     | 1 | 2 | 3 | 4 |   ...   | 35 |

y = X +, в которой y = (y1,..., yn)T - вектор значений объясняемой переменной в n наблюдениях, X - (np)-матрица значений объясняющих переменных в n наблюдениях, n > p, = (,, Е, )T - вектор коэффициентов, 1 2 p = (,, Е, )T - вектор случайных ошибок (возмущений) в n наблюдениях.

1 2 n Если матрица X имеет полный ранг p, то матрица XTX является невырожденной, для нее существует обратная матрица (XTX) - 1, и оценка наименьших квадратов для вектора неизвестных коэффициентов имеет вид = (XTX) - 1XTy.

Математическое ожидание вектора оценок коэффициентов равно E( ) = E ((XTX) - 1XT(X + )) = E ((XTX) - 1XTX ) + E ((XTX) - 1XT ) = + E (XTX) - XT ).

Если матрица X фиксирована, то E ((XTX) - 1XT ) = (XTX) - 1XT E ( ) = 0, так что E( ) =, т.е. - несмещенная оценка для.

Если же мы имеем дело со стохастическими (случайными, недетерминированными) объясняющими переменными, то в общем случае E ((XTX) - XT ) 0, так что E( ), и - смещенная оценка для, и, кроме того, эта оценка уже не имеет нормального распределения.

Если объясняющие переменные стохастические, то в некоторых случаях все же остается возможным использовать стандартную технику статистических выводов, предназначенную для классической нормальной линейной модели, по крайней мере, в асимптотическом плане (при большом количестве наблюдений).

В этом отношении наиболее благоприятной является Ситуация A Х случайная величина не зависит (статистически) от xt1, xt2, Е, xtp при всех t s и s, Х,, Е, являются независимыми случайными величинами, имеющими 1 2 n одинаковое нормальное распределение с нулевым математическим ожиданием и конечной дисперсией 2 > 0. (Далее мы кратко будем обозначать это как ~ t i.i.d. N (0, 2). Здесь i.i.d. - independent, identically distributed.) При выполнении таких условий имеем E ((XTX) - 1XT ) = E ((XTX) - 1XT) E( ) = 0, www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru так что оценка наименьших квадратов для является несмещенной.

Распределение статистик критериев (Утестовых статистикФ) можно найти с помощью двухшаговой процедуры. На первом шаге находим условное распределение при фиксированном значении X ; при этом значения объясняющих переменных рассматриваются как детерминированные (как в классической модели). На втором шаге мы получаем безусловное распределение соответствующей статистики, умножая условное распределение на плотность X и интегрируя по всем возможным значениям X.

Если применить такую процедуру для получения безусловного распределения оценки наименьших квадратов, то на первом шаге находим:

- | X ~ N(, (XT X) ).

Интегрирование на втором этапе приводит к распределению, являющемуся смесью -2 T нормальных распределений N(, (X X ) ) по X. Это распределение, в отличие от классического случая, не является нормальным.

В то же время, для оценки j-го коэффициента имеем:

-(XT ), j | X ~ N( j, 2 X)j j -1 -T T где (X X) - j-й диагональный элемент матрицы (X X), jj так что j j X ~ N (0, 1).

(XT X)-j j Условным распределением отношения S2/2, где S2 = RSS/(n - p), RSS - остаточная сумма квадратов, является распределение хи-квадрат с (n - p) степенями свободы, S2/2 | X ~ 2(n - p).

* Заметим теперь, что t-статистика для проверки гипотезы H0: = определяется j j соотношением (j -*) (XT X)-j -* j j j j t = =.

S (XT X)-1 S2 j j Из предыдущего вытекает, что если гипотеза H0 верна, то условное распределение этой t-статистики имеет t-распределение Стьюдента с (n - p) степенями свободы, t | X ~ t(n - p).

Это условное распределение одно и то же для всех X. Поэтому вне зависимости от того, какое именно распределение имеет X, безусловным распределением t* статистики для H0: = при выполнении этой гипотезы будет все то же j j распределение t(n - p).

www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru Аналогичное рассмотрение показывает возможность использования стандартных F-критериев для проверки линейных гипотез о значениях коэффициентов.

Те же самые выводы остаются в силе при замене предположений ситуации A следующим предположением.

Ситуация A Х | X ~ N(0, 2In), где In - единичная матрица (размера n n).

Для краткости мы будем далее обозначать xt = (xt1, xt2, Е, xtp)T - вектор значений p объясняющих переменных в t-м наблюдении.

Ситуация B Х случайная величина не зависит (статистически) от xt1, xt2, Е, xtp при всех t и s s ;

Х распределение случайной величины t не является нормальным, но ~ i.i.d., E( ) = 0, D( ) = 2 > 0 и E( ) = 4 < ;

t t t t Х E(xt xtT) = Qt - положительно определенная матрица, (1/n)( Q1 + Е + Qn) Q при n, где Q - положительно определенная матрица;

Х E(xit xjt xkt xst) < для всех i, j, k, s ;

Х (1/n)( x1 x1T + Е + xn xnT) Q по вероятности.

В силу первого предположения, оценка наименьших квадратов вектора коэффициентов остается несмещенной, как и в ситуации A. Однако при конечном количестве наблюдений n из-за негауссовости (ненормальности) распределения t распределения статистики S2, а также t- и F-статистик, будут отличаться от стандартных, получаемых в предположении гауссовости. Чтобы продолжать пользоваться обычной техникой регрессионного анализа, мы должны здесь сослаться на следующие асимптотические результаты, строгий вывод которых можно найти, например, в книге [Hamilton (1994)].

Пусть (n) - оценка наименьших квадратов вектора по n наблюдениям, Xn - матрица значений объясняющих переменных для n наблюдений, а Sn, tn, Fn - статистики S2, t, F, вычисляемые по n наблюдениям. Если выполнены предположения, перечисленные при описании ситуации B, то при n n ( (n) - ) N (0, 2 Q - 1), n ( Sn - 2 ) N (0, 4 - 4), tn N (0, 1), qFn 2(q), где q - количество линейных ограничений на компоненты вектора.

Здесь везде имеются в виду сходимости по распределению, т.е. распределения случайных величин, стоящих слева от стрелки, неограниченно сближаются при n с распределениями, стоящими справа от стрелки. При этом имеют место приближенные соотношения (n) N (, 2 Q - 1 n), или (n) N (, 2 (XnT Xn) - 1), (последнее аналогично точному соотношению в гауссовской модели), www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru Sn N (2, (4 - 4) n), tn N (0, 1), qFn 2(q).

Если в ситуации B при имеющемся количестве наблюдений n использовать не асимптотические распределения, а распределение Стьюдента t(n - p) для t-статистики (вместо N (0, 1)) и распределение Фишера F(q, n - p) для F-статистики (вместо 2(q) для qFn), то это приводит к более широким доверительным интервалам (по сравнению с интервалами, построенными по асимптотическим распределениям). Многие исследователи предпочитают поступать именно таким образом, учитывая это обстоятельство и то, что при конечных n распределения Стьюдента и Фишера могут давать лучшую аппроксимацию истинных распределений статистик tn и Fn.

Ситуация C В рассмотренных выше ситуациях, как и в классической модели, предполагалось, что | X ~ i.i.d. Теперь мы откажемся от этого предположения и предположим, что t Х условное распределение случайного вектора относительно матрицы X является n-мерным нормальным распределением N (0, 2 V) ;

Х V - известная положительно определенная матрица размера nn.

Поскольку V - ковариационная матрица, она к тому же и симметрична; таковой же будет и обратная к ней матрица V Ц1. Но тогда существует такая невырожденная (nn)-матрица P, что V Ц1 = PTP. Используя матрицу P, преобразуем вектор к вектору * = P.

При этом E (*) = 0 и условная (относительно X) ковариационная матрица вектора * Cov (*| X ) = E (**T | X ) = E (P (P )T | X ) = P E ( T | X ) PT = P 2 V PT.

Но V = (V - 1) - 1 = (PTP) - 1, так что Cov (*| X ) = P 2 V PT = 2 P(PTP) - 1PT = 2 In.

Преобразуя с помощью матрицы P обе части основного уравнения y = X +, получаем:

Py = PX + P, или y* = X* + *, где y* = Py, X* = PX, * = P.

В преобразованном уравнении * | X ~ N (0, 2 In), так что преобразованная модель удовлетворяет условиям, характеризующим ситуацию A. Это означает, что все результаты, полученные в ситуации A, применимы к модели y* = X* + *.

В частности, оценка наименьших квадратов * = (X*TX*) - 1 X*T y* = (XTPTPX) - 1 XTPTPy = (XT V - 1X) - 1 XT V - 1y www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru является несмещенной, т.е. E(*) =, ее условное распределение (относительно X) нормально и имеет ковариационную матрицу Cov ( * | X ) = 2(X*TX*) - 1 = 2(XT V - 1X) - 1.

Эта оценка известна как обобщенная оценка наименьших квадратов (GLS - generalized least squares).

В рамках модели y* = X* + * можно использовать обычные статистические процедуры, основанные на t- и F-статистиках.

Если ковариационная матрица V не известна априори, то обычно ограничиваются моделями, в которых она параметризована, так что V = V(), где - векторный параметр, который приходится оценивать по имеющимся наблюдениям. При этом достаточно часто можно использовать стандартные выводы в асимптотическом плане, заменяя в выражении для GLS оценки * = (XT V - 1X) - 1 XT V - 1y неизвестную матрицу V = V(0) (V(0) - истинная ковариационная матрица вектора ) матрицей n n V( ), где - любая состоятельная оценка для 0. Более того, такую состоятельную оценку часто можно получить простым анализом остатков при оценивании обычной процедурой наименьших квадратов.

Рассмотренные ситуации не охватывают, однако, наиболее интересных для нас моделей стационарных и нестационарных временных рядов. Мы перейдем теперь к обсуждению основных понятий и фактов, касающихся стационарных и нестационарных временных рядов, и рассмотрению процедур регрессионного анализа временных рядов.

www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru Глава 2. Стационарные ряды. Модели ARMA 2.1. Общие понятия.

Под временным рядом (time series) понимается последовательность наблюдений значений некоторой переменной, произведенных через равные промежутки времени.

Если принять длину такого промежутка за единицу времени (год, квартал, день и т.п.), то можно считать, что последовательные наблюдения x1,..., xn произведены в моменты t = 1, Е, n.

Основная отличительная особенность статистического анализа временных рядов состоит в том, что последовательность наблюдений x1,..., xn рассматривается как реализация последовательности, вообще говоря, статистически зависимых случайных величин X1,..., Xn, имеющих некоторое совместное распределение с функцией распределения F(v1, v2, Е, vn) = P{ X1 < v1, X2 < v2,..., Xn < vn }.

Мы будем рассматривать в основном временные ряды, у которых совместное распределение случайных величин X1,..., Xn имеет совместную плотность распределения p( x1, x2, Е, xn).

Чтобы сделать задачу статистического анализа временных рядов доступной для практического решения, приходится так или иначе ограничивать класс рассматриваемых моделей временных рядов, вводя те или иные предположения относительно структуры ряда и структуры его вероятностных характеристик. Одно из таких ограничений предполагает стационарность временного ряда.

Ряд xt, t = 1, Е, n, называется строго стационарным (или стационарным в узком смысле), если для любого m ( m < n) совместное распределение вероятностей случайных величин X, K, X такое же, как и для Xt +, K, Xt +, при любых t1,Е, tm t1 tm 1 m и, таких, что 1 t1, Е, tm n и 1 t1+, Е, tm+ n.

Другими словами, свойства строго стационарного временного ряда не изменяются при изменении начала отсчета времени. В частности, при m = 1 из предположения о строгой стационарности временного ряда xt следует, что закон распределения вероятностей случайной величины Xt не зависит от t, а значит, не зависят от t и все его основные числовые характеристики (если, конечно, они существуют), в том числе:

математическое ожидание E (Xt) = и дисперсия D(Xt)=.

Значение определяет постоянный уровень, относительно которого колеблется анализируемый временной ряд xt, а постоянная характеризует размах этих колебаний.

Как мы уже говорили, одно из главных отличий последовательности наблюдений, образующих временной ряд, заключается в том, что члены временного ряда являются, вообще говоря, статистически взаимозависимыми. Степень тесноты статистической связи между случайными величинами Xt и Xt+ может быть измерена парным коэффициентом корреляции Cov(Xt, Xt + ) Corr(Xt, Xt +) =, D(Xt ) D(Xt+ ) где Cov(Xt, Xt +) = E [(Xt -E(Xt))(Xt + -E(Xt+))].

www.iet.ru/mipt/2/text/curs_econometrics.htm Эконометрика. Введение в регрессионный анализ временных рядов. В.П.Носко www.iet.ru Если ряд xt стационарный, то значение Cov(Xt, Xt+) не зависит от t и является функцией только от ; мы будем использовать для него обозначение () :

() = Cov(Xt, Xt +).

В частности, D(Xt) = Cov(Xt, Xt ) (0).

Соответственно, для стационарного ряда и значение коэффициента корреляции Corr(Xt, Xt +) зависит только от ; мы будем использовать для него обозначение (), так что () = Corr(Xt, Xt +) = () (0).

В частности, (0) = 1.

Практическая проверка строгой стационарности ряда xt на основании наблюдения значений x1, x2, Е, xn в общем случае затруднительна. В связи с этим под стационарным рядом на практике часто подразумевают временной ряд xt, у которого Х E(Xt) , Х D(Xt), Х Cov(Xt, Xt +) = () для любых t и.

Ряд, для которого выполнены указанные три условия, называют стационарным в широком смысле (слабо стационарным, стационарным второго порядка или ковариационно стационарным).

Если ряд является стационарным в широком смысле, то он не обязательно является строго стационарным. В то же время, и строго стационарный ряд может не быть стационарным в широком смысле просто потому, что у него могут не существовать математическое ожидание и/или дисперсия. (В отношении последнего примером может служить случайная выборка из распределения Коши.) Кроме того, возможны ситуации, когда указанные три условия выполняются, но, например, E( X ) зависит от t.

t Ряд xt, t = 1, Е, n, называется гауссовским, если совместное распределение случайных величин X1,..., Xn является n-мерным нормальным распределением. Для гауссовского ряда понятия стационарности в узком и в широком смысле совпадают.

Pages:     | 1 | 2 | 3 | 4 |   ...   | 35 |    Книги по разным темам