Книги по разным темам
Pages: | 1 | ... | 66 | 67 | 68 | 69 | 70 | ... | 82 | в) Рассчитайте статистику, с помощью которой можно проверить гипотезу 21 - 32 =10. Какое распределение имеет эта статистика 6. Регрессию xi = a0 + a1zi1 + a2zi2 + ei оценили без ограничений на параметры и получили остатки (3, -2, -4, 3), а затем оценили с ограничением a1 + a2 =1 и получили остатки (2, -1, -4, 3). Найдите F -статистику для 18.4. Упражнения и задачи проверки ограничений. С чем ее следует сравнить В каком случае гипотеза принимается 7. В регрессии с одним фактором и свободным членом остатки равны (1; -1; 0; -1; 1; 0). Если не включать в регрессию свободный член, то остатки равны (1; -2; 1; -1; 1; 0). Проверьте гипотезу о том, что свободный член равен нулю, если 5%-ные границы F -распределения равны F1,1 = 161.5; F1,2 =18.51; F1,3 =10.13; F1,4 =7.71; F1,5 =6.61.
8. Как с помощью критерия Стьюдента проверить автокорреляцию первого порядка в остатках регрессии X = Z11 + 9. Пусть в простой линейной регрессии остатки равны (0; 2; -2; 1; -2; 1).
После добавления в исходную регрессию лага остатков (0; 0; 2; -2; 1; -2) текущие остатки оказались равны (0; 0; 0; 1; -1; 0). Проверить гипотезу об отсутствии автокорреляции ошибок, если 5%-ные границы F -распределения равны F1,1 = 161.5, F1,2 = 18.51, F1,3 = 10.13, F1,4 = 7.71, F1,5 =6.61.
10. С помощью какой регрессии можно проверить правильность функциональной формы уравнения регрессии 11. Уравнение регрессии с двумя факторами и константой оценено по временным рядам длиной 10. Сумма квадратов остатков, полученная в регрессии по всем наблюдениям, равна 100, сумма квадратов остатков, полученная в регрессии по первым 5-ти наблюдениям, равна 40, а сумма квадратов остатков, полученная в регрессии по последним 5-ти наблюдениям, равна 20. Найдите F -статистики для гипотезы о постоянстве коэффициентов регрессии. С чем ее следует сравнить В каком случае гипотеза принимается 12. В исходной регрессии было 12 наблюдений, 2 фактора и константа. Сумма квадратов остатков была равна 120. Затем выборку разбили на две части, в первой из которых 6 наблюдений. В регрессии по первой части выборки сумма квадратов оказалась равной 25, а по второй части 15. Проверить гипотезу о постоянстве коэффициентов в регрессии, если 5%-ные границы F -распределения равны: F2,1 = 199.5, F2,2 =19, F2,3 =9.55, F2,4 =6.94, F2,5 = 5.79, F2,10 = 4.10, F3,1 = 215.7, F3,2 = 19.16, F3,3 =9.28, F3,4 =6.59, F3,5 =5.41, F3,10 =3.71.
13. Тест Чоу применили к регрессии, разбив выборку на N1 и N2 наблюдений.
Количество факторов равно n. Приведите условия на N1, N2 и n, при которых невозможно использовать первую форму теста Чоу.
598 Глава 18. Классические критерии проверки гипотез 14. Тест Чоу применили к регрессии, разбив выборку на N1 и N2 наблюдений.
Количество факторов равно n. Приведите условия на N1, N2 и n, при которых невозможно использовать вторую форму теста Чоу.
15. Для чего можно использовать информационную матрицу в методе максимального правдоподобия 16. В регрессии X = Z + матрица 1 1 Z =, 1 1 а остатки равны (1, 1, 2, -2). Запишите информационную матрицу.
17. В регрессии X = Z + матрица 1 1 Z =, 1 1 а оценка дисперсии, найденная методом максимального правдоподобия, равна. Запишите информационную матрицу.
18. Регрессию x = a0 +a1z1 +a2z2 +e оценили без ограничений на параметры и получили остатки (0, -1, 1, 0), а затем оценили с ограничением a1+a2 =и получили остатки (2, -1, -4, 3). Найдите статистику отношения правдоподобия для проверки ограничений. С чем ее следует сравнить В каком случае гипотеза принимается 19. Регрессию x = a0 + a1z1 + a2z2 + e оценили без ограничений на параметры и получили остатки (2, -1, -4, 3), а затем оценили с ограничением a1 + a2 =1 и получили остатки (3, -2, -4, 3). Найдите статистику множителя Лагранжа для проверки ограничений. С чем ее следует сравнить В каком случае гипотеза принимается 18.4. Упражнения и задачи 20. Регрессию x = a0 + a1z1 + a2z2 + e оценили без ограничений на параметры и получили остатки (0, -1, -1, 2), а затем оценили с ограничением a1 + a2 =1 и получили остатки (1, -2, -2, 3). Найдите статистику Вальда для проверки ограничений. С чем ее следует сравнить В каком случае гипотеза принимается 21. В модели линейной регрессии x = 1z1 + 2z2 + e по некоторому набору данных (N = 100 наблюдений) получены следующие оценки МНК:
a =(0.4, -0.7). Оценка ковариационной матрицы этих оценок равна 0.01 -0. Ma =.
-0.02 0.Используя общую формулу для статистики Вальда, проверьте следующие гипотезы на уровне 5%:
а) H0 : 1 =0.5, 2 = -0.5, б) H0 : 1 - 2 =1, в) H0 : 31 + 2 =0.
22. В регрессии x = a0 + a1z1 + a2z2 + a3z3 + a4z4 + e по 40 наблюдениям с помощью теста Вальда проверяют гипотезы a1 = a4 +1, a3 + a2 = 1.
Как распределена статистика W (Вальда) В каком случае гипотеза принимается 23. Методом наименьших квадратов была оценена производственная функция:
ln Y =1.5+ 0.6 ln K +0.45 ln L, (0.3) (0.2) где Y Ч объем производства, K Ч капитал, L Ч труд. В скобках указаны стандартные ошибки коэффициентов. Ковариация оценок коэффициентов при ln K и ln L равна 0.05. Коэффициент детерминации равен R2 =0.9.
Проверьте следующие гипотезы:
а) как труд, так и капитал не влияют на объем производства;
б) эластичности объема производства по труду и капиталу совпадают;
в) производственная функция характеризуется постоянной отдачей от масштаба (сумма эластичностей равна единице).
24. При каких условиях можно применить критерии Вальда (W), отношения правдоподобия (LR), множителей Лагранжа (LM) 600 Глава 18. Классические критерии проверки гипотез а) без ограничений;
б) известны оценки параметров при ограничениях;
в) и те и другие оценки.
Для каждого из пунктов (а), (б) и (в) указажите имена тестов, которые можно применить.
Рекомендуемая литература 1. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика Ч начальный курс. Ч М.: Дело, 2000. (Гл. 3, 11).
2. Себер Дж. Линейный регрессионый анализ. Ч М.: Мир, 1980.
3. Статистические методы в экспериментальной физике. Ч М: Атомиздат, 1976. (Гл. 5, 8Ц10).
4. Цыплаков А.А. Некоторые эконометрические методы. Метод максимального правдоподобия в эконометрии. Ч Новосибирск: НГУ, 1997.
5. Baltagi, Badi H. Econometrics, 2nd edition, Springer, 1999. (Ch. 7).
6. Davidson, R., and J.G. MacKinnon. Estimation and Inference in Econometrics.
Oxford University Press, 1993. (Ch. 1, 3, 8, 13).
7. Engle R. Wald, Likelihood Ratio and Lagrange Multiplier Tests in Econometrics, in Handbook of Econometrics, vol. II, Amsterdam: North Holland, 1984.
8. Greene W.H. Econometric Analysis, Prentice-Hall, 2000. (Ch. 4, 7).
9. Judge G.G., Griffiths W.E., Hill R.C., Luthepohl H., Lee T. Theory and Practice of Econometrics. Ч New York: John Wiley & Sons, 1985. (Ch. 2, 5).
10. Ruud Paul A. An Introduction to>
Глава Байесовская регрессия Прежде чем переходить к регрессии, полезно напомнить, в чем заключается байесовский подход. Он основан на теореме Байеса (см. Приложение A.3.1) p(B|A)p(A) p(A|B) =, (19.1) p(B) которая следует из определения вероятности совместного события:
p(A B) =p(A|B)p(B) =p(B|A)p(A).
Пусть теперь Mi, i = 1,..., k Ч гипотезы, модели, теории, суждения об изучаемом предмете; они являются взаимоисключающими и образуют исчерпывающее множество возможных объяснений изучаемого феномена;
p(Mi) Ч априорные (доопытные, субъективные) вероятности, выражающие совокупность априорных (доопытных, субъективных) знаний об изучае мом предмете; p(Mi) =1;
D Ч результат наблюдения, опыта;
p(D|Mi) Ч правдоподобия, вероятности того, насколько правдоподобен результат, если правильна i-я теория изучаемого предмета, считаются известными.
602 Глава 19. Байесовская регрессия Тогда в соответствии с (19.1) записывается следующее соотношение:
p(D|Mi)p(Mi) p(Mi|D) =, (19.2) p(D) где p(D) = p(D|Mi)p(Mi), p(Mi|D) Ч апостериорные (послеопытные) вероятности.
Это соотношение показывает, как априорные знания о предмете меняются в результате получения опытных данных, т.е. как накапливаются знания.
Пример трансформации представлений преподавателя об уровне знаний студента.
M1 Ч студент знает предмет, M2 Ч студент не знает предмет.
Преподаватель имеет априорные оценки вероятностей этих состояний:
p(M1) =0.2, p(M2) =0.8.
Наблюдение, опыт Ч в данном случае это экзамен. Результат опыта:
D1 Ч студент сдал экзамен, D2 Ч студент не сдал экзамен.
Правдоподобия преподавателя:
p(D1|M1) =0.p(D2|M1) =0.p(D1|M2) =0.p(D2|M1) =0.Пусть студент сдал экзамен. Тогда априорные оценки преподавателя корректируются следующим образом:
0.9 0.p ( | ) = =0.36, M D 1 0.9 0.2+0.4 0.0.4 0.p (M2|D1) = =0.64.
0.9 0.2+0.4 0.Если студент не сдал экзамен, то апостериорные вероятности будут такими:
p (M1|D2) =0.04, p (M2|D2) =0.96.
19.1. Оценка параметров байесовской регрессии 19.1. Оценка параметров байесовской регрессии Для уравнения регрессии X = Z + имеются априорные представления об и, которые выражаются плотностью вероятности совместного распределения (, ).
После эксперимента, результатами которого является выборка в виде вектора X и матрицы Z, эти представления корректируются. Аналогом (19.2) в данном случае выступает следующее выражение:
L (X, Z|, ) p (, ) p (, |X, Z) =, (19.3) p (X, Z) где p (X, Z) = L (X, Z|, ) d d.
, Поскольку Z не зависит от и, его можно вынести за скобки:
L (X, Z|, ) = (X|Z, 2I)p (Z), P N p(X, Z) =p(X|Z)p(Z), и записать (19.3) в следующем виде:
PN (X|Z, 2I)p (, ) p (, |X, Z) =.
p (X|Z) Поскольку p(X|Z) не зависит от и, эту формулу можно записать, используя знак %, который выражает отношение пропорционально, равно с точностью до константы:
p (, |X, Z) PN (X|Z, 2I)p (, ). (19.4) Пусть выполнены все гипотезы основной модели линейной регрессии, включая гипотезу о нормальности. Тогда - (X-Z) (X-Z) PN (X|Z, 2I) -Ne = - [ ] e e+(-a)Z Z(-a) - (-a)-1(-a) a -N = -Ne e, где a =(Z Z)-1Z X Ч МНК-оценка (см. 7.13), a = 2(Z Z)-1 Ч матрица ковариации (см. 7.29).
604 Глава 19. Байесовская регрессия Действительно, (X - Z) (X - Z) =(X - Za -Z( - a)) (X - Za - Z( - a)) = --e = e e - 2e Z( - a) +( - a) Z Z( - a), -----=т.к. e и Z ортогональны (см. 7.18).
Теперь предполагается, что известна. Тогда - (-a)-1(-a) a PN (X|Z, 2I) e, а соотношение (19.4) записывается в более простой форме:
p (|X, Z) PN (X|Z, 2I)p().
Пусть априорно распределен нормально с математическим ожиданием и ковариацией :
-1 - p () e- -.
Тогда - - -1 - +(-a) (-a) -a p (|X, Z) e. (19.5) Утверждается, что апостериорно распределен также нормально с математическим ожиданием = ( a + (19.6) -1 -1) a и ковариацией - = +, (19.7) -1 -a т.е.
(-) -1(-) [ ] p(|X, Z) e-. (19.8) Для доказательства этого утверждения необходимо и достаточно показать, что разность показателей экспонент в (19.5) и (19.8) не зависит от.
Вводятся новые обозначения: x = - a; y = - ; A =-1; B =-1.
a 19.1. Оценка параметров байесовской регрессии В этих обозначениях показатель степени в (19.5) записывается следующим образом (множитель -отбрасывается):
x Ax + y By. (19.9) Вэтих обозначениях =(A + B)-1, =(A + B)-1 (A ( - x) +B ( - y)) = =(A + B)-1 ((A + B) - (Ax + By)) = - (A + B)-1 (Ax + By) и, следовательно, показатель степени в (19.8) выглядит так (множитель -также отбрасывается):
(Ax - By) (A + B)-1 (Ax - By). (19.10) Искомая разность (19.9) и (19.10) записывается следующим образом:
(1) - (2) - (3) + (4), где (1) = A - A (A + B)-1 A, (2) = A (A + B)-1 B, (3) = B (A + B)-1 A, (4) = B - B(A + B)-1B.
егко показать, что все эти матрицы одинаковы и равны некоторой матрице C:
(1) = A (A + B)-1 A A-1 (A + B) A-1A - I = A(A + B)-1B =(2), -1 -(2) = A B A-1 + B-1 A B = AA-1 A-1 + B-1 BB-1 = -= A-1 + B-1 = C, -1 (3) = B A A-1 + B-1 B A = BB-1 A-1 + B-1 A-1A = C =(2), (4) = B(A + B)-1B B-1(A + B)B-1B - I = B(A + B)-1A =(3), и, следовательно, искомая разность представима в следующей форме:
x Cx - x Cy - y Cx + y Cy =(x - y) C (x - y) = - a C - a.
Что и требовалось доказать.
606 Глава 19. Байесовская регрессия Как видно из (19.5, 19.6), апостериорная ковариация () является результатом гармонического сложения опытной (a) и априорной ( ) ковариаций, апостериорные оценки регрессии () Ч средневзвешенными (матричными) опытных (a) иаприорных () оценок. Если априорные оценки имеют невысокую точность, и велика, то влияние их на апостериорные оценки невелико, и последние определяются в большой степени опытными оценками. В предельном случае, когда, т.е. априорная информация совершенно не надежна, a, a.
19.2. Объединение двух выборок В действительности априорная информация может быть также опытной, но полученной в предшествующем опыте. Тогда формулы, полученные в предыдущем пункте показывают, как информация нового опыта Ч по новой выборке Ч корректирует оценки, полученные в предыдущем опыте Ч по старой выборке. В данном пункте показывается, что в результате применения этих формул получаемая апостериорная оценка в точности равна оценке, которую можно получить по объединенной выборке, включающей старую и новую.
Пусть имеется две выборки:
старая Ч Z1, X1: X1 = Z11 + 1, и новая Ч Z2, X2: X2 = Z22 + 2.
Считается, что 1 и 2 известны (как и в предыдущем пункте).
Даются оценки параметров по этим двум выборкам:
a1 =(Z Z1)-1 Z1X1, = (Z1Z1)-1, 1 a a2 =(Z2Z2)-1 Z2X2, = (Z2Z2)-1.
aВ предыдущем пункте первой выборке соответствовала априорная оценка, второй Ч опытная.
Теперь дается оценка параметров по объединенной выборке. При этом наблюдения должны быть приведены к одинаковой дисперсии:
X1 1 Z1 1 1 = +.
X2 2 Z2 2 2 В этой объединенной регрессии остатки имеют дисперсию, равную единице.
19.3. Упражнения и задачи Оценки параметров рассчитываются следующим образом:
- Z1 X Z1 Z2 Z1 Z2 = a = 1 2 1 Z2 2 X2 -1 1 1 1 = Z1Z1 + Z2Z2 Z1X1 + Z2X2 = 2 2 2 1 2 1 -1 = -1 +-1 (Z1Z1)(Z Z1)-1Z1X1 + (Z2Z2)(Z2Z2)-1Z2X2 = 1 2 1 1 -1 = + a1 + a2.
-1 -1 -1 -1 2 1 Ковариационная матрица (учитывая, что 2 =1):
-= +.
-1 -1 Таким образом, оценки по объединенной выборке в терминах предыдущего пункта являются апостериорными.
19.3. Упражнения и задачи Упражнение По данным таблицы 19.1:
1.1. Оцените регрессию X по Z и константе, учитывая априорную информацию, что математические ожидания всех коэффициентов регрессии равны 2, а их ковариационная матрица Ч единичная. Считать, что дисперсия ошибки равна 2.
Pages: | 1 | ... | 66 | 67 | 68 | 69 | 70 | ... | 82 | Книги по разным темам