Книги по разным темам Pages:     | 1 |   ...   | 10 | 11 | 12 | 13 | 14 |   ...   | 20 |

Поскольку эдесь остается статистическинезначимым коэффициент при переменной, можно произвести дальнейшую редукцию,переходя к модели

Для этой модели

-статистикакритерия проверки значимости регрессии в этоймодели

иэту модель в данномконтексте можно принять за окончательную.

С другой стороны, обнаружив при анализемодели (посредством применения t-критериев) статистическую незначимостькоэффициентов при двух последних переменных, мы можем попробовать выяснитьвозможность одновременного исключения из этой модели указанных объясняющихпеременных, опираясь на использование соответствующего F-критерия.

Исключение двух последних переменных измодели соответствует гипотезе

при которой модель редуцируетсясразу к модели. Критерийпроверки гипотезы основывается на статистике

где — остаточная сумма квадратов вмодели, —остаточная сумма квадратов в модели, — количество зануляемыхпараметров,.

Для наших данных получаемзначение

которое следует сравнить с критическимзначением Поскольку, мы неотвергаем гипотезу и можем сразу перейти от модели к модели.

Замечание. Врассмотренном примере мы действовали двумя способами:

Дважды использовали -критерии, сначала приняв (не отвергнув)гипотезу в рамках модели, а затем приняв гипотезу в рамках модели.

Однократно использовали F-критерий, приняв гипотезу врамках модели.

Выводы при этих двух альтернативныхподходах оказались одинаковыми. Однако, из выбора модели в подобнойпоследовательной процедуре, вообще говоря, неследует что такой же выбор будет обязательно сделан ипри применении -критерия,сравнивающего первую и последнюю модели.

2.9. ПРОВЕРКА ЗНАЧИМОСТИ И ПОДБОР МОДЕЛИ СИСПОЛЬЗОВАНИЕМ КОЭФФИЦИЕНТОВ
ДЕТЕРМИНАЦИИ. ИНФОРМАЦИОННЫЕ КРИТЕРИИ

Ранее мы неоднократно задавались вопросом отом, как следует интерпретировать значения коэффициента детерминации с точкизрения их близости к нулю или, напротив, их близости к единице.

Естественным было бы построениестатистической процедуры проверки значимостилинейной связи между переменными, основанной на значениях коэффициентадетерминации — ведь является статистикой,поскольку значения этой случайной величины вычисляются по данным наблюдений.Теперь мы в состоянии построить такую статистическую процедуру.

Представим - статистику критерия проверкизначимости регрессии в целом в виде

Отсюда находим:

Большим значениям статистики соответствуюти большие значения статистики, так что гипотеза, отвергаемая при =, должнаотвергаться при выполнении неравенства, где

При этом, вероятность ошибочного отклонениягипотезы по-прежнему равна.

Интересно вычислить критические значения при дляразличного количества наблюдений.

Ограничимся здесь простой линейной регрессией, такчто

В зависимости от количества наблюдений,получаем следующие критические значения :

n	3	4	10	20	30	40	60	120	500
R2crit	0.910	0.720	0.383	0.200	0.130	0.097	0.065	0.032	0.008

Иначе говоря, при большом количественаблюдений даже весьма малые отклонения наблюдаемого значения от нуляоказываются достаточными для того, чтобы признать значимость регрессии, т. е.статистическую значимость коэффициента при содержательной объясняющейпеременной.

Поскольку же значение равно при квадрату выборочного коэффициентакорреляции между объясняемой и (нетривиальной) объясняющей переменными, тоаналогичный вывод справедлив и в отношении величины этого коэффициентакорреляции, только получаемые результаты еще более впечатляющи:

n	3	4	10	20	30	40	60	120	500
|rxy|crit	0.953	0.848	0.618	0.447	0.360	0.311	0.254	0.179	0.089

Если сравнивать модели по величинекоэффициента детерминации R2, то с этой точки зрения полная модельвсегда лучше (точнее, не хуже) редуцированной — значение R2ав полноймодели всегда не меньше, чем в редуцированной, простопотому, что в полной модели остаточная суммаквадратов не может быть больше, чем в редуцированной.

Действительно, в полной модели собъясняющими переменными минимизируется сумма

по всем возможным значениям коэффициентов.Если мы рассмотрим редуцированную модель, например, без -ой объясняющейпеременной, то в этом случае минимизируется сумма

по всем возможным значениям коэффициентов,что равносильно минимизации первой суммы по всем возможным значениям прификсированном значении. Но получаемый при этом минимум не может быть большечем минимум, получаемый при минимизации первой суммы по всем возможнымзначениям, включая и все возможные значения. Последнее означает, что вполной модели не может быть меньше, чем в редуцированной модели. Поскольку жеполная сумма квадратов в обеих моделях одна и та же, отсюда и вытекаетзаявленное выше свойство коэффициента.

Чтобы сделать процедуру выбора модели сиспользованием более приемлемой, было предложено использовать вместо егоскорректированный (adjusted) вариант

в который по-существу вводится штраф за увеличение количестваобъясняющих переменных. При этом,

так что

при и.

При использовании коэффициента длявыбора между конкурирующими моделями, лучшей признается та, для которой этоткоэффициент принимает максимальное значение.

Замечание. Еслипри сравнении полной и редуцированных моделей оценивание каждой изальтернативных моделей производится с использованием одного и того жеколичества наблюдений, то тогда, как следует из формулы, определяющей,сравнение моделей по величине равносильно сравнению этих моделей повеличине или по величине. Только в последних двух случаях выбираетсямодель с миниимальным значением (или ).

Пример. Продолжаяпоследний пример, находим значения коэффициента при подборе моделей,,:

для —

для —

для —

Таким образом, выбирая модель по максимуму, мы выберем из этих трех моделей именно модель, к которой мы уже пришли доэтого, пользуясь - и -критериями.

В этом конкретном случае сравнение всехтрех моделей по величине не равносильно сравнению их по величине(или ), если модели, оцениваются по всем наблюдениям, представленным в таблицеданных, тогда как модель оценивается только понаблюдениям (однонаблюдение теряется из-за отсутствия в таблице запаздывающего значения,соответствующего году).

Наряду со скорректированным коэффициентомдетерминации, для выбора между несколькими альтернативными моделями частоиспользуют так называемые информационные критерии:критерий Акаике и критерийШварца, также штрафующие за увеличение количестваобъясняющих переменных в модели, но несколько отличными способами.

Критерий Акаике (Akaike’s information criterion— AIC). При использовании этого критерия, линейной модели собъясняющими переменными, оцененной по наблюдениям, сопоставляетсязначение

где - остаточная сумма квадратов,полученная при оценивании коэффициентов модели методом наименьших квадратов.При увеличении количества объясняющих переменных первое слагаемое в правойчасти уменьшается, а второе увеличивается. Среди нескольких альтернативныхмоделей (полной и редуцированных) предпочтение отдается модели с наименьшимзначением, в которой достигается определенный компромисс между величинойостаточной суммы квадратов и количеством объясняющих переменных.

Критерий Шварца (Schwarz’s information criterion— SC,SIC). При использовании этого критерия, линейноймодели с объясняющими переменными, оцененной по наблюдениям,сопоставляется значение

И здесь при увеличении количестваобъясняющих переменных первое слагаемое в правой части уменьшается, а второеувеличивается. Среди нескольких альтернативных моделей (полной иредуцированных) предпочтение отдается модели с наименьшим значением.

Пример. Впоследнем примере получаем для полной модели и редуцированныхмоделей и следующие значения и.

	AIC	SC
M1	8.8147	8.9594
M2	8.6343	8.7428
M3	8.4738	8.5462

Предпочтительной по обоим критериямоказывается опять модель.

Замечание. Врассмотренном примере все три критерия, и выбирают одну и ту же модель.В общем случае подобное совпадение результатов выбора вовсе необязательно.

Включение в модель большого количестваобъясняющих переменных часто приводит к ситуации, которую называют мультиколлинеарностью.

Мы обещали ранее коснуться проблемы мультиколлинеарности и сейчасвыполним это обещание. Прежде всего напомним наше предположение

(4) матрицаXTX невырождена,т. е. ее определительотличен от нуля:

которое можно заменить условием

(4’) столбцы матрицы X линейно независимы.

Полная мультиколлинеарность соответствует случаю, когда предположение (4) нарушается, т. е.когда столбцы матрицы линейно зависимы, например,

(-й столбец является линейной комбинациейостальных столбцов матрицы ). При наличии чистой мультиколлинеарности системанормальных уравнений не имеет единственного решения, так что оценка наименьшихквадратов для вектора параметров (коэффициентов) попросту не определенаоднозначным образом.

На практике, указывая на наличие мультиколлинеарности, имеют ввиду осложнения со статистическими выводами в ситуациях, когда формальноусловие (4) выполняется, но при этом определитель матрицы XTXблизок к нулю. Указанием на то, что -я объясняющаяпеременная почти является линейной комбинацией остальных объясняющихпеременных, служит большое значение коэффициентавозрастания дисперсии

оценки коэффициента при этой переменнойвследствие наличия такой почти линейной зависимости между этой и остальнымиобъясняющими переменными. Здесь - коэффициент детерминации при оцениванииметодом наименьших квадратов модели

Если, то, и это соответствуетнекоррелированности -ой переменной с остальными переменными. Если же, то тогда, и чем больше корреляция -ой переменной с остальными переменными, тем вбольшей мере возрастает дисперсия оценки коэффициента при -ой переменной посравнению с минимально возможной величиной этой оценки.

Мы можем аналогично определить коэффициентвозрастания дисперсии оценки коэффициента при -ой объясняющей переменнойдля каждого :

Здесь — коэффициент детерминации приоценивании методом наименьших квадратов модели линейной регрессии -ойобъясняющей переменной на остальные объясняющие переменные. Слишком большиезначения коэффицентов возрастания дисперсии указывают на то, что статистическиевыводы для соответствующих объясняющих переменных могут быть весьманеопределенными: доверительные интервалы для коэффициентов могут быть слишкомширокими и включать в себя как положительные, так и отрицательные значения, чтоведет в конечном счете к признанию коэффициентов при этих переменныхстатистически незначимыми при использовании - критериев.

Пример. Обращаясьопять к данным об импорте товаров и услуг во Францию, находим:

Коэффициенты возрастания дисперсии дляпеременных и совпадают вследствие совпадения коэффициентовдетерминации регрессии переменной на переменные и и регресиипеременной на переменные и (взаимно обратныерегрессии).

Полученные значения коэффициентоввозрастания дисперсий отражают очень сильную коррелированность переменныхи. (Выборочный коэффициент корреляции между этими переменными равен.)

При наличии мультиколлинеарности можетоказаться невозможным правильное разделение влияния отдельных объясняющихпеременных. Удаление одной из переменных может привести к хорошо оцениваемоймодели. Однако оставшиеся переменные примут на себя дополнительную нагрузку,так что коэффициент при каждой из этих переменных измеряет уже не собственновлияние этой переменной на объясняемую переменную, а учитывает также и частьвлияния исключенных переменных, коррелированных с даннойпеременной.

Пример. Продолжаяпоследний пример, рассмотрим редуцированные модели, получамые исключением изчисла объясняющих переменных переменной или переменной. Оценивание этихмоделей приводит к следующим результатам:

c и для коэффициента при;

c и для коэффициента при.

В каждой из этих двух моделей коэффициентыпри и имеют очень высокую статистическую значимость. В первоймодели изменчивость переменной объясняет изменчивости переменной ;во второй модели изменчивость переменной объясняет изменчивостипеременной. С этой точки зрения, переменные и вполне заменяют другдруга, так что дополнение каждой из редуцированных моделей недостающейобъясняющей переменной практически ничего не добавляя к объяснениюизменчивости (в полной модели объясняется изменчивости переменной), в то же время приводит к неопределенности в оценивании коэффициентовпри и.

Pages:     | 1 |   ...   | 10 | 11 | 12 | 13 | 14 |   ...   | 20 |    Книги по разным темам