Статистичний аналіз тенденцій захворюваності в Україні
Дипломная работа - Математика и статистика
Другие дипломы по предмету Математика и статистика
i,p-1 + ?i, i = 1, 2, ..., n, (1.1.1)
де xij i-те значенням для хj. В матричному вигляді (1.1.1) запишеться
або
Y = X? + ?, (1.1.2)
де x10 = x20 = ... = xn0 = 1.
Означення. Матриця X = Х(n p) називається регресійною матрицею. При цьому значення xij зазвичай вибираються так, щоб стовпці цієї матриці були лінійно незалежними, тобто ранг матриці X дорівнював р. Проте в деяких випадках при плануванні експерименту елементи матриці X обираються рівними тільки нулю і одиниці, і її стовпці можуть виявитися лінійно залежними. В цьому випадку матрицю X називають матрицею плану.
Далі хj називатимемо регресором, а Y відкликом.
Модель (1.1.1) або (1.1.2) лінійна по відношенню до невідомих параметрів ?j, тому її називають лінійною моделлю.
Одним з методів знаходження оцінки вектора ? є метод найменших квадратів. Цей метод полягає в мінімізації суми по відношенню до вектора ?. Точніше, вважаючи ? = X?, мінімізуємо величину ?? = ||Y- ?||2 по відношенню до ? [Х] = ?, де ? - образ оператора X, тобто ? = {у: у = Хх} для деякого х. Якщо змінювати значення вектора ? в межах ?, то ||Y- ?||2 (квадрат довжини вектора Y- ?) досягає мінімуму при тому значенні ? = , для якого (Y - ) ? (рис.1.1.1). Тому
X(Y - ) = 0,
Або
Х = ХY. (1.1.3)
Вектор визначається однозначно, оскільки він є ортогональною проекцією вектора Y на ?. Якщо тепер стовпці матриці X лінійно незалежні, то існує
Рис. 1.1.1 Метод найменших квадратів полягає у знаходженні такої точки А, для якої відстань АВ мінімальна
єдиний вектор , для якого = X. Підставлячи в (1.1.3), одержуємо нормальне рівняння
ХХ = ХY. (1.1.4)
Оскільки ми припускаємо, що матриця X має ранг р, то матриця ХХ додатньо визначена і, отже, не вироджена. Тому рівняння (1.1.4) має єдиний розвязок, а саме
= ( ХХ)-1 ХY
Цей розвязок називається оцінкою найменших квадратів вектора ?.
Оцінку для ? можна одержати й в інший спосіб.
?? = (Y-Х?)(Y-Х?) = YY - 2?ХY+ ?ХХ?
(використовуємо той факт, що ?ХY = (?ХY) = YХ?). Продиференцюємо ?? по ?. Прирівнюючи одержану похідну ??/? нулю, приходимо до рівняння
- 2ХY +2ХХ? = 0, (1.1.5)
Або
ХХ? = ХY.
Звідки
= ( ХХ)-1 ХY
Покажемо, що знайдена стаціонарна точка є мінімумом функції ??. Перепишемо (Y-Х?)(Y-Х?) у вигляді
(Y-Х?)(Y-Х?) = (Y-Х)(Y-Х) + ( - ?)ХХ( - ?). (1.1.6)
Розпишемо
(Y-Х)(Y-Х) + ( - ?)ХХ( - ?) = (Y-Х)(Y-Х) +
+ ( - ?)(ХХ - ХХ?) = YY - YX - XY + XX +
+ XX - XX - XX + XX =
= {XX = XY, оскільки - розвязок нормального рівняння} =
= YY - YX - XY + XY + XY - XX ? ?XY + ?XX? =
= YY - YX? ?XY + ?XX ? = (Y - X?)(Y - X?)
Ліва частина в (1.1.6) досягає мінімуму при ? = .
Далі позначимо = Х. Елементи вектора
e = Y = Y Х = (In - Х(ХХ)-1Х)Y = (In - Р)Y (1.1.7)
називаються залишками (ми позначили тут скорочено Х(ХХ)-1Х через Р). Мінімальне значення ?? називається залишковою сумою квадратів (RSS)).
RSS = (Y - Х)(Y - Х)= YY - 2Х Y + ХХ =
= YY - Х Y + [ХХ - ХY] =
= YY -ХY (1.1.8)
Або
RSS = YY - ХХ (1.1.9)
Відмітимо, що і е єдині.
Оскільки = Х = Х(ХХ)-1ХY = РY, то Р є матрицею лінійного перетворення, яке є ортогональним проектуванням n-мірного евклідова простору Еn на ?. Аналогічно In - Р є матрицею ортогонального проектування Еn на - ортогональне доповнення до ? в Еn. Тому вираз Y = РY + (In - Р)Y є єдиним ортогональним розкладом вектора Y на дві складові, одна з яких лежить в ?, а інша - в . Деякі основні властивості матриць Р і (In - Р) наведено в теоремі 1.1.1. Спочатку сформулюємо деякі означення.
Означення. Слідом trX матриці Х називають суму її діагональних елементів
trX = 1 + x21 + x32 + … + xnp-1
Означення. Матриця Р називається ідемпотентною, якщо Р2 = Р. Симетрична ідемпотентна матриця називається проекційною. Якщо Р проекційна матриця, то trР = rankР.
Теорема 1.1.1.
(I) Матриці Р і In - Р симетричні та ідемпотентнi.
(II) rank[In - Р] = tr[In - Р] = n - р.
(III) (In - Р)Х = 0.
Доведення.
(I) Р = (X(XX)-1X) = X((XX)-1)X = X(XX)-1X = P
Отже, матриця Р є симетричною і (In - Р) = In - Р = In - Р. Крім того,
Р2 = X(ХХ)-1ХХ(ХХ) -1X = XIp (ХХ)-1X = Р,
і (In Р)2 = In - 2Р + P2 = In Р.
(II) Оскільки матриця In - Р симетрична та ідемпотентна, то вона проекційна і tr(In Р) = rank(In Р). Тоді
rank[In - Р] = tr[In - Р] = n - trР,
де
trР = tr[X (ХХ)-1X] = tr[ХХ (ХХ)-1] = trIp = р.
- (In - Р)Х = Х - Х(ХХ)-1ХХ = Х - Х = 0.
Теорема доведена.
Теорема 1.1.2.
Нехай Р = X(ХХ)-1X, тоді R(P) = R(X), тобто простір, породжений стовпцями матриці P є простором, породженим стовпцями матриці Х.
Доведення.
R(P) = {z: z = P?} для деякого ?, R(X) = {Y: Y = X?} для деякого ?.
Вибираємо zR(P), тоді z = P?. Отже,
z = P? = X(XX)-1X? = X?,
отже zR(X).
Вибираємо YR(X), тоді Y = X?
Y = X? = X(XX)-1XX? = X(XX)-1XX? = PY,
отже YR(P).
Теорема доведена.
Теорема 1.1.3.
(Y - ) = 0 або
Доведення.
(Y - ) = { = X = X(XX)-1XY = PY} = (PY)(Y PY) = YP(1 P)Y = = YP(1 P)Y = Y(P P2)Y = Y(P P)Y = 0.
Теорема доведена.
Якщо припустити, що помилки ? такі, що , то
M[] = (XX)-1XM[Y] = (XX)-1XX ? = ? (1.1.9)
тобто є незміщеною оцінкою вектора ?. Якщо, окрім того, припустити, що всi ?i, і = 1