Книги по разным темам
Pages: | 1 | 2 | L -Q-1 = Q-1N - qLLq.LqT, (38).L L-1(N,m) L(,m) -SL-1,m(N ) = SL,m(N ) - qLLq.LsL., (39) -J (am(N,L-1) ) = J (am(N, L) ) - 2 qLL. (40) L где Q,S, - подматрицы (порядка L -1) соответствующих матриц, qLL - элемент матрицы Q-1N,m), q.L - L - ый столбец матрицы Q-1N,m) (без qLL ), sL. - L - я строка в L( L( матрице S, L - L - ый элемент в векторе L(N,m).
L,m(N ) Итак, вывод универсальной рекуррентной формы МНК позволил довести технологию применения этого метода до уровня управляемой динамической системы.
Оператор этой адаптивной системы описывается рекуррентными процедурами (4-40).
Условия их применимости сформулированы и доказаны в пяти приводимых ниже утверждениях.
Формулы (4-9) применимы всегда, т.к. верно следующее утверждение:
Утверждение 1. Квадратичная форма ym( N,L)yT неотрицательно определенная.
Доказательство: Доказываемое утверждение не зависит от порядка рассматриваемых матриц, поэтому в приводимых выкладках индексы у матриц будут опущены.
Рассмотрим квадратичную форму yyT = y(P-1 - P-1GT (GP-1GT )-1GP-1)yT.
Электронный журнал ИССЛЕДОВАНО В РОССИИ 648 Матрица P-1 = (FT F)-1 - положительно определенная, поэтому рассматриваемую квадратичную форму можно представить в виде 1 1 1 1 1 1 1 - - - - - - - 2 2 2 2 2 2 2 yyT = (yP )(P yT ) - (yP )(P GT )(GP P GT )-1(GP )(P yT ) = = uuT - uR(RT R)-1RT uT, если обозначить вектор yP = u и прямоугольную матрицу P GT = R.
Матрица R(RT R)-1RT обладает следующими свойствами:
1) (R(RT R)-1RT )T = R(RT R)-1RT симметричная, 2) (R(RT R)-1RT )2 = R(RT R)-1RT проекционная.
Из свойств (1,2) следует, что собственные значения этой матрицы равны 0 или 1, но тогда, согласно экстремальным свойствам квадратичных форм, uR(RT R)-1RT uT 0 1, т.е. uuT - uR(RT R)-1RT uT 0 для всех u.
uuT Итак, y yyT 0, что и доказывает неотрицательную определенность рассматриваемой квадратичной формы.
Условие применимости формул (10-15):
Утверждение 2. Если система функций {1(x),...,m (x)}- линейно независима на T множестве X / xN = {x1,x2,...,xN -1}, то 1- fNm(N,L)fN > 0.
T - T T Доказательство: 1 - f m(N,L)f =1 - f Pm1N )f + f Dm(N,L)f.
N N N N N N ( - T В работе [6] доказано, что 1- fN Pm1N )fN > 0, но второе слагаемое в выражении для ( T T 1 - f m(N,L)f удовлетворяет неравенству f Dm(N,L)f 0, т.к. и N N N N 1 - 2 QL,m(N) = G Pm1N )GT,m = (G Pm(N ) )(G Pm(N ) )T и, следовательно, L,m L L,m L,m ( - Dm(N,L) = Pm1N )GT,mQ-1m, N )G Pm1N ) = L L,m ( L( ( 1 - - 2 = (Pm1N )GT,mQL(m, N ) )(Pm1N )GT,mQL(m, N ) )T - неотрицательно определенные L L ( ( T матрицы. Поэтому 1 - f m(N,L)f > 0.
N N Рекуррентные формулы (16-22) применимы, если m+1 0. В работе [6] доказано следующее утверждение:
Утверждение 3. Hm+1 = 0 тогда и только тогда, когда система функций {1(x),2(x),...,m(x),m+1(x)} линейно зависима на множестве X = {x1, x2,..., xN}.
Утверждение 4. m+1 > 0 при выполнении хотя бы одного из двух условий:
- система функций {1(x),2(x),...,m(x),m+1(x)} линейно независима;
-m+1 GL,mPm1N )zT.
( m+- T Доказательство: H = T - T FN,mPm1N )FN,m.
m+1 m+1 m+m+1 m+1 ( Электронный журнал ИССЛЕДОВАНО В РОССИИ 649 T T Аналогично утверждению 1 легко показать, что FN,m (FN,mFN,m )-1FN,m симметричная и проекционная матрица. Следовательно, согласно экстремальным свойствам квадратичных форм, - T T FN,mPm1N )FN,mm+m+1 ( 0 1, т.е. H 0 для всех m+1.
m+T m+m+С учетом выражения (22) для m+1 из доказанного, из утверждения 3 и из положительной определенности матрицы Q-1N,m) (см. доказательство утверждения 2), L( когда y 0 yT Q-1N,m)y > 0, следует верность доказываемого утверждения.
L( Формулы (29-34) применимы, если hL+1 0.
Утверждение 5. gL+1m(N,L)gT = 0 тогда и только тогда, когда система L+векторов {g1,g2,...,gL,gL+1} линейно зависима.
Доказательство: Сформулированное утверждение имеет смысл лишь при условии линейной независимости векторов {g1,g2,...,gL}, когда L m.
Необходимое и достаточное условие линейной зависимости системы векторов равенство нулю определителя Грама в любом базисе. Рассмотрим базис, определяемый положительно определенной матрицей Pm1N ). Условие линейной независимости ( векторов {g1,g2,...,g } в этом базисе: det(G Pm1N )GT ) 0.
L L,m L,m ( Необходимость. Пусть g m(N, L)gT = L+1 L+- - - = g Pm1N )gT - g Pm1N )GT,m (G Pm1N )GT,m )-1G Pm1N )gT = 0. Найдем L+1 L+1 L+1 L L,m L L,m L+( ( ( ( G - - L,m det(G Pm1N )GT ). G Pm1N )GT = Pm1N GT,m gT = L+1,m L+1,m L+1,m ( L+1,m ( gL+1 ( ) L L+- G Pm1N )GT,m G Pm1N )gT L,m L L,m L+( ( =. Согласно обобщенному алгоритму Гаусса - gL+1Pm1N )GT,m g Pm1N )gT L L+1 L+( ( - det(G Pm1N )GT ) = det(G Pm1N )GT,m ) L+1,m L,m L ( L+1,m ( - - - (g Pm1N )gT - g Pm1N )GT,m (G Pm1N )GT,m )-1G Pm1N )gT ) = 0, L+1 L+1 L,m L,m ( L+1 ( L ( L ( L+поэтому вектора {g1,g2,...,g,g } линейно зависимы.
L L+Достаточность. Если вектора {g1,g2,...,g,g } линейно зависимы, то L L+- - det(G Pm1N )GT ) = det(G Pm1N )GT,m ) (g Pm1N )gT L+1,m L,m L L+( L+1,m ( ( L+- - - g Pm1N )GT,m (G Pm1N )GT,m )-1G Pm1N )gT )= 0. Но т.к.
L+1 L L,m L L,m ( ( ( L+- det(G Pm1N )GT,m ) 0, то g Pm1N )gT L,m L L+1 L+( ( - - - g Pm1N )GT,m (G Pm1N )GT )-1G Pm1N )gT = g m(N, L)gT = L+1 L L,m L,m L,m L+1 L+1 L+( ( ( Утверждения доказаны.
Электронный журнал ИССЛЕДОВАНО В РОССИИ 650 На данном этапе разработки представленная динамическая система является неавтономной, хотя существует принципиальная возможность полной автоматизации вычислительного процесса при решении целого ряда задач обработки и анализа данных на основе МНК.
Отметим, что динамическая реализация метода наименьших квадратов исключает необходимость введения какого-либо начального приближения для оцениваемых параметров. Решение модельных примеров и реальных задач аппроксимации и распознавания образов [6] на основе МНК с использованием адаптивной динамической системы обработки и анализа данных продемонстрировало такие ее возможности, как:
подбор системы базисных функций, подходящей для заданной выборки данных;
построение оптимального решения с точностью, сопоставимой с точностью задания данных и точностью счета, для хорошо обусловленных информационных матриц;
коррекция результатов, являющихся следствием накопления ошибок вычислений для плохо обусловленных матриц;
поиск оптимального решения в случае вырожденности информационной матрицы;
обнаружение сильно уклоняющихся или ошибочных данных;
обработка потоковых данных.
СПИСОК ЛИТЕРАТУРЫ 1. Рао С.Р. Линейные статистические методы и их применения. М.: Наука, 1968.
2. Gauss C.F. Theoria combinations observationum erroribus minimis obnoxiae. 1821. - Gesammelte Werke, Bd. 4. Gottingen, 1873.
3. Plackett R.L. Some theorems in least squares. // Biometrika, v.37, 1950. P. 149-157.
4. Алберт А. Регрессия, псевдоинвверсия и рекуррентное оценивание. М.: Наука, 1977.
5. Неймарк Ю.И., Теклина Л.Г. Рекуррентная форма метода наименьших квадратов по определяемым параметрам.// Докл. РАН, т. 349, №5, 1996. С. 608-609.
6. Неймарк Ю.И., Теклина Л.Г. Расширенная рекуррентная форма метода наименьших квадратов в применении к задачам распознавания. // Сб. Динамика систем. Нижний Новгород. Изд. Нижегородского университета, 1995. С.29-45.
7. Neimark Yu.I., Teklina L.G. Recurrent procedures of the least-squares method under restrictions on parameters in coding and recognition problems. // Pattern recognition and image analysis, v.11, no.1, 2001. Pp.228-230.
Pages: | 1 | 2 |
Книги по разным темам