Авторефераты по всем темам >>
Авторефераты по техническим специальностям
На правах рукописи
Семенихин Константин Владимирович
МЕТОДЫ МИНИМАКСНОГО ОЦЕНИВАНИЯ В МНОГОМЕРНЫХ ЛИНЕЙНЫХ МОДЕЛЯХ НАБЛЮДЕНИЯ ПРИ НАЛИЧИИ ГЕОМЕТРИЧЕСКИХ ОГРАНИЧЕНИЙ НА МОМЕНТНЫЕ ХАРАКТЕРИСТИКИ
Специальность 05.13.01 Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника) А В Т О Р Е Ф Е Р А Т диссертации на соискание ученой степени доктора физико-математических наук
Москва 2010
Работа выполнена на кафедре теории вероятностей Московского авиационного института (государственного технического университета) МАИ.
Научный консультант: доктор физико-математических наук профессор Панков Алексей Ростиславович
Официальные оппоненты: доктор физико-математических наук профессор Пантелеев Андрей Владимирович доктор физико-математических наук профессор Матасов Александр Иванович доктор технических наук старший научный сотрудник Курдюков Александр Петрович
Ведущая организация: Учреждение Российской академии наук Институт проблем передачи информации им. А. А. Харкевича РАН
Защита состоится 25-го февраля 2011 г. в 1000 на заседании Диссертационного совета Д 212.125.04 при МАИ по адресу: 125993, Москва, А-80, ГСП-3, Волоколамское ш., 4, Ученый совет МАИ.
С диссертацией можно ознакомиться в библиотеке МАИ.
Отзывы на автореферат, заверенные гербовой печатью организации, просим направлять по указанному адресу в двух экземплярах.
Автореферат разослан 23-го ноября 2010 г.
Ученый секретарь Диссертационного совета, кандидат физико-математических наук, доцент Ротанина М. В.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Разработка новых эффективных методов восстановления неизвестных параметров и состояний стохастических систем является актуальной проблемой теории и практики обработки измерительной информации и системного анализа.
Теоретический подход к изучению разнообразных задач оценивания основан на описании трех объектов: модели наблюдения, класса допустимых операторов оценивания и критерия оценивания. Модель наблюдения определяет зависимость между оцениваемыми параметрами или состояниями исследуемой системы с одной стороны и наблюдаемыми величинами или процессами с другой стороны. В рамках теоретико-вероятностного подхода задание модели наблюдения предполагает также описание доступной априорной информации о значениях детерминированных параметров и вероятностных характеристиках случайных факторов. Класс допустимых операторов оценивания представляет собой набор решающих правил, позволяющих по имеющейся реализации наблюдений построить оценку неизвестного состояния системы. Критерий оценивания формулирует правило, согласно которому один оператор оценивания признается лучшим по сравнению с другим в условиях имеющейся модели наблюдения.
C практической точки зрения указание всех трех перечисленных выше объектов также является чрезвычайно важным. Во-первых, описание модели наблюдения устанавливает границы применимости имеющихся технических решений. Во-вторых, класс операторов оценивания определяет рамки возможных программных или инструментальных средств извлечения необходимой информации из доступных опытных данных. В-третьих, критерий оценивания представляет собой формализацию требований, предъявляемых практиком к качеству оценок. И наконец, все это вместе позволяет принять обоснованное решение о том, стоит ли ради повышения точности оценивания производить новые измерения, вносить изменения в условия эксперимента или совершенствовать измерительные средства и их программно-алгоритмическое обеспечение.
Понятие модели наблюдения охватывает как статистические модели (параметрические и непараметрические), так и частично наблюдаемые стохастические системы. Изучению статистических моделей посвящены монографии Т. Андерсона, А. А. Боровкова, В. Н. Вапника, Е. З. Демиденко, Г. Крамера, Ш. Закса, И. А. Ибрагимова, Ю. В. Линника, С. Р. Рао, Дж. Себера, Р. Фишера, Р. З. Хасьминского. Основы теории оптимального оценивания случайных процессов были заложены в работах Н. Винера, М. Закаи, Р. Калмана, А. Н. Колмогорова, Р. Л. Стратоновича. Задачи оптимального оценивания и фильтрации в стохастических системах управления исследовались в работах В. Н. Афанасьева, У. Вонэма, Н. С. Д А. В. Добровидова, М. Дэвиса, емина, И. Е. Казакова, В. Б. Колмановского, Н. В. Крылова, Н. А. Кузнецова, Р. Ш. Липцера, Б. М. Миллера, П. В. Пакшина, А. В. Пантелеева, В. С. Пугач Е. Я. Рубиновича, И. Н. Синицына, А. Н. Ширяева.
ева, На языке теории вероятностей любую модель наблюдения можно описать в терминах оцениваемого элемента, наблюдаемого элемента и множества их совместных распределений (множества неопределенности). Это множество вводится либо непосредственно с помощью ограничений на взаимные характеристики оцениваемого и наблюдаемого элементов, либо опосредованно через определение зависимости этих элементов от третьего элемента, распределение которого известно с точностью до принадлежности некоторому фиксированному классу. Если часть параметров и процессов являются детерминированными, то ограничения на их значения также можно описать в вероятностных терминах с использованием вырожденных распределений.
Таким образом, понятие модели наблюдения позволяет охватить различные системы: детерминированные и стохастические, конечномерные и бесконечномерные, статические и динамические. С целью подчеркнуть указанную общность будем использовать термин неопределенно-стохастические модели наблюдения для систем, которые содержат неслучайные неопределенные параметры и случайные величины с неточно заданным законом распределения.
Систематическое исследование таких систем было начато В. С. Пугач евым.
В конечномерном случае линейные неопределенно-стохастические системы описываются уравнениями обобщенной линейной регрессии, в которых не делается изначального предположения о невырожденности каких-либо матриц, описывающих структуру корреляционной или регрессионной зависимости. Данные модели наблюдения и соответствующий аппарат псевдообращения изучались в работах А. Алберта, А. Бен-Израэля, Т. Гревилля, Д. Катлина, В. И. Мелешко, М. Нэшеда, В. Рута. Класс линейных моделей наблюдения включает в себя как регулярные модели, в которых постулируется, что ковариационная матрица вектора наблюдений невырожденная, так и сингулярные модели, где это предположение нарушается. Класс неопределенно-стохастических систем, описываемых моделью обобщенной линейной регрессии с экстремальными ограничениями на моментные характеристики второго порядка, был изучен в работах А. Р. Панкова и его учеников.
В задачах точечного оценивания оператор оценивания представляет собой измеримое отображение пространства наблюдаемого элемента в пространство, в котором принимает значения оцениваемый элемент. В статистических моделях на оператор оценивания традиционно накладывают условия линейности, аффинности, несмещенности, состоятельности и т. д. В динамических системах ограничения на оператор оценивания (рекуррентность, стационарность, устойчивость и т. д.) обусловлены организацией процесса наблюдения или требованиями к свойствам замкнутой системы. Таким образом, в зависимости от потребности практики могут использоваться различные классы операторов оценивания.
Обычно под критерием оценивания понимают функционал, отражающий некоторую усредненную характеристику ошибки оценивания, которую необходимо минимизировать на фиксированном классе решающих правил.
Однако при наличии неопределенности в описании характеристик модели наблюдения данная задача оказывается недоопределенной. Для ее корректной постановки используют два основных подхода: асимптотический и минимаксный.
Асимптотический подход основан на операции предельного перехода, смысл которого состоит в том, чтобы предел критерия оценивания не зависел от неопределенных характеристик модели наблюдения. Если используется предельный переход по количеству наблюдений, то теоретическую базу соответствующих методов образуют предельные теоремы теории вероятностей, которые обеспечивают инвариантность асимптотики критерия оценивания относительно неизвестного распределения случайных ошибок наблюдения.
Другая часть асимптотических методов основана на гипотезе о том, что истинные значения неопределенных характеристик находятся в достаточно малой окрестности некоторых расчетных или номинальных значений.
В основе минимаксного подхода лежит теоретико-игровая формулировка, при которой исследователь и внешняя среда рассматриваются как пара игроков с взаимно противоречивыми интересами. Цель исследователя, как и прежде, состоит в минимизации критерия посредством выбора оператора оценивания из определенного класса, но при минимаксном подходе оценка ищется из расчета на наихудшее состояние исследуемой системы. Тем самым задача оценивания сводится к минимизации точной верхней грани критерия, вычисленной по заданному множеству неопределенности. Поэтому в отличие от асимптотических методов оценивания минимаксные методы призваны обеспечить наилучшее качество восстановления неизвестных параметров и процессов по фиксированному объему наблюдений.
Решение игровой постановки задачи оценивания предполагает определение не только минимаксной оценки, но и наименее благоприятных значений неопределенных факторов, которые образуют решение максиминной задачи.
Эта задача называется также двойственной, поскольку ее решение доставляет максимум на множестве неопределенности оптимальному значению критерия оценивания. Если при этом имеет место соотношение двойственности, т. е. оптимальные значения функционалов в минимаксной и двойственной задачах совпадают, то пара, состоящая из минимаксной оценки и наименее благоприятного элемента множества неопределенности, образует седловую точку. При этих условиях для определения минимаксной оценки имеет смысл использовать метод двойственной оптимизации, суть которого состоит в нахождении оптимальной оценки, соответствующей наименее благоприятным характеристикам модели наблюдения.
При использовании гарантирующего подхода обычно целью исследования является оценка неоптимальности стандартных алгоритмов оценивания, таких как метод наименьших квадратов или фильтр Калмана, в ситуации более общей, чем та, при которой эти алгоритмы являются оптимальными.
Отметим, что рассмотренные подходы допускают различные вариации и сочетания. Например, совместное использование оптимальных и асимптотических методов приводит к адаптивным приемам в обработке статистической информации. В рамках адаптивного подхода предполагают, что недостающая априорная информация о неизвестных значениях неопределенных характеристик системы может быть извлечена из нарастающего объема данных, за счет чего на каждом шаге адаптации происходит уточнение текущего значения оценки. Адаптивным методам обработки информации посвящены работы О. Н. Граничина, А. С. Кощеева, Л. Льюнга, А. В. Назина, М. Б. Невельсона, Б. Т. Поляка, В. Н. Фомина, Я. З. Цыпкина. Идеи асимптотически минимаксного статистического оценивания отражены в работах И. А. Ибрагимова, А. П. Коростел Б. Я. Левита, А. С. Немировского, В. Г. Покотило, ева, Р. З. Хасьминского, А. Б. Цыбакова.
Гарантирующие и минимаксные методы лежат в общем русле робастного подхода, основоположником которого является А. Вальд. Развитию его идей с привлечением асимптотических результатов посвящена монография П. Хьюбера. В нашей стране первые публикации, посвященные гарантирующим и минимаксным методам обработки статистической информации, связаны с именами В. М. Александрова, Н. Н. Красовского, А. Б. Куржанского, М. Л. Лидова и С. А. Смоляка. Прикладные аспекты использования робастных методов обработки экспериментальных данных в задачах авиационнокосмической техники отражены в работах И. К. Бажинова, Б. Ц. Бахшияна, Л. Ю. Белоусова, И. А. Богуславского, В. И. Карлова, М. Н. Красильщикова, В. В. Малышева, Р. Р. Назирова, В. Н. Почукаева, П. Е. Эльясберга.
Важные результаты о структуре минимаксных оценок при наличии эллипсоидальных ограничений на неизвестные параметры и состояния получены А. Куксом, В. Ольманом, Ф. Л. Черноусько. Детерминированные постановки проблем гарантирующего оценивания изучались в работах Б. И. Ананьева, Б. Ц. Бахшияна, Д. Бертсекаса, В. Вичино, Х. Витценхаузена, М. И. Гусева, А. И. Матасова, М. Миланезе, Й. Роудса, Ф. Швеппе, В. И. Ширяева.
Синтез алгоритмов минимаксного оценивания в различных моделях наблюдения с неопределенными моментными характеристиками второго порядка на основе методов двойственной оптимизации описан в работах С. Верду, В. Б. Меласа, И. Ф. Пинелиса, В. Пура, В. Н. Соловь Использование ева.
оптимизационной техники линейных матричных неравенств для решения различных задач робастного оценивания и фильтрации продемонстрировано в работах С. Бойда и Л. Эль Гауи.
Распространению методов минимаксного оценивания на бесконечномерные статистические и стохастические модели наблюдения посвящены работы Б. И. Ананьева, А. В. Борисова, А. Г. Наконечного, А. Р. Панкова, Ю. П. Пытьева, А. М. Федотова. Структура минимаксного фильтра в стационарном случае установлена в работах Ю. Б. Коробочкина, О. М. Куркина, Д. Луза, В. Пура, С. А. Шаталова. Проблема оптимальности линейных алгоритмов в задачах гарантирующего оценивания была изучена в работах М. И. Гусева, Д. Донохо, Г. Г. Магарил-Ильяева, А. И. Матасова, К. Ю. Осипенко.
Теперь рассмотрим различные варианты критериев, которые возникают в задачах оценивания и фильтрации. В стохастических постановках можно выделить два основных типа критериев: априорные и апостериорные.
Апостериорные критерии используются для определения качества оценок на текущей реализации наблюдений. Разработка методов апостериорного оценивания в статистически неопределенных системах была инициирована в работах И. Я. Каца и А. Б. Куржанского. Этот подход основан на технике построения информационных множеств для состояний детерминированных систем. Дальнейшие исследования в этой области с привлечением методов доверительного оценивания были продолжены Г. А. Тимофеевой. В работах А. В. Борисова апостериорный критерий использовался для минимаксной фильтрации в системах со случайной структурой.
Использование априорного критерия качества для оптимизации алгоритмов оценивания возникло в статистических моделях с целью исследования статистических свойств МНК-оценок и оценок метода максимального правдоподобия. Большинство этих исследований основано на изучении среднеквадратичного критерия, который стал традиционным показателем качества оценивания. Несмотря на это, первые результаты по минимаксному статистическому оцениванию, опубликованные Дж. Ходжесом и Е. Леманом, уже были ориентированы на использование функционалов, более общих чем среднеквадратичный. Понятие асимптотической эффективности относительно вероятностного критерия было введено Р. Бахадуром. Один из первых примеров использования вероятностного и квантильного критериев для построения минимаксных оценок содержится в книге Б. Ц. Бахшияна, Р. Р. Назирова, П. Е. Эльясберга. В связи с минимаксной постановкой задачи интервального оценивания свойства вероятностного критерия были изучены в работах М. Минтца и М. Зейтиноглу. Методика построения доверительных оценок на основе обобщенного минимаксного подхода предложена в работе А. И. Кибзуна.
Отметим, что в большинстве из перечисленных выше работ в качестве показателя риска использовалась евклидова норма ошибки. Однако в последнее время широкое распространение получили критерии неевклидовой структуры: обобщенный квадратичный критерий, критерий в виде отношения сигнаг/шум, H-критерий, а также информационные критерии.
В связи с задачами управления и фильтрации в неопределенных и стохастических системах соответствующие постановки изучались в работах Т. Башара, П. Бернхарда, А. П. Курдюкова, К. Мартина, М. Минтца, Й. Питерсена, В. Пура, А. В. Савкина, В. А. Угриновского.
Приведенный обзор методов обработки статистической информации в условиях априорной неопределенности позволяет выделить несколько актуальных направлений исследований в области робастного оценивания:
1) анализ обобщенных линейных моделей регрессии в присутствии априорной информации, выраженной в терминах геометрических ограничений на моментные характеристики первого и второго порядков;
2) разработка методов двойственной оптимизации для построения минимаксных оценок векторных параметров в регулярных и сингулярных неопределенно-стохастических моделях линейной регрессии;
3) создание алгоритмической базы методов минимаксного оценивания и анализ соответствующих численных процедур;
4) расширение набора типовых неопределенно-стохастических моделей наблюдения, допускающих аналитический синтез минимаксных оценок;
5) минимаксная оптимизация операторов оценивания с привлечением нестандартных критериев качества, таких как вероятностный и квантильный;
6) обоснование оптимальности линейных оценок в различных постановках задачи минимаксного оценивания;
7) минимаксное оценивание в бесконечномерных стохастических системах при наличии геометрических ограничений на ковариационные операторы оцениваемого и наблюдаемого элементов;
8) разработка численных методов, предназначенных для вычисления минимаксных оценок в бесконечномерных моделях наблюдения.
Все перечисленные направления соответствуют проблематике минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения. Указанные модели составляют объект исследования диссертационной работы.
Целью диссертации является разработка и анализ методов оптимального оценивания параметров и состояний линейных стохастических систем с неопределенными моментными характеристиками, стесненными геометрическими ограничениями.
Для достижения поставленной цели необходимо:
1) описать класс конечномерных линейных неопределенно-стохастических моделей наблюдения, в которых априорная информация о распределениях сформулирована в виде ограничений на математические ожидания и ковариационные матрицы;
2) определить условия существования седловой точки в задаче оценивания по среднеквадратичному критерию;
3) установить границы применимости метода двойственной оптимизации для построения минимаксных оценок;
4) разработать алгоритмы оценивания в сингулярных моделях наблюдения с использованием теории двойственности и процедур регуляризации;
5) разработать численные процедуры оптимизации, обеспечивающие решение минимаксной и двойственной задач;
6) описать класс критериев оценивания, отвечающих естественным требованиям и допускающих явное построение минимаксных оценок в линейных неопределенно-стохастических моделях наблюдения;
7) определить структуру распределения, реализующего наименее благоприятную ситуацию при использовании указанных выше критериев оценивания;
8) распространить результаты об оптимальности линейных алгоритмов оценивания на более широкий класс неопределенно-стохастических моделей наблюдения;
9) разработать основы теории минимаксного оценивания в бесконечномерных стохастических системах с фиксированными математическими ожиданиями и неопределенными ковариационными операторами;
10) продемонстрировать эффективность разработанных методов оценивания на нескольких прикладных задачах обработки измерительной информации.
В диссертации были использованы следующие методы исследования:
методы выпуклого анализа (понятие рецессивного направления, теоремы о минимаксе, теория субдифференциала); методы теории оптимизации (процедура регуляризации по Тихонову, метод условного градиента, теоремы о сходимости численных методов); методы линейной алгебры (операция псевдообращения, свойства неотрицательно определенных матриц); методы теории вероятностей, элементы математической статистики и регрессионного анализа, основы теории фильтрации; методы функционального анализа (понятие оснащенного гильбертова пространства, свойства неотрицательно определенных, ядерных и гильберто-шмидтовых операторов).
Научная новизна диссертационной работы состоит в том, что в ней впервые были получены следующие теоретически значимые результаты:
1) доказательство эквивалентности различных способов описания обобщенных линейных регрессионных моделей с неопределенными моментными характеристиками второго порядка;
2) обоснование метода двойственной оптимизации для решения задачи минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения;
3) разработка процедур регуляризации для построения минимаксных оценок в конечномерных сингулярных моделях наблюдения;
4) аналитический синтез минимаксных оценок параметров и состояний неопределенно-стохастических систем частного вида;
5) разработка основ теории оценивания относительно обобщенных вероятностных критериев;
6) описание наименее благоприятного распределения, соответствующего обобщенному вероятностному критерию оценивания;
7) доказательство оптимальности линейных оценок относительно среднеквадратичного и обобщенного вероятностного критериев для широкого класса неопределенно-стохастических моделей наблюдения;
8) разработка и анализ численных процедур минимаксной оптимизации в задаче оценивания параметров и состояний многомерных линейных неопределенно-стохастических моделей наблюдения.
О практической ценности работы свидетельствует то, что ее теоретические результаты были успешно применены для решения ряда прикладных задач обработки информации, среди которых:
робастная идентификация кинематической модели движения летательного аппарата (ЛА);
минимаксное оценивание дальности и радиальной скорости ЛА при наличии ограничений;
оптимизация надежности оценивания координат ЛА;
выделение тренда в мультиколлинеарной эконометрической модели.
Достоверность утверждений, представленных в диссертации, обоснована строгими математическими доказательствами и подтверждена результатами численного моделирования.
Диссертационная работа прошла апробацию в ходе обсуждений на научных семинарах под руководством профессоров А. И. Кибзуна (МАИ), Б. М. Миллера (ИППИ РАН), Б. Т. Поляка (ИПУ РАН), В. Н. Афанасьева (МИЭМ), Ю. П. Пытьева (Физфак МГУ), М. И. Гусева (ИММ УрО РАН), а также на семинаре по стохастическим системам в Технологическом институте Стивенса (Хобокен, США).
Результаты работы докладывались диссертантом на следующих научных конференциях: European Control Conf. (Budapest, 2009); Conf. on Stochastic Programming (Vienna, 2007); IEEE Conf. on Physics & Control (Potsdam, 2007);
Всеросс. конф. Математическое программирование и приложения (Екатеринбург, 2007); Устойчивость, управление и моделирование динамических систем (Екатеринбург, 2006); Joint Conf. Prague StochasticsТ2006 ; Joint IEEE Conf. on Decision & Control CDC-ECCТ2005 (Seville); IFIP TC 7 Conf. on System Modelling & Optimization (Turin, 2005); Всеросс. конф. Математические методы распознавания образов (Звенигород, 2005); Междунар. конф.
Идентификация систем и задачи управления (ИПУ РАН, 2003 и 2000);
Системный анализ и управление космическими комплексами (Евпатория, 2002); Междунар. симпозиум IFAC по теории нелинейных систем управления (С.-Петербург, 2001); Междунар. симпозиум по теории адаптивных систем управления (С.-Петербург, 1999); Междунар. конф. по проблемам управления (ИПУ РАН, 1999); Всеросс. конф. Научные чтения школы академика В. С. Пугач (ВВИА им. Н. Е. Жуковского, 1999); Междунар. конф.
ева Бортовые интегрированные комплексы и современные проблемы управления (Ярополец, 1998).
Основные результаты диссертации получены лично автором и опубликованы в 54 печатных работах: в том числе 16 статей в рецензируемых периодических изданиях (из них 14 из перечня ВАК) и 21 статья в сборниках трудов.
Структура диссертации: диссертационная работа содержит введение, шесть глав, приложение и заключение; объем диссертации 326 страниц, включая список литературы (198 наименований), список обозначений и сокращений, а также 17 рисунков и две таблицы.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность исследуемой проблемы, сформулированы цель и задачи диссертационной работы, перечислены полученные в диссертации новые результаты, указана их практическая ценность, описана структура диссертации.
В первой главе определен класс конечномерных линейных неопределенно-стохастических моделей наблюдения c геометрическими ограничениями на моментные характеристики второго порядка:
X = a + b, Y = A + B . (1.1) Здесь X Rn оцениваемый вектор; Y Rn вектор наблюдений; Rp вектор детерминированных параметров; Rq случайный вектор с произвольным распределением, таким что M M, cov{, } R, (1.2) где M, R известные ограниченные подмножества пространства Rq и семейства неотрицательно определенных матриц Rqq соответственно; a Rmp, + b Rmq, A Rnp и B Rnq заданные матрицы.
Описанные выше условия позволяют описать семейство возможных распределений PZ расширенного вектора модели наблюдения Z := col[X, Y ]:
PZ = {PZ : Z = L, M M, cov{, } R}, (1.3) a b где L :=, :=, M := Rp M, R := diag[O, R]: R R.
A B Однако семейство распределений PZ можно ввести непосредственно с помощью ограничений на моментные характеристики вектора Z:
P(MZ, RZ) := {PZ : MZ MZ, cov{Z, Z} RZ}, (1.4) если положить MZ := {Lw : w M} и RZ := {LW L : W R}.
Как следует из приведенной ниже теоремы, оба способа описания априорной информации оказываются эквивалентными.
Т е о р е м а 1.1. Для всякой матрицы L Rsr и произвольных множеств M Rr, R Rrr семейства распределений (1.3), (1.4) совпадают.
+ Тем самым класс распределений линейного преобразования L вектора с произвольным распределением, но фиксированными средним w и ковариацией W, состоит из всевозможных распределений с соответствующими моментными характеристиками Lw и LW L. Сформулированный результат основан на следующем систематически используемом в диссертации факте.
е м м а 1.1. Пусть даны детерминированные матрицы L Rsr, W Rrr и вектор w Rr, а также случайный вектор Z Rs со средним + Lw и ковариационной матрицей LW L. Если случайный вектор Rr выбрать таким образом, чтобы M = w, cov{, } = W и cov{, Z} = O, то вектор := GZ + (I - GL), где G := W L(LW L)+, будет удовлетворять условиям M = w, cov{, } = W, P{L = Z} = 1.
Далее в первой главе рассмотрена задача минимаксного линейного оценивания относительно среднеквадратичного критерия J(F, PZ) := M X - F Y на произвольном классе F линейных операторов оценивания F.
Оператор оценивания F и соответствующая оценка X = F Y называются минимаксными, если F arg min sup J(F, PZ).
F F PZ PZ В дальнейшем удобно использовать следующий функционал:
tr[(b - F B)K(b - F B)], F A = a, J(F, K) := sup J(F, PZ) = (1.5) PZPZ(K) +, F A = a, где PZ(K) класс распределений из PZ с фиксированной матрицей вторых моментов M{} = K. Теперь задача минимаксного оценивания принимает вид F arg min sup J(F, K), (1.6) F F0 KK где F0 := {F F : F A = a} множество допустимых операторов оценивания, таких что J(F, K) < , а K := {uu + R : u M, R R} множество неопределенности, элементами которого являются всевозможные матрицы вторых моментов M{}. При этом без ограничения общности можно считать, что K выпукло и замкнуто, так как иначе sup J(F, K) = sup J(F, K), KK Kco[K] где co[] выпуклая замкнутая оболочка.
Задача (1.6) имеет смысл, если F0 = . В этом случае говорят, что модель наблюдения идентифицируема. При F = L, где L класс всех линейных операторов, условие идентифицируемости равносильно одному из следующих трех эквивалентных условий:
ker[A] ker[a], im[a] im[A], aA+A = a. (1.7) Т е о р е м а 1.4. Если множество F0 не пусто, выпукло и замкнуто, то для существования минимаксного оператора оценивания (1.6) достаточно \ выполнения одного из следующих условий: а) {ker[BKB]: K K} = {0}, б) образ множества F0 при любом линейном отображении замкнут.
Теперь опишем свойства множества минимаксных операторов оценивания F := arg min sup J(F, K).
F F0 KK Т е о р е м а 1.5. Пусть F0 не пусто, выпукло и замкнуто. Тогда 1) F выпукло и замкнуто;
\ 2) F не пусто, выпукло и компактно, если {ker[BKB]: K K} = {0};
3) если найдется матрица K0 K, такая что ker[BK0B] = {0}, то F 2 tr[bK0b] + J F F, min[BK0B] где min минимальное собственное значение, а J := min sup J(F, K) F F0 KK оптимальное гарантированное значение с.к.-критерия;
4) минимаксный оператор F определен однозначно, если K компактно и имеет место условие регулярности, т. е.
ker[BKB] = {0} K K. (1.8) Если F определен неоднозначно, то разумно выбрать оператор с наименьшей фробениусовой нормой:
(o) F arg min F 2, где F 2 := tr[F F ].
F F Этот оператор назван нормальным минимаксным оператором.
Основное внимание в работе уделено методам минимаксного оценивания, основанным на использовании решения двойственной задачи:
K arg max J(K), где J(K) := inf J(F, K). (1.9) F FKK Т е о р е м а 1.6. Пусть множество операторов оценивания F0 выпукло и замкнуто, а множество неопределенности K Rqq выпукло и компактно.
+ Тогда имеют место следующие утверждения:
1) выполнено соотношение двойственности inf sup J(F, K) = sup inf J(F, K);
F F0 KK F FKK 2) существует решение K двойственной задачи (1.9);
3) если к тому же определен минимаксный оператор F, то он вместе с наименее благоприятной матрицей K образует седловую точку J(F, K) J(F, K) J(F, K) (F, K) F0 K.
Решение задачи минимаксного оценивания предлагается искать в виде наилучшего оператора оценивания F arg min J(F, K), (1.10) F F соответствующего матрице K, которая представляет собой решение двой ственной задачи (1.9). В общем случае оператор F определен неединственным образом. Поэтому данный метод, названный в работе методом двойственной оптимизации, требует аккуратного обоснования. В следующей теореме описаны необходимые и достаточные условия, при которых метод двойственной оптимизации приводит к решению задачи минимаксного оценивания.
Т е о р е м а 1.8. Пусть в условиях теоремы 1.6 определен минимаксный оператор. Тогда оператор (1.10) является минимаксным в том и только том случае, если для всякого H, такого что F + H F0, HP = H, где P := Q[I - BKB(QBKBQ)+], Q := I - AA+, существует матрица K arg max J(F, K), удовлетворяющая неравенству KK tr[(F B - b)KBH] 0.
Из сформулированного критерия вытекают просто проверяемые достаточные условия минимаксности оператора (1.10):
1) (F B - b)KBP = O для всех K K;
2) im[QBKBQ] im[QBKBQ] для всех K K;
3) B(K - K)B неотрицательно определена для любой K K;
4) ker[BKB] = {0}.
Последний пункт позволяет выделить класс регулярных моделей наблюдения, в которых минимаксная оценка может быть найдена на основе метода двойственной оптимизации.
Т е о р е м а 1.9. Пусть множество операторов оценивания F0 не пусто, выпукло и замкнуто, а множество неопределенности K представляет собой выпуклый компакт. Если выполнено условие регулярности (1.8), то наилучший оператор оценивания (1.10), соответствующий наименее благоприят ной матрице K из (1.9), будет минимаксным.
Модели наблюдения, не удовлетворяющие условию регулярности (1.8), называют сингулярными. Для распространения метода двойственной оптимизации на сингулярные модели в работе используется процедура регуляризации по Тихонову. Для этого вместо функционала J(F, K) рассматривается его регуляризованный вариант J(F, K) = J(F, K) + tr[F F ], где > 0 параметр регуляризации. В этом случае задача минимаксного оценивания (1.6) принимает вид F arg min sup J(F, K). (1.11) F F0 KK При этом величину J := inf sup J(F, K) назовем оптимальным гарантиF F0 KK рованным значением регуляризованного критерия.
Из описанных выше результатов следует, что регуляризованный минимаксный оператор (1.11) может быть вычислен в виде F arg min J(F, K) (1.12) F Fс использованием решения соответствующей двойственной задачи:
K arg max J(K), где J(K) := inf J(F, K).
F FKK Т е о р е м а 1.10. Пусть в условиях теоремы 1.6 определен минимаксный оператор. Тогда регуляризованный оператор (1.12) при 0 сходится к нор(o) мальному минимаксному оператору F, а оптимальные гарантированные значения погрешности оценивания для исходной и регуляризованной задач (o) связаны соотношением: J J J + F.
Далее в первой главе рассмотрены численные методы минимаксной оптимизации. В качестве основы для разработки соответствующих алгоритмов выбран метод условного градиента. Результатом его применения к двойственной задаче будет последовательность {Ks}, вырабатываемая следующей итерационной процедурой.
А л г о р и т м 1.1.
0) Положить s := 0 и выбрать произвольно K0 K;
1) определить оптимальный оператор, соответствующий матрице Ks, s F arg min J(F, Ks);
F Fs 2) найти наихудшую матрицу Ks arg max J(F, K);
KK 3) вычислить производную по направлению s s := J(F, Ks - Ks) 0; (1.13) 4) если s = 0, то закончить итерационный процесс, положив s F := F, K := Ks, в противном случае перейти к следующему шагу;
5) определить оптимальный сдвиг вдоль выбранного направления s arg max J(Ks + (Ks - Ks));
[0,1] 6) положить Ks+1 := Ks + s(Ks - Ks) и перейти к шагу 1).
Т е о р е м а 1.15. Допустим, что множество F0 выпукло и замкнуто, а множество K Rqq выпукло и компактно, а также удовлетворяет s s условию регулярности (1.8). Пусть {F }, {Ks} последовательности, выраs батываемые алгоритмом 1.1. Тогда {F } сходится к минимаксному опера тору оценивания F, а {Ks} сходится к множеству решений двойственной задачи.
При дополнительном условии на класс операторов оценивания F0 можно указать скорость сходимости.
Т е о р е м а 1.16. Если в условиях предыдущей теоремы F0 образует аффинное подпространство, то 1/ J - J(Ks) s F - F 2 = O(1/ s), min min[BKB] KK J - J(Ks) = O(1/s) s, (1.14) где J оптимальное гарантированное значение с.к.-критерия, а число s определяется по правилу (1.13).
Алгоритм 1.1 в сочетании с методом регуляризации позволяет разработать численные процедуры минимаксного оценивания в сингулярных моделях наблюдения. В следующей теореме описаны условия, которые обеспечивают устойчивость регуляризованных оценок по отношению к неточности решения двойственной задачи.
Т е о р е м а 1.18. Пусть на выпуклом замкнутом множестве операторов оценивания F0 существует минимаксный оператор F ; множество неопределенности K выпукло и компактно; определены последовательности мат риц K K и соответствующих операторов F arg min J (F, K). Если F F J - J (K) = o(), где 0, то lim F = F.
Далее в диссертации рассмотрено несколько типичных случаев множеств неопределенности, в которых задача минимаксного оценивания может быть существенно упрощена.
Во второй главе для модели наблюдения (1.1) найдено аналитическое решение задачи оптимального линейного оценивания при фиксированных моментных характеристиках:
XK := FKY, FK arg min J(F, K), L0 := {F L: F A = a}. (2.1) F LВ обозначениях KX := bKb, KXY := bKB, KY := BKB, K := M{} с.к.-критерий имеет следующий вид:
J(F, K) = tr[KX - 2KXY F + F KY F ]. (2.2) Будем считать, что модель наблюдения (1.1) удовлетворяет условию идентифицируемости (1.7).
Т е о р е м а 2.1. Возьмем какое-либо решение F0 уравнения F A = a (например, F0 = aA+) и обозначим Q := I - AA+, PK := Q[I - KY (QKY Q)+], FK := F0 + (KXY - F0KY )(QKY Q)+. (2.3) Тогда справедливы следующие утверждения:
1) общее решение задачи (2.1) имеет вид FK + H, где H L произвольный оператор, такой что H = HPK, при этом J(K) := min J(F, K) = J(FK, K) = F L = tr (F0B - b)[K - KB(QBKBQ)+BK](F0B - b) ; (2.4) 2) оптимальная линейная оценка XK определена единственным образом с вероятностью 1, а соответствующий оператор (2.1) определен однозначно в том и только том случае, если PK = O;
3) если ker[KY ] = {0}, то задача (2.1) имеет единственное решение, которое может быть записано как + --1 -1 -FK = KXY KY + (a - KXY KY A) AKY A AKY, (2.5) при этом формула (2.4) принимает вид -1 J(K) = tr KX - KXY KY KXY + + -1 -1 -+ (a - KXY KY A) AKY A (a - KXY KY A). (2.6) Из теоремы 2.1 вытекает следующий способ построения оптимальной линейной оценки XK:
1) вычислить оценку Гаусса Маркова вектора = A+[I - BKB(QBKBQ)+]Y ;
2) определить оптимальную линейную оценку вектора по остаточному вектору QY = KB(QBKBQ)+QY ;
3) подставить найденные оценки в выражение XK = a + B ;
Далее в диссертации определена структура зависимости минимаксного оператора оценивания F arg min sup J(F, K) (2.7) F L0 KK от решения двойственной задачи:
K arg max J(K), (2.8) KK где K заданное множество матриц вторых моментов M{}.
Т е о р е м а 2.2. Если множество K выпукло и компактно, то 1) минимаксный оператор оценивания (2.7) существует;
2) определено решение двойственной задачи (2.8);
3) минимаксный оператор F и решение двойственной задачи K образуют седловую точку J() на L0 K.
Т е о р е м а 2.3. Пусть в условиях предыдущей теоремы выполнено ker[KY ] ker[KY ] K K.
Тогда, подставив в выражение (2.3) для наилучшего оператора оценива ния FK вместо K решение двойственной задачи K, получим минимаксный оператор, т. е. F = FK. В частности, если выполнено условие регулярности ker[KY ] = {0} K K, то минимаксный оператор F определяется выражением (2.5) при K = K.
Для сингулярных моделей наблюдения метод регуляризации приводит к следующему способу построения минимаксной оценки.
Т е о р е м а 2.4. Обозначим с.к.-критерий (2.2), двойственный функционал (2.6) и оптимальный линейный оператор (2.5) через J(F ; KX, KXY, KY ), J(KX, KXY, KY ) и F (KXY, KY ) соответственно. Если множество неопределенности K выпукло и компактно, то 1) существует решение регуляризованной двойственной задачи K arg max J(KX, KXY, KY + I);
KK 2) оператор оценивания F := F (KXY, KY + I) является минимаксным в регуляризованной постановке, т. е.
F arg min max J(F ; KX, KXY, KY + I);
F L0 KK 3) последовательность регуляризованных операторов F при 0 схо(o) дится к нормальному решению F исходной задачи минимаксного оценивания (2.7);
4) гарантированное значение среднеквадратичной погрешности регуля ризованной оценки X := F Y ограничено сверху (o) max J(F, K) J(KX, KXY, KY + I) J + F.
KK Далее в диссертации рассмотрены примеры аналитического нахождения минимаксных оценок в трех типовых моделях регрессии с неограниченными, ограниченными и стохастическими параметрами.
Статистически неопределенная модель Гаусса Маркова определяется следующими условиями:
X = a, Y = A + , M = 0, cov{, } R, (2.9) где R известное выпуклое компактное подмножество Rnn. Способы по+ строения минимаксной оценки вектора X в данной модели наблюдения описаны в следующей теореме.
Т е о р е м а 2.5 (Минимаксный вариант теоремы Гаусса Маркова).
1) Пусть ker[R] ker[R] для любых R R и R arg max J(R), J(R) := tr aA+(R - R(QRQ)+R)(aA+).
RR Тогда минимаксной оценкой будет оценка Гаусса Маркова:
X := FRY, FR := aA+[I - R(QRQ)+], Q := I - AA+.
2) Если выполнено условие регулярности, т. е. ker[R] = {0} справедливо для каждой матрицы R R, то двойственный функционал допускает пред ставление J(R) = tr a(AR-1A)+a, а минимаксный оператор принимает вид FR = a(AR-1A)+AR-1.
3) В общем случае минимаксный оператор оценивания F может быть найден следующим образом:
F = lim a(A(R + I)-1A)+A(R + I)-1, где R arg max tr a(A(R + I)-1A)+a.
RR Статистически неопределенная байесовская модель наблюдения определяется посредством ограничений на ковариационную матрицу RZ расширенного вектора Z := col[X, Y ], в котором X обозначает m-мерный вектор, подлежащий оцениванию на основе n-мерного вектора наблюдений Y :
MZ = 0, cov{Z, Z} RZ, (2.10) где RZ известное выпуклое компактное множество неотрицательно определенных матриц размера (m + n) (m + n). Элементы этого множества будем записывать в виде блочных матриц RX RXY RZ =.
RY X RY Отметим, что в данном случае условие идентифицируемости выполнено автоматически, поскольку рассматриваемая модель наблюдения не содержит неограниченных детерминированных параметров.
Методы построения минимаксной оценки X на основе априорной информации (2.10) изложены в следующей теореме, которая является минимаксным аналогом теоремы о нормальной корреляции.
Т е о р е м а 2.7.
1) Если наименее благоприятная ковариация вектора наблюдений RY невырожденная, т. е.
+ ker[RY ] = {0}, RZ arg max tr RX - RXY RY RY X, RZ RZ +Y то наилучшая линейная оценка X := RXY RY, соответствующая указанной матрице, является минимаксной.
2) В общем случае минимаксный оператор можно построить по правилу F = lim RXY (RY + I)-1, RZ arg max tr RX - RXY (RY + I)-1RY X.
RZRZ Далее описан результат применения теоремы 2.7 к стохастическому варианту модели линейной регрессии (2.9), в которой вектор параметров Rp считается случайным c частично заданными моментными характеристиками:
M = 0, cov{, } = O, cov{, } T, (2.11) где T известное выпуклое компактное подмножество Rpp.
+ Т е о р е м а 2.9.
1) Если выполнено условие регулярности: ker[R] = {0} R R, то мини максная оценка имеет вид X = FT,RY, где + FT,R := a(T + PT AR-1APT )+AR-представляет собой наилучший оператор оценивания, соответствующий + ковариационным матрицам T = cov{, } и R = cov{, }, PT := T T ор топроектор на im[T ], а T, R матрицы, образующие решение двойственной задачи + (T, R) arg max J(T, R), J(T, R) := tr a(T + PT AR-1APT )+a.
T T,RR 2) В общем случае минимаксный оператор оценивания F вычисляется следующим образом:
F = lim FT,R+I при (T, R) arg max J(T, R + I).
T T,RR Далее в диссертации рассмотрена статистически неопределенная модель Гаусса Маркова (2.9) при наличии ограничений на вектор детерминированных параметров , а именно, , где выпуклое компактное множество.
Заметим, что если ввести множество матриц T := co{ : e}, (2.12) где co[] выпуклая оболочка, e множество крайних точек , то max M F Y - X 2 = max J(F ; T, R) F L, T T где J(F ; T, R) := tr[(F A - a)T (F A - a) + F RF ]. Поэтому с точки зрения минимаксного линейного оценивания такая модель наблюдения эквивалентна рассмотренной выше стохастической регрессии (2.9), (2.11) с множеством неопределенности (2.12). Следовательно, все утверждения теоремы 2.9 переносятся на случай регрессии с ограниченными параметрами.
В последнем разделе второй главы рассмотрена стохастическая система, описываемая линейными разностными уравнениями Xt = ctt, t = att-1 + btt, Yt = Att + Btt, t = 1,..., N, в которых 0, 1,..., N центрированные некоррелированные векторы с ковариационными матрицами, известными с точностью до принадлежности заданным множествам:
cov{0, 0} R0, cov{1, 1} R,..., cov{N, N } R.
Проблема фильтрации процесса {Xt} формулируется в виде минимаксной задачи оценивания вектора col[X1,..., XN ] по среднеквадратичному крите рию на классе линейных неупреждающих оценок Xt = Ft1Y1 +... + FttYt.
Если система удовлетворяет условию регулярности:
ker[(Atbt + Bt)Rt(Atbt + Bt)] = {0} t 1, Rt R, то минимаксный фильтр совпадает с фильтром Калмана, соответствующим наименее благоприятным ковариациям {Rt}. Для их нахождения в работе предложена итерационная процедура, основанная на алгоритме 1.1.
В третьей главе введен класс функционалов, который охватывает большинство важных с практической точки зрения критериев оценивания: среднеквадратичный, вероятностный, квантильный, ожидаемые потери и т. д.
Пусть оцениваемый вектор X Rm и вектор наблюдений Y Rn удовлетворяют уравнениям регрессии (1.1), в которых Rp представляет собой произвольный детерминированный вектор, а Rq обозначает случайный вектор с произвольным распределением, таким что M = 0, cov{, } R, (3.1) где R известное подмножество Rqq. Далее условие идентифицируемо+ сти (1.7) считается выполненным. Соответствующее семейство распределений расширенного вектора Z := col[X, Y ] обозначим через PZ. Пусть также B класс всевозможных операторов оценивания, т. е. измеримых по Борелю отображений F : Rn Rm.
Функционал D: B PZ R {+} назовем обобщенным вероятностным критерием оценивания, если он:
а) имеет вид D(F, PZ) = d P X-F (Y ) 2, где d() функционал, определенный на множестве P+ всех распределений , заданных на полуоси [0, );
б) является монотонным относительно отношения стохастического порядка, т. е. d(1) d(2), как только 1(s, +) 2(s, +) для всех s 0.
Тем самым качество каждой оценки X := F (Y ) по критерию D() опре деляется распределением евклидовой нормы ее ошибки X - X. Помимо этого условия и свойства монотонности используются также следующие два технических предположения:
в) точная верхняя грань d() := sup d(), P+() вычисленная по множеству P+() распределений P+ с фиксированным средним , непрерывна слева по > 0;
г) величина d() := sup d(), P+ определяющая порог возможных значений критерия оценивания, достигается на вырожденных распределениях , т. е.
d() = sup d().
>Перечисленные условия позволяют указать явное выражение для гарантированного значения обобщенного вероятностного критерия на любой линейной оценке.
Т е о р е м а 3.1. Для всякого критерия оценивания D(), удовлетворяющего условиям а)Цг), справедливо равенство sup D(F, PZ) = d sup J(F, R), PZ PZ RR где F произвольный линейный оператор, а J(F, R) с.к.-критерий (1.5).
Данный результат является ключевым для решения задачи минимаксного оценивания относительно широкого класса обобщенных вероятностных критериев. Теорема 3.1 основана на лемме 1.1 и следующем факте.
е м м а 3.1. Класс распределений квадрата нормы вектора Rm, такого что M = 0, cov{, } = U, совпадает с множеством P+(tr U).
Теорема 3.1 позволяет утверждать, что задача минимаксного линейного оценивания относительно обобщенного вероятностного критерия F arg min sup D(F, PZ) (3.2) F L PZ PZ эквивалентна соответствующей с.к.-минимаксной задаче F arg min sup J(F, R). (3.3) F L RR В частности, если ковариационная матрица R = cov{, } вектора случайных параметров известна точно, т. е. R = {R}, то искомый оператор оценивания (3.2) совпадает с оптимальным линейным оператором (2.3), где K = R.
Для распространения полученного результата на более широкий класс операторов оценивания в диссертации введено дополнительное условие на критерий оценивания:
д) точная верхняя грань функционала d() по множеству P+() достигаt ется на распределениях := (1 - t-1)0 + t-1 t, сосредоточенных в двух точках {0, t}, т. е.
t d() := sup d() = sup d() > 0.
t>P+() Для построения наименее благоприятного распределения PZ arg max inf D(F, PZ) (3.4) PZ PZ F Lвведем класс распределений (t, R), где t > 1 и R Rqq заданные па+ раметры. Будем считать, что (t, R) состоит из распределений векторов Z следующего вида:
[I - R(b - FRB)+(b - FRB)], = 0, a R Z = + A R(b - FRB)+, = 0, R где Rp произвольный детерминированный вектор; FR оптимальный линейный оператор оценивания (2.3); R ковариационная матрица ошибки соответствующей оценки, т. е. R := (b - FRB)R(b - FRB) Rmm;
+ Rq случайный вектор с моментными характеристиками M = 0, cov{, } = (t/(t - 1))R; Rm вектор, независящий от , такой что M = 0, cov{, } = R, P{ = 0} = 1 - 1/t, P 2 = t trR = 1/t.
При этом вектор также может быть построен явно:
:= 1 e(1) +... + m e(m), где {e(1),..., e(m)} ортонормированный базис из собственных векторов матрицы R, а , 1,..., m независимые случайные величины, причем Re(i), e(i) P i = =.
tr R Перечислим основные свойства описанного класса распределений. Вопервых, распределения из (t, R) являются допустимыми, иначе говоря, (t, R) PZ. Во-вторых, P{X - FRY = } = 1 при col[X, Y ] (t, R). В-третьих, имеет наихудшее распределение ошибки при определенном выборе параметра t. Наконец, при col[X, Y ] (t, R) с вероятностью 1 имеет место сле дующая альтернатива: либо оптимальная линейная оценка XR := FRY явля ется безошибочной, либо ее ошибка максимальна, причем X - XR const.
Иллюстрация данного свойства представлена на рис. 3.1.
Перечисленные свойства позволяют утверждать, что при PZ (t, R) линейная оценка XR является оптимальной относительно обобщенного вероятностного критерия на более широком классе операторов оценивания:
B0 := {F B : F (MY ) = MX PZ PZ}.
Операторы F B0 были названы операторами несмещенного оценивания, поскольку с одной стороны при отсутствии случайных ошибок и параметров Бахшиян Б. Ц., Назиров Р. Р., Эльясберг П. Е. Определение и коррекция движения.
М.: Наука, 1980.
10 8 6 4 2 t t 0 10 20 30 10 20 Рис. 3.1. Слева: оценка, построенная по наблюдениям (2), совпадает с полезным сигналом (1). Справа: траектория полезного сигнала (1) изображена вместе со всевозможными реализациями его оценки в том случае, когда ошибка оценивания максимальна.
соответствующие оценки X := F (Y ) оказываются безошибочными, а с другой стороны B0 L совпадает с классом линейных несмещенных операторов L0 := {F L: F A = a}.
Основной результат третьей главы состоит в том, что при определен ном выборе параметров {t, R} оптимальная линейная оценка XR := FRY и распределение из (t, R) будут образовать седловую точку обобщенного вероятностного критерия на произведении B0 PZ.
Т е о р е м а 3.4. Пусть критерий оценивания D() подчиняется условиям а)Цд); множество ковариационных матриц R является выпуклым компак том; F обозначает минимаксный линейный оператор (3.3); R наименее благоприятная ковариационная матрица, т. е.
R arg max J(R), (3.5) RR где J() имеет вид (2.4); J := J(F, R). Тогда 1) F является минимаксным относительно критерия D() на классе B0;
2) справедливо соотношение двойственности min sup D(F, PZ) = sup inf D(F, PZ), F B0 PZ PZ PZ PZ F Bпричем в правой части супремум достигается на последовательности рас tk t пределений Pk (tk, R), если tk > 1 и lim d J = sup d J ;
Z k t> t 3) если t arg max{d J : t > 1} и PZ (t, R), то пара F, PZ образует седловую точку критерия D() на B0 PZ и, в частности, любое распреде ление из (t, R) будет наименее благоприятным (3.4).
Свойства наименее благоприятного распределения проиллюстрированы на примерах типовых моделей наблюдения.
Далее в работе рассмотрены вероятностный и квантильный критерии:
Ph(F, PZ) := P{ X - F (Y ) h}, (3.6) Q(F, PZ) := max{h 0: P{ X - F (Y ) h} }, (3.7) для которых установлены свойства а)Цд). Отметим, что параметр h > определяет предельно допустимый уровень ошибки оценивания, а число (0, 1) играет роль уровня значимости. Следовательно, при использовании вероятностного критерия на первое место выходит оптимизация надежности оценки, а не ее точностных характеристик, и наоборот, при использовании квантильного критерия минимизации подлежит величина ошибки оценивания при условии, что надежность оценки зафиксирована на уровне 1 - .
Для критериев (3.6), (3.7) найдены верхние границы на классе распределений PZ(R) с фиксированной ковариационной матрицей R = cov{, }:
sup Ph(F, PZ) = min(/h2, 1), sup Q(F, PZ) = /, PZ PZ (R) PZPZ(R) где = J(F, R) значение с.к.-критерия на линейном операторе F. При этом t является наихудшим распределением квадрата нормы ошибки X - F Y с точки зрения обоих критериев (3.6), (3.7) (для вероятностного критерия необходимо положить t := h2/, а для квантильного критерия t := 1/).
Далее в работе изучен критерий в виде математического ожидания:
M(F, PZ) := M( X - F (Y ) ). (3.8) Если функция потерь (s) монотонно не убывает, непрерывна и вогнута по переменной t = s2, то критерий (3.8) удовлетворяет условиям а)Цд), причем его верхняя граница на множестве PZ(R) имеет явный вид sup M(F, PZ) = ( J(F, R)) F L.
PZ PZ (R) Для всех трех критериев (3.6), (3.7) и (3.8) справедливы все утверждения теоремы 3.4.
Для байесовской модели наблюдения (2.10) и критерия M() доказана минимаксность линейного оператора (3.3) на классе всех измеримых оценивателей F B при выпуклой функции потерь. В случае степенной функции (t) = t, > 0, получено исчерпывающее решение задачи минимаксного оценивания.
Четвертая глава посвящена проблеме оптимальности линейных оценок относительно среднеквадратичного критерия. Для неопределенно-стохастической модели наблюдения общего вида (1.1), (1.2) определена структура минимаксной аффинной оценки. Доказано, что эта оценка будет линейной, если множество M математических ожиданий вектора центрально симметрично относительно нуля.
Для гауссовской модели наблюдения X a RX RXY N,, Rp, (4.1) Y A RY X RY доказано утверждение, объединяющее классические факты математической статистики: теорему о равномерной оптимальности оценки Гаусса Маркова и теорему о линейности с.к.-оптимальной оценки.
Т е о р е м а 4.3. Пусть FR оптимальный линейный оператор оценива ния (2.3). Тогда соответствующая оценка XR := FRY является равномерно оптимальной в модели наблюдения (4.1), т. е. M XR - X 2 M X - X при любом значении параметра Rp и для любой измеримой оценки X, удовлетворяющей классическому условию несмещенности: MX = MX .
Доказательство основано на следующем факте.
е м м а 4.4. В условиях (4.1) ошибка оптимальной линейной оценки XR - X и вектор наблюдений Y условно независимы относительно вектора оценки Гаусса Маркова R := A+[I - RY (QRY Q)+]Y, Q := I - AA+.
Обобщение теоремы Ходжеса Лемана о минимаксности оценки МНК описано в следующем утверждении.
Т е о р е м а 4.4. В гауссовской модели наблюдения (4.1) оптимальная ли нейная оценка XR := FRY является минимаксной на классе всех измеримых оценок X := F (Y ), F B, т. е. sup M XR - X 2 sup M X - X 2.
Rp Rp Идея доказательства состоит в том, чтобы проверить равенство sup M XR - X 2 = sup M() M(){X | Y } - X 2, Rp где M() математическое ожидание, вычисляемое в предположении, что случайный вектор, распределенный по гауссовскому закону с нулевым средним и произвольной ковариационной матрицей.
Результат теоремы 4.4 распространен на случай неизвестного закона распределения случайных параметров.
Т е о р е м а 4.5. Пусть в модели наблюдения (1.1), (3.1) множество ковариационных матриц R представляет собой выпуклый компакт. Тогда линейный оператор F из (3.3) является минимаксным на классе всех измеримых операторов оценивания B:
F arg min sup M F (Y ) - X 2.
F B PZPZ При этом гауссовское распределение N (0, R), где R решение двойственной задачи (3.5), оказывается наименее благоприятным распределением вектора случайных параметров .
На примере задачи оценивания скалярного ограниченного параметра показано, что в отличие от гауссовского случая при неизвестном распределении ошибки наблюдения гарантированное значение с.к.-критерия нельзя уменьшить за счет привлечения нелинейных оценок.
Пятая глава посвящена проблеме минимаксного оценивания в бесконечномерной стохастической системе, априорная неопределенность которой задана в терминах ковариационных операторов.
Для описания соответствующей модели наблюдения определим: P класс мер P на измеримом пространстве элементарных событий (, A); X измеримое отображение в сепарабельное гильбертово пространство X, наделенное борелевской -алгеброй; TY линейное отображение сопряженного пространства Y в пространство случайных величин, заданных на (, A), где Y банахово пространство. Далее X будем интерпретировать как оцениваемый случайный элемент, а Y как наблюдаемый случайный элемент. Если Y задано как измеримое отображение Y : Y, то оператор TY определяется по правилу (TY g)() = g(Y ()), g Y. Будем считать, что M X 2 < и M(TY g)2 < для любого g Y. Тогда TX, TY можно рассматривать как ограниченные операторы: TX L(X, L2()), TY L(Y, L2()), где L2() лебегово пространство скалярных случайных величин относительно фикси рованной меры P P. Допустим также, что im[TY ] Y.
Относительно случайных элементов X, Y известна следующая априорная информация: математические ожидания MX, MY являются нулевыми, где MY := TY 1 Y; ковариационный оператор R расширенного элемента (X, Y ) со значениями в Z := X Y пробегает заданное множество R, т. е.
RX RXY R = R, RY X RY где RX := TXTX L(X, X ), RXY := TXTY L(Y, X ), RY X := TY TX L(X, Y), RY := TY TY L(Y, Y).
Поскольку RY неотрицательно определенный оператор, с ним можно связать два гильбертовых пространства: [RY ] пополнение фактор H пространства Y/ker[R ] по норме g - = g(RY g); H+[RY ] пополнение Y im[RY ] по норме RY g + = g(RY g). Тогда оператор RY допускает изо метричное продолжение RY : H-[RY ] H+[RY ]. Кроме того, RX ядерный оператор, поэтому для RXY определено продолжение RXY L2(H-[RY ], X ), т. е. RXY оператор Гильберта Шмидта. При этом RY X L2(X, H+[RY ]), так как im[RY X] H+[RY ].
Введем класс допустимых процедур оценивания FP. Для цилиндрического отображения Fn : Y X, имеющего вид Fn(y) = n(g1(y),..., gm (y)), n n где n : Rm X борелевское отображение, а g1,..., gm элементы Y, n положим по определению FnY := n(TY (g1),..., TY (gm )). Будем называть n случайный элемент X допустимой оценкой, если найдется последовательность указанных выше цилиндрических отображений {Fn}, таких что lim M X - FnY 2 = 0, M FnY 2 < P P.
n Таким образом, F := {Fn} допустимая процедура оценивания, т.е. F FP.
Если Fn линейные отображения, то X допустимая линейная оценка.
Класс всех допустимых линейных процедур оценивания обозначим через LP.
Т е о р е м а 5.2. Пусть выполнено условие доминирования R R, c (0, ): g(RY g) c g(RY g) R R, g Y. (5.1) Если не различать эквивалентные оценки, то класс допустимых линейных процедур оценивания LP изометрически изоморфен пространству операторов Гильберта Шмидта L2(H+[RY ], X ).
Оператор F L2(H+[RY ], X ), соответствующий оценке X := FY, F LP, назван воспроизводящим. По оператору F оценка X восстанавливается однозначно с вероятностью 1. В диссертации рассмотрено несколько способов построения оценок по воспроизводящему оператору.
Для случая, когда мера P фиксирована, т. е. P = {P}, решение задачи оптимального линейного оценивания F arg min M X - FY 2 (5.2) FLP описано в следующей теореме с помощью воспроизводящих операторов.
Т е о р е м а 5.5. Оптимальная линейная процедура оценивания (5.2) воспроизводится оператором FR := RXY (RY )-1 L2(H+[RY ], X ). (5.3) Ковариационный оператор ошибки X - FY имеет вид (R) := RX - RXY (RY )-1RY X, причем M X - FY 2 = tr (R).
Оптимальную линейную оценку X := FY можно построить как с.к.-предел следующей последовательности:
n X (n) fkl TY (gk)RXY gl при n , k,l=(n) если система {gk} Y полна в H-[RY ], а числа {fkl } образуют матрицу, псевдообратную к матрице { RY gk, gl }n.
k,l=Основной результат пятой главы состоит в том, что при некоторых условиях минимаксная оценка X := FY, F arg min sup M X - FY 2, PP FFP определяется оптимальной линейной процедурой оценивания (5.2), соответствующей решению двойственной задачи R arg max tr (R). (5.4) RR Т е о р е м а 5.9. Пусть множество ковариационных операторов R выпук ло, существует решение R двойственной задачи (5.4) и выполнено условие доминирования (5.1) для R = R. Тогда линейная оценка, определяемая вос производящим оператором (5.3) при R = R, является минимаксной на клас се всех допустимых оценок. При этом мера P P, относительно которой совместное распределение элементов X, Y является гауссовским с ковариа цией R, будет наименее благоприятной:
P arg max inf M X - FY 2.
FFP PP Далее в диссертации рассмотрена итерационная схема для определения минимаксного оператора и решения двойственной задачи.
Шестая глава посвящена решению прикладных задач обработки измерительной информации.
В разделе 6.1 решена задача параметрического оценивания траектории движения летательного аппарата (ЛА) по результатам наблюдений комплексом наземных измерительных средств при наличии неопределенности в моментных характеристиках случайных ошибок измерений. При решении данной задачи проведен сравнительный анализ минимаксных и оптимальных методов оценивания. На основе результатов численного моделирования был сделан вывод о том, что применение оптимальных методов, рассчитанных на номинальные значения неизвестных характеристик, приводит к получению недостоверных результатов.
2726252423222120190 1 2 3 4 Рис. 6.1. Наблюдения, графики дальности и ее оценки в зависимости от времени.
В разделе 6.2 на ряде численных примеров продемонстрирована возможность использования методов минимаксного оценивания для эффективного учета имеющихся ограничений на значения неизвестных параметров движения. Существенное преимущество минимаксной оценки отчетливо демонстрируют графики соответствующих функций регрессии (см. рис. 6.1 и 6.2, 141312111098760 1 2 3 4 Рис. 6.2. Наблюдения, графики дальности и ее оценки в зависимости от времени.
на которых точками изображены измерения, сплошной линией истинная дальность, штриховой линией минимаксная оценка, штрих-пунктирной линией МНК-оценка).
В разделе 6.3 изложена методика минимаксного оценивания координат ЛА на основе вероятностного и квантильного критериев. На примере модели наблюдения, соответствующей наихудшему распределению ошибок наблюдений, было показано, что стандартное предположение о гауссовости снижает достоверность результатов о надежности и точности оценок параметров движения ЛА. На рис. 6.3 представлена иллюстрация данного результата для случая оценки координат терминального положения ЛА.
4 5 t t 0 10 20 30 0 10 20 Рис. 6.3. Истинная траектория (1) и ее оценка (2) построены по измерениям (3) с наименее благоприятным распределением при заданных границах погрешности (4) в сравнении с гауссовскими границами (5) (слева событие вероятности = 0,04, при котором ошибка оценки максимальна, справа противоположное событие: ошибка оценки равна нулю).
В разделе 6.4 рассмотрена задача выделения тренда в многофакторной эконометрической модели. Как показано на рис. 6.4, результат вычисления МНК-оценки оказался неприемлем ввиду сильной мультиколлинеарности соответствующей модели наблюдения, ридж-оценка также достаточно далека от оцениваемого тренда, и только минимаксная оценка, эффективно использующая имеющуюся априорную информацию, имеет удовлетворительную точность. Для нахождения минимаксной оценки был использован алгоритм 1.1, о сходимости которого свидетельствует рис. 6.5.
Рис. 6.4. Результаты статистического моделирования: I оцениваемый тренд; II минимаксная оценка; III ридж-оценка; IV результат вычисления МНК-оценки;
V измерения.
Рис. 6.5. Верхняя оценка (1.14) для погрешности решения двойственной задачи в зависимости от номера итерации s.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ В диссертационной работе разработаны методы и алгоритмы оптимального оценивания параметров и состояний многомерных линейных стохастических систем в условиях априорной неопределенности, описываемой с помощью геометрических ограничений на моментные характеристики второго порядка. Ниже перечислены основные результаты диссертации, выносимые на защиту:
1) разработан метод минимаксного оценивания в многомерных линейных неопределенно-стохастических моделях наблюдения [2, 4];
2) получены аналитические выражения для минимаксных линейных операторов оценивания в моделях частного вида [1, 12];
3) доказана оптимальность линейных оценок при использовании среднеквадратичного и обобщенного вероятностного критериев [7, 11];
4) найдено наименее благоприятное распределение при оценивании по обобщенному вероятностному критерию [9, 11];
5) разработан метод двойственной оптимизации в задаче минимаксного оценивания состояний бесконечномерных стохастических систем с неопределенной ковариационной структурой [6, 10];
6) разработано алгоритмическое обеспечение решения задач минимаксной оптимизации [3, 13, 14];
7) решено несколько прикладных задач обработки измерительной информации (робастная идентификация кинематической модели движения ЛА;
оценивание дальности и радиальной скорости ЛА при наличии ограничений; оптимизация надежности оценивания координат ЛА; выделение тренда в мультиколлинеарной эконометрической модели) [8, 13].
Публикации по теме диссертации в изданиях, рекомендованных ВАК 1. Панков А. Р., Семенихин К. В. Минимаксная идентификация неопределенно-стохастической линейной модели // Автоматика и телемеханика. 1998.
№ 11. С. 158Ц171.
2. Панков А. Р., Семенихин К. В. Методы параметрической идентификации многомерных линейных моделей в условиях априорной неопределенности // Автоматика и телемеханика. 2000. № 5. С. 76Ц92.
3. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная квадратическая оптимизация и ее приложения к планированию инвестиций // Автоматика и телемеханика. 2001. № 12. С. 55Ц73.
4. Панков А. Р., Семенихин К. В. О минимаксном оценивании в сингулярных неопределенно-стохастических моделях // Автоматика и телемеханика. 2002.
№ 9. С. 40Ц57.
5. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная оптимизация инвестиционного портфеля по квантильному критерию // Автоматика и телемеханика. 2003. № 7. С. 117Ц133.
6. Семенихин К. В. Минимаксное оценивание случайных элементов по среднеквадратическому критерию // Известия РАН. Теория и системы управления.
2003. № 5. С. 12Ц25.
7. Семенихин К. В. Оптимальность линейных алгоритмов оценивания в задаче минимаксной идентификации // Автоматика и телемеханика. 2004. № 3.
С. 148Ц158.
8. Панков А. Р., Платонов Е. Н., Семенихин К. В. Гарантирующее вероятностное оценивание в линейных статистически неопределенных моделях // Вестник компьютерных и информационных технологий. 2006. № 9. С. 8Ц13.
9. Панков А. Р., Семенихин К. В. О минимаксном оценивании по вероятностному критерию // Автоматика и телемеханика. 2007. № 3. С. 66Ц82.
10. Лебедев М. В., Семенихин К. В. Минимаксная фильтрация в стохастической дифференциальной системе с нестационарными возмущениями неизвестной интенсивности // Известия РАН. Теория и системы управления. 2007. № 2.
С. 45Ц56.
11. Семенихин К. В. Минимаксность линейных оценок неопределенно-стохастического вектора по обобщенным вероятностным критериям // Автоматика и телемеханика. 2007. № 11. С. 88Ц104.
12. Лебедев М. В., Семенихин К. В. Минимаксная оценка случайного вектора при наличии произвольно коррелированных помех // Вестник МАИ. 2008.
Т. 15, № 2. С. 90Ц104.
13. Игнащенко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к повышению надежности обработки измерительной информации // Автоматика и телемеханика. 2010. № 2. С. 76Ц91.
14. Игнащенко Е. Ю., Панков А. Р., Семенихин К. В. Минимаксно-статистический подход к оптимизации линейных моделей в условиях априорной неопределенности // Известия РАН. Теория и системы управления. 2010. № 5. С. 32Ц40.
В работах, опубликованных в соавторстве, диссертантом были получены следующие результаты: обоснование метода двойственной оптимизации в задачах минимаксного оценивания и оптимизации [1Ц3, 5]; разработка метода регуляризации сингулярных неопределенно-стохастических моделей линейной регрессии [4];
проведение численных расчетов [8]; построение наименее благоприятного распределения [9]; разработка методов минимаксного оценивания случайных элементов [10];
аналитический синтез оптимальных решений [1, 5, 12]; робастная идентификация кинематической модели движения ЛА [8, 13]; разработка и анализ сходимости численных процедур минимаксной оптимизации [3, 13, 14].
Другие публикации по теме диссертации 15. Pankov A. R., Siemenikhin K. V. Minimax estimation in generalized linear uncertain-stochastic model // Proc. 37th IEEE Conf. Decision and Control (CDCТ98).
Tampa, Florida, USA: 1998. December, 16Ц18. Pp. 2902Ц2903.
16. Панков А. Р., Платонов Е. Н., Семенихин К. В. Задача гарантирующего инвестирования для неопределенно-стохастической модели эффективностей // Труды 2-й Междунар. конф. Средства математического моделирования. С.-Петербургский государственный технический университет: 1999. 14Ц19 июня.
17. Панков А. Р., Семенихин К. В. Минимаксная параметрическая идентификация обобщенных линейных моделей // Труды 6-го Междунар. симп. по теории адаптивных систем управления, посвященного памяти Я. З. Цыпкина (СПАСТ99).
Т. 2. С.-Петербург: 1999. 7Ц9 сентября. С. 131Ц134.
18. Pankov A. R., Platonov E. N., Siemenikhin K. V. Nonparametric identification of multivariate linear uncertain-stochastic model by minimax criterion // Preprints of the IFAC Symp. System Identification (SYSIDТ2000). Santa Barbara, California, USA:
2000. June, 21Ц23.
19. Pankov A. R., Platonov E. N., Siemenikhin K. V. Estimation of random elements under uncertainty via dual optimization // Proc. Intern. Conf. УSystem Identification and Control ProblemsФ (SICPROТ2000). Moscow: Institute of Control Sciences, 2000. September, 26Ц28. Pp. 1236Ц1243.
20. Панков А. Р., Платонов Е. Н., Семенихин К. В. Минимаксная оптимизация инвестиционной модели Марковица Тобина // Труды Междунар. конф. Идентификация систем и задачи управления (SICPROТ2000). М.: Институт проблем управления РАН, 2000. 26Ц28 сентября. С. 2012Ц2021.
21. Pankov A. R., Platonov E. N., Siemenikhin K. V. On minimax identification:
Method of dual optimization // Proc. 39th IEEE Conf. Decision and Control (CDCТ2000). Sydney, Australia: 2000. December, 12Ц15. Pp. 4759Ц4764.
22. Pankov A. R., Platonov E. N., Siemenikhin K. V. Recursive nonlinear filtering by minimax criterion // Proc. IFAC Nonlinear Control Systems Symp. (NOLCOSТ2001).
St.-Petersburg, Russia: 2001. July, 4Ц6. Pp. 697Ц702.
23. Pankov A. R., Siemenikhin K. V. Regularized estimation procedures for statistically indeterminate singular linear models // Proc. 41st IEEE Conf. Decision and Control (CDCТ2002). Las Vegas, Nevada, USA: 2002. December, 10Ц13. Pp. 2625 - 2626.
24. Pankov A. R., Siemenikhin K. V. Minimax estimation of random elements with application to infinite-dimensional statistical linearization // Proc. 2nd Intern. Conf.
УSystem Identification and Control ProblemsФ (SICPROТ2003). Institute of Control Sciences, Moscow: 2003. January, 29Ц31. Pp. 1277Ц1290.
25. Pankov A. R., Platonov E. N., Popov A. S., Siemenikhin K. V. Linear stochastic programming with minimax quantile and probability criterions // Proc. 43rd IEEE Conf. Decision and Control (CDCТ2004). Bahamas, Nassau: 2004. December, 14 - 17. Pp. 3179Ц3182.
26. Siemenikhin K. V., Lebedev M. V. Minimax estimation of random elements:
Theory and applications // Proc. 43rd IEEE Conf. Decision and Control (CDCТ2004).
Bahamas, Nassau: 2004. December, 14Ц17. Pp. 3581Ц3586.
27. Pankov A. R., Siemenikhin K. V. Minimax parameter estimation for singular linear multivariate models with mixed uncertainty // Proc. 16th IFAC World Congress (IFACТ2005). Prague, Czech Republic: 2005. July, 4Ц8.
28. Siemenikhin K. V., Lebedev M. V., Platonov E. N. Kalman filtering by minimax criterion with uncertain noise intensity functions // Proc. Joint 44th IEEE Conf.
Decision and Control and European Control Conf. (CDC-ECCТ2005). Seville, Spain:
2005. December, 12Ц16. Pp. 1929Ц1934.
29. Pankov A. R., Platonov E. N., Popov A. S., Siemenikhin K. V. Minimax identification of linear systems by probability criterion // Proc. Joint 44th IEEE Conf.
Decision and Control and European Control Conf. (CDC-ECCТ2005). Seville, Spain:
2005. December, 12Ц16. Pp. 8054Ц8057.
30. Лебедев М. В., Семенихин К. В. Минимаксное оценивание в линейных неопределенно-стохастических динамических системах с непрерывным временем // В кн. Проектирование, конструирование и производство авиационной техники.
М.: МАИ, 2005. С. 103Ц108.
31. Siemenikhin K. V. On linearity of minimax estimates in general linear regression models // Proc. Joint Conf. Prague StochasticsТ2006. Prague, Czech Republic:
MATFYZPRESS, 2006. August, 21Ц25. Pp. 611Ц621.
32. Pankov A. R., Siemenikhin K. V. Minimax estimation for singular linear multivariate models with mixed uncertainty // J. Multivariate Analysis. 2007.
Vol. 98, no. 1. Pp. 145Ц176.
33. Miller G. B., Pankov A. R., Siemenikhin K. V. Minimax filter for statistically uncertain stochastic discrete-continuous linear system // Proc. 9th European Control Conf. (ECCТ2007). Isl. Kos, Greece: 2007. July, 2Ц5. Pp. 3929Ц3933.
34. Miller B. M., Miller G. B., Siemenikhin K. V. Control of Markov chains with constraints // Proc. VIII Intern. Conf. УSystem Identification and Control ProblemsФ (SICPROТ09). Moscow: 2009. January, 26Ц30. Pp. 737Ц760.
35. Siemenikhin K., Pankov A., Ignastchenko Ye. Sample-based minimax linearquadratic optimization // Proc. European Control Conf. (ECCТ2009). Budapest, Hungary: 2009. August, 23Ц26. Pp. 3221Ц3226.
36. Miller B., Miller G., Siemenikhin K. Optimal control of Markov chains with constraints // Proc. 48th IEEE Conf. Decision and Control (CDCТ2009). China, Shanghai: 2009. December, 16Ц18. Pp. 512Ц518.
37. Miller B., Miller G., Siemenikhin K. Towards the optimal control of Markov chains with constraints // Automatica. 2010. Vol. 46, no. 9. Pp. 1495Ц1502.
Авторефераты по всем темам >>
Авторефераты по техническим специальностям