Книги по разным темам Pages:     | 1 |   ...   | 13 | 14 | 15 | 16 | 17 |   ...   | 32 |

В математической статистике исходными являются имеющие случайный характер результаты наблюдения или экспериментальные данные из опытов. Задачей математической статистики является, вопервых, определения по результатам наблюдения путем надлежащей (оптимальной) обработки сигналов оценок параметров или характеристик (называемых статистическими) явлений или событий, связанных с наблюдениями, во-вторых, исследование точности их приближения к оцениваемым статистическим характеристикам*).

юбая функция экспериментальных данных из опыта, которая не зависит от неизвестных статистических характеристик, называется статистикой. Оценкой статистической характеристики называется статистика, реализация которой принимается за неизвестное истинное значение параметра.

Задачи статистических решений возникают при наблюдении реализаций { ytt } на текущем интервале времени (t0,t) случайного *) В дальнейшем все подлежащие оценке величины - функции распределения, плотности вероятностей, их числовые параметры, называются статистическими характеристиками.

процесса y(t), протекающих в непрерывном или дискретном времени.

Пусть некоторый неизвестный наблюдателю параметр, принадлежащий заданному интервалу или всей действительной числовой оси, принимает одно или несколько значений.

Предполагается, что распределение вероятностей наблюдаемого процесса зависит от этого параметра. Применительно к задачам проверки гипотез параметр принимает два или несколько значений, которым соответствует отсутствие или наличие одного или несколько полезных сигналов. Задача статистической проверки гипотез в этом случае формулируется следующим образом. Пусть наблюдаемая реализация ytt является либо шумом, либо некоторой смесью шума и полезного сигнала, порождающего два или несколько различных событий (гипотез). Необходимо за фиксированное время на основании наблюдения оптимальным способом (с наименьшими потерями) определить, какая из возможных ситуаций имеет место.

Для типичной задачи оценивания параметров наблюдаемый процесс также задается в виде смеси полезного сигнала и шума. Требуется определить какое значение принял сигнал (или его параметр).

Оптимальному правилу, как и в случае проверки гипотез, отвечает процедура с наименьшими потерями. Если оцениваемый параметр принимает дискретные значения (случайные величины с априорным распределением), то задачу оценивания параметров можно свести к многоальтернативной задаче проверки гипотез. Когда параметр является случайным процессом, она становится задачей фильтрации.

Нетрудно заметить, что задача оценки параметров является частным случаем задачи фильтрации, если за время наблюдения оцениваемый случайный процесс остается неизменным, либо существенно не изменяется. Процедура получения оценок этих параметров сводится к отысканию решающего правила (ytt ),как функции от реализации наблюдаемого сигнала. В результате того или иного принятого решения возможны ошибки. Потери, которые в связи с этим несет наблюдатель, можно охарактеризовать функцией потерь (штрафов) [x, ( ytt )], учитывающей величину потерь, возникающих вследствие принятия решения при условии, что истинное значение параметра x. Вид этой функции выбирается из практических соображений с учетом получения несложных решений. Функции потерь используется для сравнения решающих правил и выбора из них более предпочтительно.

4.1.2. БАЙЕСОВСКИЕ ПРАВИЛА РЕШЕНИЯ Наилучшее решающее правило можно определить при так называемом байесовском подходе. Поскольку решение (ytt ) зависит от реализации случайного процесса, т.е. является случайной величиной, функция потерь является случайной. Поэтому выбор решающего правила целесообразно проводить путем операции усреднения. Так, беря математическое ожидание от этой функции, получаем условный риск r(x, ) = M{[x, (ytt )]| x} = (x, ) p(ytt | x)dytt, (4.1) 0 0 Y где p( ytt | x) - функция правдоподобия (условная плотность вероятностей наблюдаемого сигнала при фиксированном значении x).

Согласно байесовскому подходу наиболее предпочтительным решающим правилом получения оценок следует считать таким, которым минимизируется условный риск (4.1) для всех значений x.

Для решения этой задачи возьмем повторное математическое ожидание от условного риска относительно априорной плотности вероятностей p(x). В результате получим выражение среднего риска R( ) = (4.2) r(x, ) p(x)dx = (x, ) p(x, ytt )dytt dx.

0 X X Y Для решающего правила минимизирующего средний риск относительно всех других решающих правил, выполняется неравенство R( ) R( ).

Решение x = называется оптимальным байесовским решением относительно априорного распределения p(x) и выбранной функции потерь. Минимальное значение среднего риска является мерой качества работы байесовских систем обнаружения, оценивания параметров и фильтрации случайных сообщений. На основании формулы для условных плотностей вероятностей (1.4), которая для рассматриваемого случая имеет вид p(x, ytt ) p( ytt | x) p(x) 0 p(x | ytt ) = =, (4.3) p(ytt ) p( ytt | x) p(x)dx перепишем средний риск R( ) = R( | ytt ) p( ytt )dytt, 0 0 Y где R( | ytt ) = M{(x, ) | ytt } = (x, ) p(x | ytt )dx (4.4) 0 0 X - апостериорный риск; p(x| ytt ) - апостериорная плотность вероятностей*).

Так как p( ytt )0, то отсюда следует, что минимумы среднего и апостериорных рисков достигаются при одном и том же значении.

Таким образом, синтез байесовских систем можно проводить, используя средний или апостериорный риски. Полученные результаты обобщаются и на случай дискретных наборов наблюдаемых сигналов y=||y1,...,yn||T и оцениваемых параметров x=||x1...xn||T. Средний и апостериорный риски при достаточно длинной серии экспериментов приближенно равняются в пространстве выборок математическим ожиданиям функции потерь n n R( ) = p P( yk | x ), j jk j j =1k =n R( | y) = P(x | y).

jk j j =*) Апостериорную плотность вероятностей, как и другие апостериорные статистические характеристики, получают после опыта по экспериментальным данным на основании реализаций случайного процесса.

Для этой задачи совокупность наблюдений (y1,...,yn) параметров (x1,...,xn) принадлежит одному и тому же пространству выборок; n число непересекающихся подобластей пространства выборок; pj - априорная вероятность состояния xj; P(yk|xj) - условная вероятность попадания выборки в область yk, если действительно имеет место состояние xj; P(xj|y) - апостериорная вероятность состояния xj.

Каждому ошибочному решению kj приписывается штраф jk.

Оптимальному выбору решения соответствуют следующие неравенства R( ) R( ), R( | y) R( | y).

Таким образом, при синтезе байесовских систем необходимо задать функцию потерь и определить по известным реализациям наблюдаемого сигнала апостериорные функции распределения или плотности вероятностей. Нахождение этих характеристик является одним из существенных моментов в теории синтеза алгоритмов информационных систем. Выбор вида функции потерь в известной степени субъективен и зависит от конкретной ситуации. В технических приложениях наиболее распространенными функциями потерь, зависящими от величины ошибки = x - x, являются x - простая (x, x) =1- ( ), () - дельта- функция;

x - модульная (x, x) =| |;

x - квадратичная (x, x) =.

x Если апостериорный риск дифференцируем, то после подстановки вышеприведенных функций потерь в (4.4), определения экстремума, получаем следующие результаты.

Для простой функции потерь на основании фильтрующих свойств дельта-функции из выражения (4.4) получаем R( | ytt ) = 1- p(x | ytt ).

0 x = x После определения экстремума для простой функции потерь оптимальная оценка определяется по критерию максимума АПВ R( | ytt ) p(x | ytt ) 0 = =0 (4.5) x x = x x x = x Так как логарифм есть монотонная функция своего положительного аргумента, то вместо (4.5) используют соотношение ln p(x | ytt ) = 0.

x x = x Для модульной функции потерь апостериорный риск принимает вид x R( | ytt ) = | p(x | ytt )dx = p(x | ytt )dx - p(x | ytt )dx, x x x | 0 0 0 X - x и условию экстремума соответствует выражение x R( | ytt ) = p(x | ytt )dx - p(x | ytt )dx = 0, (4.7) 0 x - x где область определения параметра x принадлежит действительной оси.

Из (4.7) следует, что байесовская оценка в этом случае совпадает с условной медианой АПВ.

Байесовская оценка при квадратичной функции потерь оптимальна по критерию минимума дисперсии ошибки оценки или, что то же самое, апостериорного риска D(t) = R( | ytt ) = p(x | ytt )dx = - x)2 p(x | ytt )dx. (4.8) x (x 0 0 - Взяв производную по x = x от апостериорного риска и приравняв ее нулю, получаем, что эта оценка представляет собой апостериорное среднее x = M{x | ytt } = xp(x | ytt )dx. (4.9) 0 Покажем, что апостериорной оценке также соответствует минимальное значение безусловной дисперсии ошибки M{(x - x)2} = MY{M{(x - x)2 | ytt }}, где M{(x - x)2 | ytt } - апостериорное математическое ожидание при фиксированной реализации наблюдаемого процесса ytt ; MY{} - математическое ожидание по всем возможным реализациям процесса y(t).

Предположим, что известна совместная плотность вероятностей процессов x и ytt -p(x, ytt ). Безусловная дисперсия ошибки для 0 рассматриваемого случая равна M{(x - x)2} = (x - x)2 p(x, ytt )dxdytt = 0 - (4.10) = (x - x)2 p(x, ytt )dx p(ytt )dytt.

0 0 - - Выражение в фигурных скобках соотношения (4.10) является апостериорной дисперсией ошибки. Представим ее с учетом двух последних слагаемых в сумме равных нулю в развернутом виде (x - x)2 p(x, ytt )dx = = M{x2 | ytt }- 2xM{x | ytt }+ x2 + (4.11) 0 + [M{x | ytt }]2 -[M{x | ytt }]2 = 0 = [M{x | ytt }- x]2 + M{x2 | ytt }-[M{x | ytt }]2.

0 0 По определению безусловная дисперсия ошибки является положительной величиной и как следует из соотношений (4.10) и (4.11), принимает минимальное значение при оценке x = M{x | ytt }, равной апостериорному среднему.

Байесовские оценки для рассматриваемых видов потерь одинаковы, если АПВ имеет один максимум (унимодальна) и симметрична относительного своей медианы (среднего значения).

Очевидно, этим требованиям отвечает гауссовская апостериорная плотность вероятностей.

Если оцениваемый параметр является вектором, то аналогом квадратичной функции потерь является квадратичная форма r (x, x) = Aij (xi - xi )(x - x ) = (x - x)T A(x - x), j j i, j =где А - положительно определенная матрица с весовыми компонентами Aij. В частности, эта матрица может быть единичной и в этом случае (x, x) = (x - x)T (x - x).

Минимизация апостериорного риска R( | ytt ) =... (x - x)T (x - x) p(x | ytt )dx приводит к формуле, 0 - определяющей апостериорное среднее вектора оцениваемого параметра x = xp(x | ytt )dx (4.12)...

- с компонентами xi = xi p(x | ytt )dx.

...

- Можно показать, как и для случая скалярных процессов, что минимальные значения матриц апостериорных и безусловных дисперсий ошибок достигается для апостериорного вектора оценок x.

Важными характеристиками, по которым отбирают оценки, являются состоятельность, несмещенность и эффективность. Оценка xn называется состоятельной, если она сходится по вероятности к среднему значению оцениваемого случайного параметра M{x} при неограниченном увеличении выборки n, т.е. при произвольном >имеет место lim P{| xn - M{x}| } = 0.

n Для несмещенной оценки среднее значение этой оценки при любом n равно математическому ожиданию параметра n n M{xn} = xn p( y1 )dy1.

Y В частности, байесовская оценка при квадратичной функции потерь является несмещенной.

Эффективной в классе несмещенных оценок называют оценку с наименьшей дисперсией M{(xn - x)2} M{(xn,эфф - x)2} = Dэфф.

Часто эффективность определяется из условия достижения нижней границы в неравенстве Крамера-Рао.

Необходимо пользоваться такими оценками, для которых дисперсия ошибки равна или близка Dэфф. Для нахождения этих оценок в многих случаях оказывается полезным понятие достаточной оценки (статистики). Определяют достаточную оценку z, как некоторую функцию наблюдаемой реализации ytt так, чтобы соблюдалось равенство для апостериорных рисков или АПВ M{(x, ) | ytt } = M{(x, ) | z}, p(x| ytt )=p(x|z).

Достаточными статистиками могут быть оценки параметров, неизвестных процессов, сами наблюдаемые реализации. В последнем случае существует более компактное разбиение пространства наблюдений за счет сокращения объема выборки наблюдаемых отсчетов или длины наблюдаемой реализации без изменения величины апостериорного риска или АПВ.

Достаточная статистика содержит всю информацию о неизвестном параметре, которую можно получить при наблюдениях.

В случае марковских сигналов для оценки параметра в момент времени tn+1 нет необходимости определять каждый раз все отсчеты наблюдаемого процесса из интервала (t0,tn+1) достаточно получить последний отсчет для tn+1 и иметь лишь одну функцию от реализации на интервале (t0,tn) - достаточную статистику. Если zn = xn достаточная статистика, то зависящая от выборочных значений n+1 n+реализации y1 апостериорная плотность вероятностей p(x | y1 ) преобразуется в АПВ вида p(x|zn,yn+1).

4.2. ОБСУЖДЕНИЕ ПОДХОДОВ РЕШЕНИЯ ЗАДАЧИ На основании полученных результатов изложим в общих чертах возможные подходы определения оценок неизвестных параметров или случайных процессов. Представим рассматриваемые процессы, протекающими в дискретном времени (tn, n=0,1,2,...}.

Наблюдаемый сигнал и оцениваемый процесс являются для этого случая последовательностями отсчетов соответственно {yn} и {xn}. Апостериорную плотность вероятностей на основании формулы условных вероятностей (1.4) представим в виде n+p(xn+1 | y1 ) = n+= cn+1... p(y1 | xn+1,..., x1, x0) p(xn+1,..., x1, x0)dx0...dxn, - n+где x0 - начальное значение параметра, y1 последовательность наблюдений (y1,...,yn+1); плотность вероятностей p(xn+1,...,x1,x0)=p(x0)p(x1|x0)...p(xn+1|x0,...,xn) n+Сомножитель [p( y1 )]-1 не зависит от {xn+1}, его учитывают в виде нормировочной постоянной cn+1. Интегрирование осуществляется по всей области определения вектора n x0 = (x0, x1,..., xn).

Pages:     | 1 |   ...   | 13 | 14 | 15 | 16 | 17 |   ...   | 32 |    Книги по разным темам