Цепи Маркова в теории вероятности и их приложения
Дипломная работа - Математика и статистика
Другие дипломы по предмету Математика и статистика
ным, если вероятность эта меньше 1.
. Теорема возвратного состояния
Теорема. Состояние ?i является возвратным тогда и только тогда, когда
.
Доказательство. Возвратность состояния ?i означает, что
,
Это предельное соотношение равносильно тому, что
.
Но, как легко видеть
Таким образом, возвратность состояния ?i равносильна тому, что ряд расходится. Для завершения доказательства остается лишь напомнить, что ип = рii(п).
Теорема. Если исходное состояние ?i является возвратным, то система с вероятностью 1 за бесконечное число шагов бесконечно много раз возвратится в ?i. Если это состояние является невозвратным, то за бесконечное число шагов система с вероятностью 1 лишь конечное число раз побывает в состоянии ?i, другими словами, после некоторого конечного числа шагов она никогда больше не возвращается в ?i.
Доказательство. Обозначим ?1 - число шагов до первого возвращения в состояние ?i, ?2 - число шагов до второго возвращения и т. д. Если за бесконечное числа шагов происходит меньше k возвращений, то полагаем ?k=?. Событие {?k < ?} означает, что произошло по меньшей мере k возвращений. Вероятность возвращения есть
.
При условии осуществления события {?1 < ?} система через некоторое конечное число шагов ?1 возвращается в исходное состояние ?i, после чего ее дальнейшее поведение подчиняется тем же закономерностям, как если бы она только начинала свое движение. Таким образом, вероятность события {?2< ?} при условии, что {?1 < ?}, будет равна ?:
.
Очевидно, если ?1=?, то также и ?2=?. Поэтому
.
Совершенно аналогично при любом k
, .
Невозвратность состояния ?i означает, что ?<1. В этом случае
.
и, согласно первой лемме Бореля - Кантелли, с вероятностью 1 может произойти лишь конечное число событий вида {?k < ?}, т. е. с вероятностью 1 за бесконечное число шагов система лишь конечное число раз побывает в состоянии ?i.
Возвратность состояния ?i означает, что ?=1. В этом случае при любом k
.
Обозначим х число возвращений за бесконечное число шагов. Очевидно, событие {х ? k} тождественно с событием {?k < ?}, так что, если P{?k < ?} =1 при всех k, то с вероятностью 1 величина x превосходит любое наперед заданное число k. Это значит, что
.
Теорема доказана.
. Достижимые возвратные состояния
Говорят, что состояние ?j достижимо из ?i, если за некоторое число шагов система с положительной вероятностью переходит из ?i в ?j т. е. pij(M)>0 при некотором М.
Пусть ?i - возвратное состояние ?j достижимо из ?i. Тогда ?i в свою очередь достижимо из ?j, так как в противном случае, выходя из ?i система за М шагов с положительной вероятностью рij (М)=?>0 попадает в состояние ?j, после чего уже не может вернуться в ?i; таким образом, вероятность возвращения в ?i будет не больше, чем 1-?, а это противоречит возвратности ?i. Итак, если ?j достижимо из возвратного состояния ?i, то в свою очередь ?i достижимо из ?j, т. е. pij(N)=?>0 при некотором N. Как следует из формулы (8.7), при любом п
,
откуда
,
.
Эти неравенства показывают, что ряды
,
сходятся или расходятся одновременно. Согласно условию (8.11), для возвратного состояния ?i ряд расходится. Поэтому также и
Следовательно, состояние ?j является возвратным. Мы пришли к следующему результату.
Теорема. Если состояние ?j достижимо из возвратного состояния ?i, то ?j также является возвратным, причем ?i в свою очередь достижимо из ?j.
Следствие. Если цепь Маркова имеет лишь конечное число состояний, причем каждое из них достижимо из любого другого состояния, то все они являются возвратными.
Действительно, если имеется лишь конечное число состояний, то за бесконечное число шагов хотя бы в одном из них система обязательно побывает бесконечное число раз. Следовательно, хотя бы одно состояние является возвратным, а поскольку по условию из него можно с положительной вероятностью перейди в любое другое состояние, все они будут возвратными.
5. Примеры решения задач
Задача о стопке книг. Очевидно, если каждая книга выбирается с положительной вероятностью, т. е. pi>0 при всех i=1,..., т, то любое состояние достижимо из каждого другого состояния. Всего имеется т! различных состояний (i1, …, im) и все они будут возвратными. Если pi = 0 при некотором i то все состояния вида(i1, …, im), где i1=i (книга с номером i лежит на самом верху), являются невозвратными, так как после первого же шага выбирается некоторая книга с номером j, отличным от i, и книга с номером i, никогда не вынимаемая из стопки, опускается ниже.
Задача о наилучшем выборе. Очевидно, через некоторое число шагов, не больше т (т - число всех имеющихся предметов), система попадает в состояние еm+1, в котором остается навсегда. Таким образом, все состояния, кроме еm+1, являются невозвратными.
Случайные блуждания. Рассмотрим случайное блуждание, при котором частица из каждой целочисленной точки i на следующем шаге с вероятностью р переходит в соседнюю точку j=i - 1, а с вероятностью q - в точку j=i - 1. Ясно, что каждое состояние достижимо из любого другого состояния и (см. формулу (6.0))
Используя формулу Стирлинга, при п>? получаем
где
причем знак равенства имеет место лишь при р = q=. Таким образом, при п>?