Определение управляемого полумарковского случайного процесса

Управляемый полумарковский процесс определяется однородной трехмерной марковской цепью или однородным управляемым процессом марковского восстановления

(5.22)

Во введенных обозначениях (5.22) считаем:

· - конечное множество состояний (в дальнейшем часто множество Е будем отождествлять с множеством первая компонента x_n однородного управляемого процесса марковского восстановления принимает дискретные значения из этого множества;

· – множество положительных действительных чисел, поэтому вторую компоненту однородного управляемого процесса марковского восстановления отождествляем со временем, на пространстве задаем борелевскую s- алгебру[12];

· U - есть пространство управлений с s- алгеброй A подмножеств этого пространства.

Однородная марковская цепь определяется переходными вероятностями A,

и начальным распределением

В рассматриваемом случае предполагаем, что марковская цепь задается переходными вероятностями специального вида

в которых нет зависимости от параметров t и u – значений второй и третьей компоненты на предыдущем шаге и номера шага n. Следовательно, будущее поведение однородного управляемого процесса марковского восстановления зависит только от значения первой компоненты и имеет место однородность этого управляемого марковского процесса восстановления. При этих дополнительных ограничениях в качестве начального распределения можно задавать константы

(5.23)

поскольку событие являются достоверным и по определению будущее от этих событий не зависит.

В дальнейшем будем использовать следующие обозначения

(5.24)

Так как будущее течение процесса зависит только от первой компоненты, то можно модель усложнить и считать, что область определения функции по переменной B зависит от состояния i. Это значит для каждого iОE задано множество управлений U_i и s- алгебра A _i подмножеств этого пространства U_i. Функция , определяемая равенством (5.24), задана для i,jÎE, tÎR⁺, BО A _i.

Исследуем свойства функции , вытекающие из определения.

Нетрудно заметить, что при t®Ґ и B=U_i мы получаем переходную вероятность

(5.25)

для вложенной цепи Маркова, характеризующей эволюцию первой компоненты введенной трехмерной цепи Маркова.

Функции (5.24) обладают следующими свойствами при любых i,jОE, x>0 и BО A _i:

·

· - неубывающие по t, непрерывные слева функции;

·

Далее нетрудно заметить, что при B=U_i имеем равенство

(5.26)

где функция определяется равенством (5.2).

Из определения (5.24) следует

Следовательно, семейство функций порождает на измеримом пространстве (U_i, A _i) семейство вероятностных мер при iÎE, BÎ A _i

(5.27)

Так как для любого jÎE, tÎR⁺, BО A _i справедливо неравенство то мера абсолютно непрерывна относительно меры и на основании теоремы Радона-Никодима [12] существуют измеримые функции такие, для которых имеет место равенство

(5.28)

Функции есть условные вероятности

(5.29)

Таким образом, однородный управляемый процесс марковского восстановления может быть задан семейством матриц , множеством вероятностных мер и начальным распределением вероятностей состояний p_i, i,jÎE, tÎR⁺, uОU_i, BО A _i.

Семейство матриц будем называть полумарковским ядром управляемого полумарковского процесса, а семейство вероятностных мер будем называть семейством управляющих мер.

Если использовать равенства (5.26) и (5.28), то легко установить связь между полумарковским ядром и полумарковским ядром управляемого полумарковского процесса Q_ij(t,u) и семейством вероятностных управляющих мер

(5.30)

Равенство (5.29) позволяет выписать условное распределение

(5.31)

Далее определим управляемый полумарковский процесс X(t) как пару

(5.32)

где а считающий процесс определяется равенством (5.17).

Нетрудно заметить, что процесс совпадает со стандартным полумарковским процессом (определение (5.16)). Вторая компонента управляемого полумарковского процесса определяет траекторию принимаемых решений.

Отметим одно важное обстоятельство: компоненты полумарковского процесса , и введенный выше считающий процесс имеют ступенчатые траектории, для которых совпадают моменты разрывов (разрывы происходят в моменты nі1). Значения считающего процесса целые положительные числа и траектории его неубывающие, компонента принимает значения из конечного множества компонента принимает значения из множеств U_i, причем в зависимости от значения, принимаемого первой компонентой (это свидетельствует о зависимости процессов и ).

Равенство (5.26) увязывает характеристики управляемого полумарковского процесса и характеристики его первой компоненты – стандартного полумарковского процесса. По свойствам первой компоненты управляемого полумарковского процесса можно провести классификацию его состояний и свойств траекторий, как это было сделано в параграфе 5.1. для стандартного полумарковского процесса.

Поиск по сайту: