Неравенство Крамера–Рао

Пусть — выборка из распределения, принадлежащего параметрическому семейству , здесь .

Определение. Множество , такое, что при всех выполняется равенство , назовем носителем семейства распределений .

Замечание. Носитель распределения в этом смысле определяется не единственным образом, но все носители отличаются на множество нулевой вероятности.

Определение. Семейство распределений назовем регулярным, если существует носитель семейства распределений такой, что при каждом функция непрерывно дифференцируема по во всех точках .

Замечание. Вместо непрерывной дифференцируемости можно требовать того же от .

Пусть — выборка из распределения, принадлежащего параметрическому семейству , где .

Определение. Величина если она существует, называется информацией Фишера в одном наблюдении.

Справедливо следующее утверждение.

Теорема 24.1. (Неравенство Крамера–Рао). Пусть семейство распределений удовлетворяет условию регулярности (см. определение24.2) и информация Фишера существует, положительна и непрерывна по во всех . Тогда для любой несмещенной оценки , дисперсия которой ограничена на любом компакте в области , справедливо неравенство .

Докажем предварительно утверждение.

Лемма. В условиях теоремы 24.1 для любой статистики , , дисперсия которой ограничена на компактах, имеет место равенство

.

Доказательство леммы..

Через в интегралах обозначен вектор .

Доказательство неравенства Крамера–Рао.

Пусть . Тогда

Поскольку , то и

(1)

Пусть теперь , то есть . Тогда

(2)

Так как , то из (1) и (2) вытекает

(3)

Найдем :

.

подставляя дисперсию в неравенство (3) получим

или , что и требовалось доказать.

Теорема неравенство Крамера–Рао для смещенных оценок

Пусть семейство распределений удовлетворяет условию регулярности, информация Фишера существует, положительна и непрерывна по во всех . Тогда для любой оценки , дисперсия которой ограничена на любом компакте в области , справедливо неравенство или .

Следствие.

Пусть семейство распределений удовлетворяет условиям теорем, и оценка такова, что в неравенстве Крамера–Рао достигается равенство: или , тогда оценка эффективна в классе .

Поиск по сайту: