Метод максимального правдоподобия

Согласно методу максимального правдоподобия в качестве оценок выбираются те значения параметров, при которых данные результаты наблюдения «наиболее вероятны».

Определение

Функцию назовем обобщенной плотностью.

Функция, фигурирующая в последнем определении, является плотностью относительно меры Лебега для абсолютно непрерывного распределения и плотностью относительно считающей меры для дискретного распределения.

Определение

Пусть выборка из распределения с плотностью , тогда случайная функция называется функцией правдоподобия.

Определение

Оценкой максимального правдоподобия неизвестного параметра называется то значение , при котором функция правдоподобия достигает своего максимума, то есть решение уравнения правдоподобия .

Замечание Решая уравнение правдоподобия ,необходимо отбросить все корни, которые имеют вид , то есть не зависят от выборки .

Так как положительная функция достигает своего максимума в той же точке, что и ее логарифм, то на практике для анализа часто используют натуральный логарифм функции правдоподобия.

Определение

Случайную функцию называют логарифмической функцией правдоподобия.

Пример Дана выборка из показательного распределения с плотностью , , . Методом максимального правдоподобия найти оценку параметра .

Решение. Функция правдоподобия в данном случае имеет вид: , если все и в противном случае.

Соответственно ее логарифм

.

Решим уравнение правдоподобия

,

или после дифференцирования

.

Решением последнего уравнения является:

.

Так как и , то точка является точкой максимума функции правдоподобия и, следовательно, является оценкой максимального правдоподобия.

Пример. Дана выборка из распределения Пуассона . Методом максимального правдоподобия найти оценку параметра .

Решение. В данном случае функция правдоподобия имеет вид:

,

логарифмируя ее, получим

.

Решением уравнения правдоподобия является:

Следовательно, оценка максимального правдоподобия имеет вид

Поиск по сайту: