АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Метод максимума правдоподобия

Читайте также:
  1. ABC-аналіз як метод оптимізації абсолютної величини затрат підприємства
  2. I. ПРЕДМЕТ И МЕТОД
  3. I.ЗАГАЛЬНІ МЕТОДИЧНІ ВКАЗІВКИ
  4. II. Документация как элемент метода бухгалтерского учета
  5. II. МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ ДЛЯ СТУДЕНТОВ
  6. II. Методична робота.
  7. II. МЕТОДЫ, ПОДХОДЫ И ПРОЦЕДУРЫ ДИАГНОСТИКИ И ЛЕЧЕНИЯ
  8. II. МЕТОДЫ, ПОДХОДЫ И ПРОЦЕДУРЫ ДИАГНОСТИКИ И ЛЕЧЕНИЯ
  9. III. Mix-методики.
  10. III. ЗАГАЛЬНІ МЕТОДИЧНІ ВКАЗІВКИ ДО ВИКОНАННЯ КОНТРОЛЬНИХ РОБІТ .
  11. III. ИНФОРМАЦИОННО-МЕТОДИЧЕСКАЯ ЧАСТЬ
  12. III. Методы оценки функции почек

Метод максимума правдоподобия (maximum likelihood function) применяется для определения неизвестных коэффициентов модели регрессии и является альтернативой методу наименьших квадратов. Суть данного метода состоит в максимизации функции правдоподобия или её логарифма.

Общий вид функции правдоподобия:

где

– это геометрическая сумма, означающая перемножение вероятностей по всем возможным случаям внутри скобок.

Предположим, что на основании полученных данных была построена модель регрессии бинарного выбора, где результативная переменная представлена с помощью латентной переменной:

Следовательно, вероятность события, что результативная переменная yi примет значение, равное единице, можно выразить следующим образом:

Вероятность события, что результативная переменная yi примет значение, равное нулю, можно выразить следующим образом:

В связи с тем, что для вероятностей считается справедливым равенство вида:

функция правдоподобия может быть записана как геометрическая сумма вероятностей наблюдений:

Для логит-регрессии и пробит-регрессии функция правдоподобия строится через сумму натуральных логарифмов правдоподобия следующим образом:

Оценки неизвестных параметров логит-регрессии и пробит-регрессии определяются с помощью максимизации функции правдоподобия:

Для определения максимума функции l(β,X) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений:

С помощью преобразований данной системы уравнений переходим к системе нормальных уравнений, решениями которой и будут оценки максимального правдоподобия

Прежде, чем использовать пробит-регрессию и логит-регрессию для прогнозирования или анализа, необходимо проверить значимость вычисленных коэффициентов пробит и логит регрессий и моделей регрессии в целом. Подобная проверка осуществляется с помощью величины (l1-l0), где параметр l1 соответствует максимально правдоподобной оценке основной модели регрессии, а параметр l0 – оценка нулевой модели регрессии, т. е. yi=β0.

При проверке значимости коэффициентов пробит или логит-регрессии выдвигается основная гипотеза о незначимости данных коэффициентов:

H0:β1=β2=…=βk=0.

Тогда конкурирующей или альтернативной гипотезой будет гипотеза вида:

H1:β1≠β2≠…≠βk≠0.

Для проверки выдвинутых гипотез рассчитывается величина H=-2(l1–l0), которая распределена по χ2 закону распределения с k степенями свободы.

Критическое значение χ2 -критерия определяется по таблице по β2 распределения в зависимости от заданного значения вероятности а и степени свободы k.

При проверке гипотез возможны следующие ситуации:

Если величина H больше критического значение χ2-критерия, т.е.

то основная гипотеза отвергается, и коэффициенты модели регрессии являются значимыми. Следовательно, модель пробит или логит-регрессии также является значимой.

Если величина H меньше критического значение β2 -критерия, т. е.

то основная гипотеза принимается, и коэффициенты модели регрессии являются незначимыми. Следовательно, модель пробит или логит-регрессии также является незначимой.

Оценки неизвестных коэффициентов модели регрессии, полученные методом максимума правдоподобия, удовлетворяют следующему утверждению.

Пусть ω – это элемент, принадлежащий заданному пространству А. Если А является открытым интервалом, а функция L(ω) дифференцируема и достигает максимума в заданном интервале A, то оценки максимального правдоподобия удовлетворяют равенству вида:

Докажем данное утверждение на примере модели логит-регрессии.

Функция максимального правдоподобия для модели логит-регрессии имеет вид:

Продифференцируем полученную функцию по параметру β:

Следовательно, утверждение можно считать доказанным.

В том случае, если для модели регрессии справедливы предпосылки нормальной линейной модели регрессии, то оценки неизвестных коэффициентов, полученные с помощью метода наименьших квадратов, и оценки, полученные с помощью метода максимума правдоподобия, будут совпадать.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | 119 | 120 | 121 | 122 | 123 | 124 | 125 | 126 | 127 | 128 | 129 | 130 | 131 | 132 | 133 | 134 | 135 | 136 | 137 | 138 | 139 | 140 | 141 | 142 | 143 | 144 | 145 | 146 | 147 | 148 | 149 | 150 | 151 | 152 | 153 | 154 | 155 | 156 | 157 | 158 | 159 | 160 | 161 | 162 | 163 | 164 | 165 | 166 | 167 | 168 | 169 | 170 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.)