Предельное правдоподобие

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).

Если дано множество независимых одинаково распределённых точек данных , где параметр согласно некоторому распределению вероятностей с параметром , где параметр сам по себе является случайной величиной, заданной распределением, то есть . Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события , где исключено (путём интегрирования по этому параметру):

Определение выше сформулировано в контексте байесовской статистики. В классической (частотной[англ.]) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра , где является фактическим параметром, а является мешающим параметром[англ.]. Если существует распределение вероятности для , часто желательно рассмотреть функцию правдоподобия лишь в терминах путём исключения :

К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.

Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно априорному прогнозируемому распределению[англ.] точки данных.

Приложения

[править | править код]

Сравнение байесовских моделей

[править | править код]

При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна

Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M1 и другой модели M2 вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:

что можно схематично сформулировать как

апостериорные шансы = априорные шансы × коэффициент Байеса

Примечания

[править | править код]

Литература

[править | править код]
  • Charles S. Bos. A comparison of marginal likelihood computation methods // COMPSTAT 2002: Proceedings in Computational Statistics / W. Härdle, B. Ronz. — 2002. — С. 111—117.(Книга доступна как препринт на сайте: [1] Архивная копия от 3 августа 2020 на Wayback Machine)
  • David J.C. MacKay. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 0521642981.