Что такое метод моментов

Метод моментов

Содержание:

Метод моментов, предложенный английским статистиком Карлом Пирсоном в 1894 г., заключается в приравнивании определенного числа выборочных моментов к соответствующим теоретическим, которые являются функциями неизвестных параметров Рассматривая количество моментов, равное числу к неизвестных параметров, подлежащих определению, и решая полученные уравнения относительно этих параметров, получаем искомые оценки. Иначе говоря, оценки параметров являются решениями систем уравнений или , для некоторых

Метод моментов содержит неопределенность, поскольку можно получить уравнения для неизвестных параметров , используя как начальные, так и центральные моменты, а также некоторые их модификации типа асимметрии или эксцесса.

По этой ссылке вы найдёте полный курс лекций по теории вероятности:

Пример:

Функция

задает плотность распределения Рэлея (см. § 6.4). Требуется оценить параметр по выборке

Найдем оценку параметра 0, приравнивая начальные выборочные и теоретические моменты. Первый начальный момент

имеет вид: Приравнивая, получаем первую оценку параметра:

Приравнивая вторые начальные моменты, можем получить другую оценку: из уравнения, которое получитсяся при использовании второго центрального момента (дисперсии), — третью оценку:

В общем случае система уравнений для моментов может не иметь решения в элементарных функциях (и тогда можно искать решение приближенными методами) или вообще оказаться неразрешимой (несовместной).

Оценки, полученные методом моментов, часто оказываются смешенными. К достоинствам метода моментов следует отнести его простую вычислительную реализацию, а также то, что оценки являются функциями от выборочных моментов.

В силу теоремы Слуцкого любая непрерывная функция от выборочных моментов функции сходится по вероятности к постоянной, получаемой подстановкой в эту функцию теоретических моментов, если они существуют и если получаемая таким образом постоянная конечна. Для определенности рассмотрим функцию от двух моментов (начальных или центральных), хотя ее можно обобщить на любое конечное число аргументов, в том числе и на случай, когда Н зависит только от одного аргумента.

Теорема 1. (Крамера). Пусть в некоторой окрестности точки функция непрерывна и имеет непрерывные частные производные первого и второго порядка:

Тогда для любой выборки, по которой найдены оценки , случайная величина асимптотически нормальна при следующими параметрами:

Иногда оценки, получаемые с помощью метода моментов, принимаются в качестве первого приближения, по которому можно построить другими методами оценки более высокого качества.

Оценки метода моментов используются также, когда существует необходимость оценить не сами параметры распределения (которые часто представляют собой некие абстракции), а определенные практически значимые показатели, зависящие от этих параметров функционально: . Самый простой (хотя и не самый точный) способ такого оценивания — подставить полученные оценки в соответствующую функцию:

Если распределение определяется одним параметром, то для построения оценки один теоретический момент приравнивают к одному эмпирическому моменту того же порядка (обычно первого).

Возможно вам будут полезны данные страницы:

Источник

Метод моментов

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов(Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Содержание

Сущность метода

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение , зависящее от параметров . Пусть для функций (называемых моментами или моментными функциями) , интегрируемых по мере , выполнены условия на моменты

Пусть — выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель удовлетворяет условию , то условия на моменты выглядят следующим образом:

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть . Тогда имеем выборочный аналог этого условия:

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментов

Метод моментов может быть обобщен на случай когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае, очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако, доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариацинной матрице моментных функций . Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают коварицаонную матрицу моментных функций и используют полученную оценку в эффетивном GMM (это т. н. доступный эффективный GMM).

Пример

Пусть — выборка из гамма распределения с неизвестными параметрами и . Тогда

Тогда оценки метода моментов удовлетворяют системе уравнений:

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае Гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров в то время, как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также

Полезное

Смотреть что такое «Метод моментов» в других словарях:

метод моментов — momentų metodas statusas T sritis fizika atitikmenys: angl. method of moments; moments method vok. Momentenmethode, f rus. метод моментов, m pranc. méthode de moments, f … Fizikos terminų žodynas

Метод моментов нахождения оценок — в математической статистике это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон 1894г.) Содержание 1 Определение 2 Замечания … Википедия

Обобщенный метод моментов — (ОММ, GMM Generalized Method of Moments) метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был… … Википедия

Метод инструментальных переменных — (ИП, IV Instrumental Variables) метод оценки параметров регрессионных моделей, основанный на использовании дополнительных, не участвующих в модели, так называемых инструментальных переменных. Метод применяется в случае, когда факторы… … Википедия

Метод максимального правдоподобия — или метод наибольшего правдоподобия (ММП, ML, MLE Maximum Likelihood Estimation) в математической статистике это метод оценивания неизвестного параметра путём максимизации функции правдоподобия[1]. Основан на предположении о том, что… … Википедия

метод распределения моментов — Метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов [Терминологический словарь по… … Справочник технического переводчика

МОМЕНТОВ МЕТОД — метод определения распределения вероятностей по его моментам. В теоретич. отношении М. м. основан на единственности решения моментов проблемы:если нек рые постоянные, то при каких условиях существует единственное распределение такое, что суть… … Математическая энциклопедия

МЕТОД РАСПРЕДЕЛЕНИЯ МОМЕНТОВ — метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов (Болгарский язык; Български)… … Строительный словарь

МЕТОД — (от греч. methodos путь, способ исследования, обучения, изложения) совокупность приемов и операций познания и практической деятельности; способ достижения определенных результатов в познании и практике. Применение того или иного М. определяется… … Философская энциклопедия

МЕТОД СВОБОДНЫХ АССОЦИАЦИЙ — (лат. associatio соединение, присоединение) исследовательский, диагностический и терапевтический прием психоанализа. Основан на использовании феномена ассоциативности мышления для познания глубинных (преимущественно бессознательных) психических… … Новейший философский словарь

Источник

Метод моментов нахождения оценок

Содержание

Определение

Пусть — выборка из распределения , зависящего от параметра . Пусть есть функция , такая что g(X₁) интегрируема относительно меры , и

где — биекция. Тогда оценка

называется оценкой параметра методом моментов.

Замечания

то есть оценка методом моментов получается путём приравнивания теоретического среднего g(X) с выборочным средним.

Состоятельность метода

Если , то есть функция f непрерывна, то оценка метода моментов состоятельна.

Пример

Тогда оценки метода моментов удовлетворяют системе уравнений:

Преимущества и недостатки метода

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, т.к. максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Читайте также: Бохо отель что это

См. также

Полезное

Смотреть что такое «Метод моментов нахождения оценок» в других словарях:

Моменты случайной величины — Момент случайной величины числовая характеристика распределения данной случайной величины. Содержание 1 Определения 2 Замечания … Википедия

t-критерий Стьюдента — t критерий Стьюдента общее название для класса методов статистической проверки гипотез (статистических критериев), основанных на распределении Стьюдента. Наиболее частые случаи применения t критерия связаны с проверкой равенства средних… … Википедия

Среднеквадратическое отклонение — (синонимы: среднеквадратичное отклонение, квадратичное отклонение; близкие термины: стандартное отклонение, стандартный разброс) в теории вероятностей и статистике наиболее распространённый показатель рассеивания значений случайной величины … Википедия

Статистика — Гистограмма (метод графических изображений) У этого термина существуют и другие значения, с … Википедия

U-критерий Манна — U критерий Манна Уитни (англ. Mann Whitney U test) статистический критерий, используемый для оценки различий между двумя независимыми выборками по уровню какого либо признака, измеренного количественно. Позволяет выявлять… … Википедия

Генеральная совокупность — Генеральная совокупность, генеральная выборка (от лат. generis общий, родовой)(в англ. терминологии population) совокупность всех объектов (единиц), относительно которых учёный намерен делать выводы при изучении конкретной проблемы.… … Википедия

Источник

Метод моментов

Метод моментов точечной оценки неизвестных параметров заданного распределения состоит в приравнивании теоретических моментов соответствующим эмпирическим моментам того же распределения.

Если распределение определяется одним параметром, то для его отыскания приравнивают один теоретический момент одному эмпирическому моменту того же порядка.

Так как ν₁=М[Х], Μ₁=,где– среднее выборочное значение.

Таким образом, математическое ожидание является функцией от неизвестного параметра заданного распределения.

Поэтому, решив уравнение Μ₁=относительно неизвестного параметра, тем самым получим его точечную оценку. Если распределение определяется двумя параметрами, то можно приравнять два теоретических момента к двум соответствующим эмпирическим моментам того же порядка.

Например, можно приравнять начальный теоретический момент первого порядка начальному эмпирическому моменту первого порядка, а центральный теоретический момент второго порядка μ₂ — центральному эмпирическому моменту второго порядка m₂:

Μ₁=

М[Х] =

Левые части этой системы уравнения являются функциями от неизвестных параметров. Решив данную систему уравнения относительно неизвестных параметров, тем самым получим их точечные оценки. Для вычисления выборочной средней и выборочной дисперсии необходимо использовать выборочные данные x₁, x₂,…, x_n.

Источник