Метод моментов
По этому методу (предложено К. Пирсоном) определенное количество выборочных моментов (начальных v k или центральных m k, или тех и других) приравнивают к соответствующих теоретических моментов (~ k или щ) распределения случайной величины X. Напомним, что выборочные моменты определяются по формулам (2.13 - 2.20), а соответствующие теоретические моменты - по формулам (3.14 - 3.39). Итак, оценки неизвестных параметров является решением системы уравнений. Количество уравнений определяется количеством параметров, подлежащих оценке.
Пример 4.1. Определить точечные оценки случайной величины X, имеющей нормальное распределение, по методу моментов.
Решение:
Плотность нормального распределения случайной величины X имеет вид
f (x; fi, a) = exp <! --- с двумя неизвестными параметрами: средне-
л / 2 я-сг 2 И 2 ° J
нем ил = M [X] = v 1 (3.36) и дисперсией в 2 = D [X] = m 2 (3.37), которые являются первым
начальным и вторым центральным теоретическими моментами.
Соответствующие выборочные моменты имеют вид: v 1 = - Е x и и m 2 = v 2 - v x 2.
n i = 1
Отсюда определяется система из двух уравнений:
1 "
пиҐ1
Решение системы уравнений дает оценки среднего ju MM и дисперсии сг мм методом моментов
Ь = 2 (4.7)
<т = с
Как видим, точечными оценками среднего и дисперсии случайной величины x, что нормальное распределение, являются выборочные среднее X и дисперсия с 2.
Оценка по методу моментов является состоятельным, сравнительно простым в расчетах, но по показателю эффективности не "лучшим". Основным методом получения оценок параметров генеральной совокупности считается метод максимального правдоподобия, предложенный Р.Фишера.
Метод максимального правдоподобия
Основу метода составляет функция правдоподобия Ь (х; ©), которая выражает вероятность совместного появления результатов выборки х ь х 2, х п:
ц х1, х2, -, Хп; ®) = ф (Х1, @)-ф (Х 2, &) ■■■■? (Хп, ©).
Согласно метод максимального правдоподобия за оценку неизвестного параметра © принимается такое значение ® п, которое максимизирует функцию ц (х, 0) 20.
Пример 4.2. Определить точечные оценки параметров случайной величины x, что нормальное распределение, по методу максимального правдоподобия. Решение:
Плотность нормального распределения случайной величины x определяется
и имеет два параметра: среднее ц и дисперсию а 2, которые следует оценить. Функция правдоподобия имеет вид
После логарифмирования подержим
20 См., Например, Н.Кремер [41, С. 303-305].
ТЕ 1 п
1п Ь = - (1п а 2 +111 (2 *)) - - X (х и - / а) 2. (4.10) 2 2сг, = 1
Для нахождения параметров ц и а 2 частные производные по этим параметрам
необходимо приравнять нулю и решить соответствующую систему уравнений:
- = - Ей (х i = 0
'а ш ь 1 л () 2 п 0 (4.11)
Из первого уравнения (для (+7 2> 0) получим
п п п п 1 п,
X (х, = Е х, = Е х, "п <" = 0, откуда М = - 2 ^ х,, то есть
¿= 1 ¿= 1 ¿= 1 ¿= 1 п i = 1
й ™ = (4.12)
Из второго уравнения после сокращения (для в 2> 0) и подстановки получим
-X (Х - X) 2 - п = 0, откуда а2 = ~ 2 И (х, ~ Х) 2, то есть
= ^ (4.13)
Таким образом, оценками по методу максимального правдоподобия математического ожидания / и ямп и дисперсии случайной величины x, что
нормальное распределение, являются соответственно выборочное среднее x и выборочная дисперсия ^ 2. Оценки по методу моментов и методом максимального правдоподобия для среднего и дисперсии совпадают, но только для случайной величины x, что нормальный распределение.
Оценки максимального правдоподобия, как правило, способны и асимптотически эффективными. Основной недостаток этого метода связан с трудностями расчета оценок, а также и то, что для построения оценок и обеспечения их "лучшими" свойствами необходимо знать закон распределения случайной величины, во многих случаях оказывается практически нереальным.
