Лекция 5
Методи за построяване на оценки

В тази лекция ще продължим разглеждането на основните методи на математическата статистика.

5.1  Метод на моментите

Извадъчната функция на разпределение Fn(x) е сума от независими сл.в. и има просто разпределение при фиксирана стойност на x. Ако x е точка на непрекъснатост на F(x), то n Fn(x) е биномна сл.в., т.е. n Fn(x) О B(n,F(x)). Имаме E Fn(x) = F(x), D Fn(x) = F(x)(1-F(x))/n. Следователно, Fn(x) клони п.с. към теоретичната F(x) за всяко фиксирано x. Вярно е обаче по - силното твърдение на Гливенко - Кантели (теорема 13.1):

Теорема 1

P(
lim
n®Ґ 
sup
x 
 |Fn(x)-F(x)| = 0) = 1.
(5.1)

Веднага от тази теорема следва, че всички линейни комбинации от порядкови статистики, зададени във формата

у
х 		f(x) dFn(x) ® у
х 		f(x) dF(x),
(5.2)
са (силно) състоятелни оценки на съответните параметри. Стига, разбира се, интегралът от дясно да съществува - това е така, например, за всяка ограничена непрекъсната функция.

Пример 1 Оценка на моментите.

В частност,

m1(n) = _
x
 
 = у
х 		Ґ

-Ґ 
 x dFn(x),   m2(n) = 1
n
 n
е
 i = 1 
 xi2 = у
х 		Ґ

Ґ 
 x2 dFn(x).
Тези функции (дескриптивни статистики) наричаме извадъчни моменти. Следователно, извадъчните моменти mk(n) са състоятелни оценки на моментите на сл.в.

Нека разгледаме сл.в., за която съществува E|x|r < Ґ . Нека неизвестния параметър q = f(E x,E x2,...,E xr), където f(.) е непрекъсната функция. Тогава

F(m1(n),m2(n),...,mr(n))® F(m1,m2,...,mr).

5.2  Метод на максималното правдоподобие

Това е най - популярния метод за конструиране на точкови оценки в теоретичната статистика. Неговата популярност се дължи на две неща:

  1. изключително стройна и завършена теория;
  2. добри асимптотични качества на построените оценки.

Нека предположим, че разпределението в генералната съвкупност има плътност f(x,q) (по отношение на лебеговата мярка) известна с точност до неизвестен едномерен или многомерен параметър q О Q. Тогава извадката {x1,x2,...,xn} като вектор от независими сл.в. ще има плътност в извадъчното пространство Rn от вида Ln([(x)\vec],q) = Хi = 1n f(xi,q), която наричаме функция на правдоподобие.

Определение 1 Казваме, че оценката [^(q)](x) удовлетворява принципа на максимално правдоподобие, ако

Ln( ®
x
 
 , ^
q
 
 (x)) =
max
q 
 Ln( ®
x
 
 ,q)
(5.3)
за почти всяко x по мерките определени от плътностите Ln([(x)\vec],q),q О Q.

Всъщност достатъчно е в случая да се разглежда лебегова мярка, но само там където някоя от плътностите притежава положителни стойности. Максимум на правдоподобието Ln се достига в същата точка и за логаритъма LLn([(x)\vec],q) = logLn([(x)\vec],q). Затова е удобно при намирането му да решаваме ''уравненията на правдоподобие'':

LLn( ®
x
 
 ,q)
q
 = 0.
(5.4)

Определение 2 Наричаме оценката максимално-правдоподобна, ако функцията на првдоподобие е диференцируема и оценката удовлетворяава уравненията на правдоподобие (5.4).

Пример 2 Нека x О N(m,s2). Нека сме направили n наблюдения. Да намерим максимално - правдоподобните оценки.

Решение. Определяме Q = R1 xR1+. Логаритъмът на правдоподобие има вида:

LLn(x,q) = logLn(x,q) = - n
2
 log(2p) - nlogs- 1
2s2
 n
е
 i = 1 
 (xi-m)2.
За да намерим максимума на тази функция по m и s я диференцираме и получаваме уравненията на правдоподобие:
0 =
LLn(x,m,s)
m
 =
1
s2
 n
е
 i = 1 
 (xi-m)
0 =
LLn(x,m,s)
s
 =
- n
s
 + 1
s3
 n
е
 i = 1 
 (xi-m)2.
Така лесно получаваме двете оценки:
^
m
 
 = _
x
 
 = 1
n
 n
е
 i = 1 
 xi,       ^
s
 
 2
 
 = 1
n
 n
е
 i = 1 
 (xi- _
x
 
 )2.
Разбира се, редно е да се убедим, че това са истински максимуми на LLn. Оценката [`(x)] е неизместена и ефективна, но [^(s)] е изместена. И двете оценки обаче са състоятелни. Q.E.D.

5.2.1  Ефективност

Теорема 2 Ако са изпълнени условията на неравенството на Рао - Крамер и съществува ефективна оценка, то тя съвпада с оценката по метода на максимално правдоподобие.

Доказателство:  Наистина, условието за ефективност (равенството 4.2) изглежда така:

LLn( ®
x
 
 ,q)
q
 = k(q)( ^
q
 
 ( ®
x
 
 )-q).
(5.5)
Ако сега искаме да проверим дали тази оценка е максимално- правдоподобна, трябва да заместим q с [^(q)]. Тогава очевидно получаваме уравнението на правдоподобие. Q.E.D.

5.2.2  Асимптотика

Асимптотичното поведение на м.п. оценките е най-хубавото им качество.

Теорема 3 Ако плътността f(x,q),q О Q М Rm удовлетворява следните условия:

  1. притежава непрекъснати производни по q до втори ред включително;
  2. максимално - правдоподобната оценка [^(q)] е състоятелна в Rm;
  3. съществуват и са крайни следните интеграли:
    ci,j = E  ( logf(q)
    qi
    		 logf(q)
    qj
    		 )
    .
  4. матрицата C притежава ненулева детерминанта;

то асимптотичното разпределение на [^(q)] при n ®Ґ е нормално със средна стойност q и ковариационна матрица 1/n C-1.

Доказателство: Ще докажем тази теорема за едномерен параметър. Поради състоятелността можем да напишем разложението на производната на функцията на правдоподобие в ред на Тейлър около истинския параметър:

0 =
LLn( ®
x
 
 , ^
q
 
 )
q
 =
LLn( ®
x
 
 ,q)
q
 +( ^
q
 
 -q)
2 LLn( ®
x
 
 ,q)
q2
 +o( ^
q
 
 -q)2.
(5.6)
Да разгледаме поотделно трите елемента на това равенство. Първият член:

LLn( ®
x
 
 ,q)
q
 = n
е
 i = 1 
 logf(xi,q)
q
е сума от еднакво разпределени независими сл.в. и съгласно ЦГТ има асимптотично нормално поведение, когато е правилно нормиран. Съгласно равенството (4.3) имаме

E  logf(x,q)
q
 = 0,      D  logf(x,q)
q
 = c1,1 = C.

Значи трябва да нормираме първия член като разделим цялото равенство с (n C)1/2. Така първия член клони към N(0,1).

Вторият член разделяме на два съмножителя: първият (n C)1/2([^(q)]-q) е, което ни трябва, а вторият по закона на големите числа клони п.с. към 1:

1
n C
 n
е
 i = 1 
 2logf(xi,q)
q2
 ® 1
C
 E  2logf(x,q)
q2
 = 1.

Последният член очевидно клони към нула:

1
(n C)1/2
 o( ^
q
 
 -q)2® 0.
Следователно:
-(n C)1/2( ^
q
 
 -q)® N(0,1).
Q.E.D.

5.3  Конструиране на критерии с отношение на правдоподобия

В този параграф отново ще се върнем към проверката на статистически хипотези.

В много случаи не сме в състояние да формулираме просто както хипотезата си, така и алтернативата. В този слуай директното използуване на лемата на Нейман-Пирсън е затруднително. Това се получава, например, при сложна алтернатива, както видяхме в предната лекция.

Нека формулираме нашата обща постановка така. Нека Q0 М Q.

Нека определим следното отношение на правдоподобия:

l(x) =

sup
q О Q0 
 L(x,q)

sup
q О Q 
 L(x,q)
 .

Ясно е, че l(x) Ј 1. Определяме си критичната област по правилото W = {x: l(x) Ј c}. Особено удачно този тип критерии работи при нормалната теория на регресията, където ще видим и много примери за използуването им.



Начало на лекцията | Съдържание | Индекс

File translated from TEX by TTH, version 2.10.
On 5 Apr 1999, 17:47.