Лекция 4
Минимални достатъчни статистики

В тази лекция

4.1  Минималност

Сега е ясно, че свойството достатъчност се изразява само чрез s-алгебри.

Лема 1 Сечението на две достатъчни s-алгебри е достатъчна s-алгебра.

Доказателство: Да означим двете разделяния с g и d. Съгласно определение 3.9

E g E d = E dE g = E gЗd
Q.E.D.

Значи сечението на всички достатъчни s-алгебри ще ни даде минималната - най-икономичната.

Определение 1 Казваме, че достатъчната статистика е минимална, ако е минимална породената от нея s-алгебрa.

Минималната достатъчна s-алгебрa. може да бъде построена с използуване на факторизационната теорема. Да означим с

r(x,q) = dPq
dm
 .

Теорема 1 Минималното достатъчно разделяне g е това породено от сл.в. r(x,q) за всички q.

Доказателство:  Да означим с d разделянето породено от s(r(x,q)). Съгласно теоремата за всяка достатъчна статистика S съществува функция g, такава, че r(x,q) = g(S(x),q). Значи сл.в.r(x,q) е измерима относно s(S) за всяка S. Следователно, d Ј g.

От друга страна статистиката x самата е достатъчна и, следователно, g Ј d . Q.E.D.

Тази теорема ни помага в следното построение.

4.2  Построяване на д.с.

Интересен метод за построяване на минимални достатъчни статистики може да се използува, когато са зададени функции на правдоподобие (дискретни или непрекъснати плътности). Ще ги означаваме с f(x,q).

Определение 2 Да разгледаме частното

h(x,x0) = f(x,q)
f(x0,q)
Да определим d като кажем, че точките x и x0 са еквивалентни, ако h(x,x0) не зависи от q.

Теорема 2 Така определеното разделяне е минимално достатъчно.

Доказателство: Нека S е минимална достатъчна статистика и g = s(S). Тогава съгласно теоремата h(x,x0) = h(x)/h(x0) и не зависи от q. Значи d < g. От друга страна, ако можем да определим измеримо решение на уравнението h(x,x0) = c в вида x0 = T(x), то

f(x,q) = h(x,x0)f(x0,q) = h(x,T(x))f(T(x),q),
което означава, че статистиката T и разделянето d са достатъчни, т.е. d і g. Q.E.D.

Някак естествено човек свързва размерността на оценката с размерността на параметъра, който оценяваме - те обикновено са в едно пространство. Достатъчната статистика, обаче не бива да се разглежда като оценка. Нейната размерност (ако има такава) не винаги има нещо общо с размерността на оценяемия параметър.

Пример 1 Равномерно разпределение в интервала [q, 1+q].

Правдоподобието по мярката на Лебег в Rn се изразява лесно чрез порядковите статистики:

p(x,q) = I(q < x(1)) I(x(n) < 1+q).
Ако сега се опитаме да определим минималната достатъчна статистика, съгласно теоремата трябва да образуваме частното p(x,q)/p(x0,q) и да видим при какви условия върху данните то няма да зависи от q. Ясно е, че тов ще стане само ако минималната и максимална порядкови статистики на двете наблюдения съвпаднат. Т.е. минималната достатъчна статистика е двумерна: S(x) = {x(1),x(n)}, а параметъра - едномерен.

4.3  Пълнота и ефективност

Нека h е сл.в. и s(h) е породената от нея s-алгебра. Ще означаваме у.м.о. E h(.) = E (. /h) = E s(h). Да напомним, че е изпълнено E  = E E h и E h(.) винаги е функция от h.

Теорема 3 Нека S е достатъчна статистика за параметъра q. Нека Q е произволна неизместена оценка. Да означим t = E S(Q) = f(S). Тогава оценката t е неизместена и D ( t ) Ј D (Q).

Доказателство: 

E t(x) = E E S(Q(x)) = E Q(x) = q.
E (Q - q)2 = E (Q - t)2+E (t - q)2+2E (Q-t)(t-q)
Но последния член може да се запише по-подробно така:
E (Q-t)(t-q) = E (f(S)-q)E S(Q-t) = E (f(S)-q)(E S(Q)-t) = 0
Следователно, D (Q) і D (t). Q.E.D.

Определение 3 Нека за всяко y, за което са изпълнени равенствата

у
х 		y(s) dGq(s) = 0,    "q О Q
(4.1)
следва, че y(s) = 0 п.н. по n. Тгава ще казваме, че семейството разпределения /Gq / в Rm е пълно. Статистика S, която поражда такова семейство също наричаме пълна.

Теорема 4 Нека S е пълна и достатъчна, а статистката Q - неизместена статистика за параметъра q. Тогава статистиката t = E S(Q) е ефективна и единствена оценка.

Доказателство: Нека Q* е друга неизместена оценка. Съгласно достатъчността Q* = f*(S). Съгласно неизместеността

у
х 		f(s) dGq(s) = у
х 		f*(s) dGq(s) = q.
следователно за функцията f*-f са изпълнени равенствата 4.1 и значи f* = f. Минималността на дисперсията се гарантира от теорема 4.3. Q.E.D.

Теорема 5 Нека S е единствена м.п.о. за параметъра q. Ако е S достатъчна статистика, то тя е минимална достатъчна статистика.

Доказателство:  За яснота нека x е сл.в. с правдоподобие L(x,q). и имаме някава достатъчна статистика S. По факторизационната теорема L(x,q) = p(S(x),q)h(x). От друга страна

^
q
 
 (x) = \argmaxq L(x,q) = \argmaxq p(S(x),q) = ^
q
 
 *
 
 (S(x)).
От единствеността, следва че функцията [^(q)]*(s) от Rm в Rm е (добре определена и, следователно) измерима. Следователно, s([^(q)]) М s(S) за всяка достатъчна статистика S. Когато S(x) = [^(q)]*(S(x)), тя е минималана. Q.E.D.

Теорема 6 Пълната достатъчна статистика S е минимална достатъчна статистика.

Доказателство:  Нека g = A е минималната достатъчна s-алгебра. Да разгледаме достатъчната статистика S. Нека съществува E S. Да означим с X = S-E g S. Тъй като g < s(S), X е s(S) измерима. Следователно,

E q X = у
х 		X(s) d Gq(s) = 0
за всички q. Поради пълнотата на S X(s) = 0 п.н. n, а значи S = E g(S), т.е. S е g-измерима. Ако не съществува E S, ще разгледаме вместо S ограничената сл.в. arctg(S). Q.E.D.

Обратното твърдение не е верно. Покажете, че в примера 4.1 минималната достатъчна статистика S(x) = {x(1),x(n)} не е пълна.

4.4  Примери

Нека се върнем към примерите от миналата лекция.

Пример 2 Пуасоново разпределение (вж. пример 3.1 )

Първо за тренировка прилагаме теорема 4.2. Получаваме h(x,x0) = g(q,s)/g(q,s0) = exp((s-s0)lnq). Значи статистиката S(x) = еki = n[`(x)] е минимална достатъчна статистика.

Тъй като знаем, че статистиката е достатъчна можем направо да приложим теореми 4.3 за проверка на пълнотата и 4.6. Уравненията (4.1) в нашия случай изглеждат така (s = k О Z1):

Ґ
е
 k = 0 
 y(k) g(q,k) = Ґ
е
 k = 0 
 y(k)e-nq (nq)k = 0.
От тях естествено следва, че y(k) = 0 - значи статистиката е пълна, а вследствие на теорема 4.6 и минимална. От това, че [`(x)] е единствена м.п.о. следва че тя е и ефективна.

Пример 3 Едномерно нормално разпределение с 2 неизвестни параметъра q = {m,s}. (вж. пример 3.3)

Знаем, че достатъчната в случая статистика е: S = {еxi,еxi2}. С помощта на взимно-еднозначно преобразование в R xR+ лесно я представяме във формата: S = {[`(x)],ss} (ss = е(xi-[`(x)])2). Това е удобно, защото знаем разпределението при всяко q, а и двете координатни статистики са независими:

_
x
 
 О N(m,s/n),       ss О s*cn-1, ss > 0

Сега лесно се вижда пълнотата. Първо, всяка функция y(x) в определена на R xR+ и такава, че ||y||2 = тy2(x)dx < Ґ може да се представи в формата:

y(x) = Ґ
е
 i = 1 
 y1,i(x1)y2,i(x2).
Редът е сходящ в L2 по лебеговата мярка - ||y||2 = е||y1,iy2,i||2. Второ, прилагаме почленно уравненията (4.1) към y1,i. Така получаваме, че статистиката е пълна и, следователно, минимална достатъчна.

Пример 4 Равномерно разпределение [0,q].

Разглеждаме статистиката S(x) = x(n).

P q(x) = q-n,Iq > S(x) > 0 = p(q,s)
зависи от x само чрез S(x). Значи тя е достатъчна.

Разпределението на S е:

P (S < s) = (s/q)n,     0 Ј s Ј q.

Уравненията (4.1) в нашия случай изглеждат така

у
х 		q

0 
 y(s) n sn-1
qn
 ds = 0,      "q > 0 .
С други думи тq0 y(s) sn-1 ds = 0 "q > 0 и n фиксирано. От тях следва, че y(s) = 0 - значи статистиката е и пълна и минимална.

Начало на лекцията | Съдържание | Индекс

File translated from TEX by TTH, version 2.10.
On 4 Jun 1999, 15:57.