Смисълът на Бейсовия подход е в разглеждането на неизвестния параметър като сл.в. с някаква (известна или не) плътност q(s) на разпределение по отношение на мярката m (на Лебег или някаква вероятност). Плътността q наричаме априорна, т.е. зададена до експеримента. В Бейсовия подход се предполага, че в момента на провеждане на експермента параметъра q се избира случайно съгласно тази плътност.
Така, когато е известно семейството на плътности на разпределение p(x,t) относно l, получаваме съвместно разпределение за извадката и параметъра:
| (6.1) |
При тази симетрия на съвместното разпределение няма проблем и в изучаването на условните разпределения при зададено x :
| (6.2) |
Тази формула се нарича формула на Байес за апостериорните разпределения qx(t). Съгласно свойствата на у.м.о. сред всички функции f(x) минимизира дисперсията E (q- f(x))2 точно условното математическо очакване, т.е. оценката
| (6.3) |
Определение 1 Оценка определена по формула (6.3) наричаме бейсова с априорно разпределение q.
Така бейсовата оценка минимизира усредненото с тегло q средно квадратично отклонение на оценката от параметъра:
| |||||||||||
Тук с s2(x) = т(E xq-t)2 qx(t)dm(t) сме означили дисперсията на апостериорното разпределение. Да отбележим, че бейсовите оценки се определят изцяло от условните разпределения при фиксирано x.
Съществува и модификация на този подход, когато неизвестното априорно разпределение се заменя с оценка построена по началните наблюдения. Тя се нарича емпиричен Бейсов подход на Г.Робинс.
Определение 2
Оценката S се нарича минимаксна, ако за всяка друга
оценка T е изпълнено неравенството:
sup
q О Q
E q (S-q)2 Ј
sup
q О Q
E q (T-q)2. (6.4)
С други думи за минимаксната оценка се достига
|
Теорема 1
Нека q* е бейсова. Ако съществуват оценка T и
разпределение Q, такива че при всички t е изпълнено
неравенството
E t (T-q)2 Ј
у
х
E u (q* - u)2 q(u) dm, (6.5)
Доказателство: Нека S е произволна оценка
| |||||||||
Да отбележим, че когато такава оценка съществува неравенството (6.5) всъщност се превръща в равенство п.н. по q. Иначе след интегриране на лявата част ще стигнем до противоречие с определението на бейсова оценка. Това влече следният критерии за минимаксност.
Теорема 2
Ако оценката T е
то тя е минимаксна.
Така минимаксната оценка е бейсова, но с такова априорно разпределение, което изравнява погрешността. Затова такова разпределение обикновено се нарича най-лошо. Не винаги обаче такова разпределение съществува. Затова се използува следният трик за проверка на минимаксността.
Теорема 3
Ако съществува оценка T такава, че за някаква редица от
от бейсови оценки с априорни разпредления qn е изпълнено
E t (T-q)2 Ј
limsup
n
у
х
E u (q*q -u)2 qn(u) dm(u), "t О Q,
Доказателство: За всяка оценка S имаме
| |||||||||||||||||||
Пример 1 Нормално разпределение N(m,1).
Достатъчна статистика за m е [`(x)]. Нейното разпределение в R1 е N(m,1/n) . Нека приемем за априорно разпределение също нормалното: N(0,k) . Да пресметнем условното разпределение (q(t) = (2pk)-1/2 exp(-t2/(2k)):
| ||||||||||||||||||||||||||||||
Следователно, бейсовата оценка е
|
Когато устремим k® Ґ s2k® 1/n . Следователно, [`(x)] е и минимаксна оценка.
Пример 2 Биномно разпределение B(n,p).
Дисперсията на оценката [`(x)] е p(1-p)/n. Така че критерият на теорема 6.2 не е изпълнен. Да разгледаме ''корeгираната'' оценка
| (6.6) |
Тя е изместена, но квадратичното \'и отклонение
|
не зависи от p. Ако покажем, че тя е бейсова, по теорема 6.2 ще следва, че е минимаксна. Да вземем за априорно Бета-разпредление B(N+1,N+1):
|
Тъй като ft(x) = tn[`(x)](1-t)n(1-[`(x)]) , апостериорното разпределение, пропорционално на ft(x)q(t) ще бъде също Бета, но с други параметри: a = N+[`(x)]n+1,b = N+n(1-[`(x)])+1. Математическото му очакване (бейсовата оценка) е
|
Ако поставим N+1 = Цn/2 , ще получим обещаната по-горе минимаксна оценка. Самата [`(x)] не е минимаксна, защото
|
Тъй като точното намиране на бейсови и минимаксни статистики далеч не винаги е възможно, естествено е тези свойства изразени с неравенства, да се разширят в асимптотически смисъл.
Поради това, че обикновено дисперсията на редица от оценки намалява като n-1 е удобно следното просто определение.
Определение 3
Наричаме редицата оценки Tn асимптотично бейсова
(или минимаксна), ако за всяка друга редица Sn е изпълнено
limsup
n
n(E (T-q)2 - E (S-q)2) Ј 0
limsup
n
n(
sup
t
E t(T-q)2 -
sup
t
E t(S-q)2) Ј 0
Може би отношението на съответните дисперсии би било също достатъчно за това обобщение. В многомерния случай почти всичко разгледано по-горе се обобщава естествено.
Нека T е оценка и V произволна неотрицателно определна симетрична матрица. Да означим с v(T) = (T-q)ўV(T-q) сл.в. представяща ''квадратичното'' отклонение на оценката от параметъра.
Определение 4
Казваме, че оценката T е бейсова (или минимаксна), ако за
произволна друга оценка S и произволна неотрицателно определна
симетрична матрица V е изпълнено:
E (v(T) - E v(S)) Ј 0
sup
t
E t(v(T) -
sup
t
E t v(S)) Ј 0