Тема 8 Схема на Бернули
В тази лекция си поставяме следните цели:
-
да разгледаме най - простото безкрайно
произведение на вероятностни пространства;
- да въведем понятието изоморфизъм
на вероятностни пространства;
- да покажем как възниква понятието информация;
- на примера на най - простата статистическа задача да
илюстрираме
начина, по който се строят статистическите разсъждения.
8.1 Схема на Бернули
В миналата лекция определихме (определение 6.3)
схема на Бернули. Това е
редица от независими еднакво разпределени
случайни величини {xi, i=1, 2, ... }, всяка от които
приема две стойности: 1 и 0 с вероятности (съответно) p и
q=1-p.
Съгласно теорема 1.1 този набор от случайни
величини поражда вероятностна мярка в пространството от безкрайни
двоични редици. Да извършим това построение.
Нека означим това пространство с E и неговите елементи
с
e={e1, e2, ...}. За всяко крайно
n
наборът от първите n случайни величини е векторна случайна
величина, която определя в основното вероятностно пространство
набор от събития:
W |
|
=
{w: {xi=ei},i=1,2,...n}
= |
|
{xi=ei}. |
Определената от тях булова подалгебра Wn се състои от
крайни обединения на непресичащи се множества от този тип. Wn
е естествено изоморфна на множеството от всички подмножества на
крайното множество
От друга страна тези булови алгебри се влагат
в пространството E, като определението на
съответните множества се продължава цилиндрично --- неупоменатите
координати са свободни от ограничение. Там алгебрите образуват
нарастваща редица. Тяхното обединение W=И Wn обаче не е
s-алгебра, макар че остава булова алгебра.
Върху множествата от тази алгебра вероятността се определя
просто:
P |
(W |
|
)=
pk qn-k, k= |
|
ei.
(8.1) |
Минималната s-алгебра, която съдържа W ще означим с
s(W). Това че вероятността е непрекъсната върху W следва
от нейното определение --- всяко ограничение върху нарастващ брой
индекси поражда намаляваща към нула редица от вероятности. Така че
от теоремата на Каратеодори следва съществуването и единствеността
на вероятностната мярка P на s(W). Така получаваме
следната теорема:
Теорема 8.1
Вероятностното пространство ( E,s(W),P ) е добре
определено и координатите на неговите елементи могат да се
разглеждат като схема на Бернули.
8.2 Изоморфни пространства
Следващата теорема не е необходима за понататъшните
разглеждания. Тя обаче дава представа за понятието изоморфизъм в
теорията на мярката и интеграла. Ще започнем със следното
определение:
Определение 8.1 Изображението
T: (W', B',P ') ѕ®
(W'', B'',P '')
се нарича изоморфизъм на вероятностни пространства, ако
-
T е определено п.с., т.е. върху достоверно събитие в
W';
- T е измеримо: T-1 (B'') О B' за " B'' О
B'';
- T запазва вероятността: P '(T-1 (B''))=P ''(B'')
за " B''О B'';
- T е обратимо п.с. в W''.
Теорема 8.2
Вероятностното пространство ( E,s(W),P ) е
изоморфно на интервала [0,1] с Бореловата
s-алгебра и Лебеговата мярка върху нея.
Доказателство: Ще построим конструктивно съответствието T-1 и ще предоставим
на заинтересованите да покажат, че то е истински изоморфизъм.
Ще построим на полуотворения интервал [0,1) поредица
от разделяния. Първото разделяне w1
го дели на два подинтервала [0,q) и
[q,1).
Разделянето wn+1 дели всички получени до момента подинтервали
на по два -- ляв и десен в
същото съотношение q към p. При това левите части
се обединени в едно множество, а десните в друго. Така всяко разделяне
се състои от две множества - ляво и дясно, а прилагането му удвоява
броя на получените до момента полузатворени интервали.
Всяка точка от [0,1) попада в точно едно от множествата
лявото или дясното на разделянето wn (за всяко n).
Означаваме с en = 0, когато е попаднала в лявото и en=1
-- в дясното. Така получаваме редицата e, съответствуваща
на точката. За всеки две
различни точки от интервала съществува число n такова, че
те се различават по първите си ei, i=1,2,...,n.
![](box.gif)
По този начин стават изоморфни и сл.в. зададени върху двете
пространства. При този изоморфизъм очевидно стойностите им върху
подмножества с мярка 0 нямат значение. Така вместо с
конкретни функции ние се занимаваме с класове на еквивалентност.
8.3 Количество информация и ентропия
Нека сега разгледаме понятието информация. Естествено е, когато
провеждаме един експеримент с отнапред неизвестен изход, да
получаваме толкова по - голяма информация от него, колкото
по - малка е вероятността на резултата и по - голяма
неговата неопределеност. Нека сега да формализираме
неопределеността на случайните събития.
Определение 8.2
Неопределеност (информация от сбъдването) на събитието A
наричаме неотрицателна функция
L определена върху s-алгебрата от събития във
вероятностното пространство със следните свойства:
-
L(W)=0;
- Ако P (A) < P (B),то L(A)> L(B);
- Ако A и B са независими, то
L(A B)=L(A)+L(B).
Сред монотонните функции от вероятността P единственото решение
изглежда така:
L(A)= |
м н о |
- b log P (A), |
P (A) > 0 |
Ґ, |
P (A) = 0. |
|
|
Тук константата b > 0 (или основата на логаритъма) може да
бъде избрана произволно. Заедно със събитието A очевидно
трябва да се разглежда и неговото отрицание A_.
Информацията, която получаваме в един експеримент е естествено
свързана с двете събития. Така ''очакваната'' информация би
трябвало да се получи по формулата:
H(p) =-b( plog p + q log q)
За да се отстрани неопределеността от b се избира
симетричната схема на Бернули (p=q=1/2) . Тогава
функцията H(p) е максимална. Поставя се b такова, че
ентропията на един експеримент в тази схема да стане 1. Така
избраната единица информация носи названието бит.
Нека сега разгледаме всичките възможни (краен брой) изходи на
един експеримент, зададени с пълната група събития или измеримото
разделяне g = {H1,H2,...,Hn}. Ентропията е нещо като
усреднена неопределеност за дадено разделяне на пространството от
елементарни събития.
Определение 8.3
Ентропия на измеримото разделяне
g ={H1, H2, ..., Hn} наричаме числото:
Така получаваме окончателната формула:
H(g)= - |
|
P (Hi) log2 P (Hi). |
От тук се вижда, че максимална ентропия сред експериментите с k
изхода ще има този с равновероятни изходи и тя е равна на
log2 k.
Между крайните измерими разделяния и крайните булови подалгебри
във вероятностното пространство съществува естествено съответствие
--- елементите на разделянето стават атоми на подалгебрата.
Особено добре това се вижда в схемата на Бернули. На нарастващата
редица от подалгебри Wn съответствуват все по - издребняващи
разделяния wn. Разделянето wn, например, се състои от 2n
несъвместими събития. При преминаване към следващото разделяне
всяко от тези събития се разделя на две и т.н. Това съответствие
може да се продължи и за произволни разделяния и
s-подалгебри, но при определени условия.
Така ентропията може да се разглежда като измерител на ''издребняването''
на дадено разделяне и с нея могат да се сравняват и разделяния с различен
брой елементи. По-подробно с математическата теория на информацията
човек може да се запознае в [(Мартин и Ингленд,1988)].
Пример 8.1
Пресметнете ентропията на схема на Бернули с n опита и
произволно p и покажете, че тя е максимална и равна на n,
тогава и само тогава, когато p=q.
Д.Въндев -Теория на вероятностите - January 9, 2002