Тема 8 Схема на Бернули

В тази лекция си поставяме следните цели:

да разгледаме най - простото безкрайно произведение на вероятностни пространства;
да въведем понятието изоморфизъм на вероятностни пространства;
да покажем как възниква понятието информация;
на примера на най - простата статистическа задача да илюстрираме начина, по който се строят статистическите разсъждения.

8.1 Схема на Бернули

В миналата лекция определихме (определение 6.3) схема на Бернули. Това е редица от независими еднакво разпределени случайни величини {x_i, i=1, 2, ... }, всяка от които приема две стойности: 1 и 0 с вероятности (съответно) p и q=1-p.

Съгласно теорема 1.1 този набор от случайни величини поражда вероятностна мярка в пространството от безкрайни двоични редици. Да извършим това построение.

Нека означим това пространство с E и неговите елементи с e={e₁, e₂, ...}. За всяко крайно n наборът от първите n случайни величини е векторна случайна величина, която определя в основното вероятностно пространство набор от събития:

e₁,e₂,...,e_n

= {w: {x_i=e_i},i=1,2,...n} =

i=1,2,...n

{x_i=e_i}.

Определената от тях булова подалгебра Wⁿ се състои от крайни обединения на непресичащи се множества от този тип. Wⁿ е естествено изоморфна на множеството от всички подмножества на крайното множество

ⁿ =

i=1

{ 0,1 } .

От друга страна тези булови алгебри се влагат в пространството E, като определението на съответните множества се продължава цилиндрично --- неупоменатите координати са свободни от ограничение. Там алгебрите образуват нарастваща редица. Тяхното обединение W=И Wⁿ обаче не е s-алгебра, макар че остава булова алгебра.

Върху множествата от тази алгебра вероятността се определя просто:

e₁,e₂,...,e_n

)= p^k q^n-k, k=

k=1

e_i. (8.1)

Минималната s-алгебра, която съдържа W ще означим с s(W). Това че вероятността е непрекъсната върху W следва от нейното определение --- всяко ограничение върху нарастващ брой индекси поражда намаляваща към нула редица от вероятности. Така че от теоремата на Каратеодори следва съществуването и единствеността на вероятностната мярка P на s(W). Така получаваме следната теорема:

Теорема 8.1 Вероятностното пространство ( E,s(W),P ) е добре определено и координатите на неговите елементи могат да се разглеждат като схема на Бернули.

8.2 Изоморфни пространства

Следващата теорема не е необходима за понататъшните разглеждания. Тя обаче дава представа за понятието изоморфизъм в теорията на мярката и интеграла. Ще започнем със следното определение:

Определение 8.1 Изображението

T: (W', B',P ') ѕ® (W'', B'',P '')

се нарича изоморфизъм на вероятностни пространства, ако

T е определено п.с., т.е. върху достоверно събитие в W';
T е измеримо: T^-1 (B'') О B' за " B'' О B'';
T запазва вероятността: P '(T^-1 (B''))=P ''(B'') за " B''О B'';
T е обратимо п.с. в W''.

Теорема 8.2 Вероятностното пространство ( E,s(W),P ) е изоморфно на интервала [0,1] с Бореловата s-алгебра и Лебеговата мярка върху нея.

Доказателство: Ще построим конструктивно съответствието T^-1 и ще предоставим на заинтересованите да покажат, че то е истински изоморфизъм. Ще построим на полуотворения интервал [0,1) поредица от разделяния. Първото разделяне w₁ го дели на два подинтервала [0,q) и [q,1). Разделянето w_n+1 дели всички получени до момента подинтервали на по два -- ляв и десен в същото съотношение q към p. При това левите части се обединени в едно множество, а десните в друго. Така всяко разделяне се състои от две множества - ляво и дясно, а прилагането му удвоява броя на получените до момента полузатворени интервали.

Всяка точка от [0,1) попада в точно едно от множествата лявото или дясното на разделянето w_n (за всяко n). Означаваме с e_n = 0, когато е попаднала в лявото и e_n=1 -- в дясното. Така получаваме редицата e, съответствуваща на точката. За всеки две различни точки от интервала съществува число n такова, че те се различават по първите си e_i, i=1,2,...,n.

По този начин стават изоморфни и сл.в. зададени върху двете пространства. При този изоморфизъм очевидно стойностите им върху подмножества с мярка 0 нямат значение. Така вместо с конкретни функции ние се занимаваме с класове на еквивалентност.

8.3 Количество информация и ентропия

Нека сега разгледаме понятието информация. Естествено е, когато провеждаме един експеримент с отнапред неизвестен изход, да получаваме толкова по - голяма информация от него, колкото по - малка е вероятността на резултата и по - голяма неговата неопределеност. Нека сега да формализираме неопределеността на случайните събития.

Определение 8.2 Неопределеност (информация от сбъдването) на събитието A наричаме неотрицателна функция L определена върху s-алгебрата от събития във вероятностното пространство със следните свойства:

L(W)=0;
Ако P (A) < P (B),то L(A)> L(B);
Ако A и B са независими, то L(A B)=L(A)+L(B).

Сред монотонните функции от вероятността P единственото решение изглежда така:

L(A)=

м
н
о

- b log P (A),	P (A) > 0
Ґ,	P (A) = 0.

Тук константата b > 0 (или основата на логаритъма) може да бъде избрана произволно. Заедно със събитието A очевидно трябва да се разглежда и неговото отрицание A^_. Информацията, която получаваме в един експеримент е естествено свързана с двете събития. Така ''очакваната'' информация би трябвало да се получи по формулата:

H(p) =-b( plog p + q log q)

За да се отстрани неопределеността от b се избира симетричната схема на Бернули (p=q=1/2) . Тогава функцията H(p) е максимална. Поставя се b такова, че ентропията на един експеримент в тази схема да стане 1. Така избраната единица информация носи названието бит.

Нека сега разгледаме всичките възможни (краен брой) изходи на един експеримент, зададени с пълната група събития или измеримото разделяне g = {H₁,H₂,...,H_n}. Ентропията е нещо като усреднена неопределеност за дадено разделяне на пространството от елементарни събития.

Определение 8.3 Ентропия на измеримото разделяне
g ={H₁, H₂, ..., H_n} наричаме числото:

H(g)=

i=1

L(H_i)P (H_i).

Така получаваме окончателната формула:

H(g)= -

i=1

P (H_i) log₂ P (H_i).

От тук се вижда, че максимална ентропия сред експериментите с k изхода ще има този с равновероятни изходи и тя е равна на log₂ k.

Между крайните измерими разделяния и крайните булови подалгебри във вероятностното пространство съществува естествено съответствие --- елементите на разделянето стават атоми на подалгебрата. Особено добре това се вижда в схемата на Бернули. На нарастващата редица от подалгебри W_n съответствуват все по - издребняващи разделяния w_n. Разделянето w_n, например, се състои от 2ⁿ несъвместими събития. При преминаване към следващото разделяне всяко от тези събития се разделя на две и т.н. Това съответствие може да се продължи и за произволни разделяния и s-подалгебри, но при определени условия.

Така ентропията може да се разглежда като измерител на ''издребняването'' на дадено разделяне и с нея могат да се сравняват и разделяния с различен брой елементи. По-подробно с математическата теория на информацията човек може да се запознае в [(Мартин и Ингленд,1988)].

Пример 8.1 Пресметнете ентропията на схема на Бернули с n опита и произволно p и покажете, че тя е максимална и равна на n, тогава и само тогава, когато p=q.

Д.Въндев -Теория на вероятностите - January 9, 2002