Dalībnieks:Santa Vociša/Smilšu kaste

Zilā neona zīme. vienkāršs Beijesa formulas izvedums.

Beijesa teorēma

Beijesa teorēma (Beijesa formula) — viena no pamatteorēmām elementārās varbūtības teorijā, ar kuras palīdzību var noteikt kaut kāda notikuma varbūtību iespējamību, ar noteikumu, ja ir zināms, ka ir noticis cits notikums, kas ir statistiski savstarpēji atkarīgs no tā. Citiem vārdiem sakot, pēc Beijesa formulas var daudz precīzāk aprēķināt varbūtības, ņemot vērā gan iepriekš zināmu informāciju, gan arī jauniegūtos novērojuma datus. Formulu Beijesa var izteikt no galvenajām varbūtību teorijas pamata aksiomām, galvenokārt, no nosacītās varbūtības. Beijesa teorēmas specifiskā iezīme ir tāda, ka tā praktiskajā pielietojumā ir vajadzīgs liels skaits datu un aprēķinu, tāpēc Beijesa teorēmas aprēķinus aktīvi sāka izmantot tikai pēc revolūcijas datora un tīkla tehnoloģijās.

Parādoties Beijesa teorēmai, tās izmantotās varbūtības tika pakļautas vairākām iespējamām interpretācijām. Vienā no šīm interpretācijām tiek teikts, ka formulas atvasinājums ir tieši saistīts ar tās izmantošanu speciālās pieejas statistiskas analīzei. Ja izmantot Beijesa varbūtības teorijas interpretāciju, tad teorēma parāda, kā personīgais uzticības līmenis var ievērojami mainīties notikušo notikumu skaita dēļ. Tas arī ir Beijesa secinājumi, kas ir kļuvuši par fundamentu Beijesa statistikai. Tomēr teorēmu lieto ne tikai Beijesa analīzē, bet to arī aktīvi izmanto daudzos citos aprēķinos.

Psiholoģiskie eksperimenti parādīja, ka cilvēki bieži nepareizi novērtē notikuma varbūtību, viņi pamatojas uz gūto pieredzi,jo ignorē pašu iespējas varbūtību. Tādēļ pareizais rezultāts, izmantojot Beijesa formulu, var ļoti atšķirties no intuitīvi gaidāmajā rezultāta.

Beijesa teorēma ir nosaukta par godu tā autoram Tomasam Beijesam (1702-1761), angļu matemātiķis un priesteris, kurš pirmo reizi ierosināja izmantot šo teorēmu, lai koriģētu uzskatus, pamatojoties pēc atjauninātajiem datiem. Viņa darbs «An Essay towards solving a Problem in the Doctrine of Chances» pirmo reizi tika publicēts 1763.gadā, 2 gadus pēc autora nāves. Pirms tam, kā Bejesa darbu pieņema un izlasīja Karaliskā sabiedrība, to ievērojami rediģēja un atjaunināja Ričards Praiss. Tomēr šīs idejas netika publiskotas līdz brīdim, kamēr tās atkal neatklāja un neizstrādāja Laplass, kas pirmo reizi publicēja mūsdienu teorēmas formulējumu savā 1812. gada grāmatā "Analītiskās varbūtības teorija".

Sers Harolds Jeffries rakstīja, ka Beijesa teorēma "priekš varbūtības teorijas ir tāda pati, kā Pitagora teorēma priekš ģeometrijas."

Formulējums

Beijesa formula:

$P(A|B)=\left({\frac {P(B|A)P(A)}{P(B)}}\right)$,

kur

$P(A)$- apriorā hipotēzes A varbūtība

$P(A|B)$- hipotēzes A varbūtība, ja izpildās B

$P(B|A)$- varbūtība B notikuma notikšanai, ja ir patiesa hipotēze A

$P(B)$- pilnīgā varbūtība notikuma B izpildīšanai.

Pierādījums

Beijesa formula izriet no nosacījuma varbūtības definīcijas. Vienota notikuma AB varbūtība ir izteikta divos veidos, izmantojot nosacījuma varbūtības.

$P(AB)=P(A\mid B)P(B)=P(B\mid A)P(A)$

Tādēļ $P(A\mid B)={\frac {P(AB)}{P(B)}}={\frac {P(B\mid A)\,P(A)}{P(B)}}$

Aprēķini $P(B)$

Uzdevumos un statistikas lietojumos P(B) parasti aprēķina pēc pilnīgās notikumu varbūtības formulas, kas ir atkarīga no vairākām nesaderīgām hipotēzēm, kuru kopējā varbūtība ir 1.

$P(B)=\sum _{i=1}^{N}P(A_{i})P(B\mid A_{i})$,

kur ir zināmas varbūtības zem summas zīmes vai pieļauj to eksperimentāli novērtēt.

Tādā gadījumā, formulu Beijesa raksta:

$P(A_{j}\mid B)={\frac {P(A_{j})P(B\mid A_{j})}{\sum _{i=1}^{N}P(A_{i})P(B\mid A_{i})}}$

"Fiziskā nozīme" un terminoloģija.

Beijesa formula ļauj "pārkārtot cēloņus un sekas": no zināmā notikuma fakta aprēķināt varbūtību, ka to izraisījis kāds cēlonis.

Šajā gadījumā notikumus, kas atspoguļo "cēloņu" darbību, sauc par hipotēzēm, jo tie ir iespējamie notikumi, kas to izraisīja. Par pilnīgāko varbūtības hipotēzes taisnīgumu sauc a priori (cik vispār ir iespējams šis notikums), bet nosacīto, ņemot vērā notikušo notikumu, sauc par a posteriori (cik liela varbūtība izrādījās, ņemot vērā notikuma datus).

Piemēri

1.piemērs

Kā piemēram, notikums B būs - automašīnu neravar iedarbināt, un hipotēze A - tvertnē nav degvielas. Acīmredzams, varbūtība $P(B\mid A)$, ka mašīnu nevarēs iedarbināt, ja tvertnē nav degvielas, ir vienāda ar viens. Līdz ar to a posteriori varbūtība, ka tvertnē nav degvielas, ja automašīnu nevar iedarbināt, kas ir $P(A\mid B)$ ir vienāda ar ${\frac {P(A)}{P(B)}}$, kas nozīmē, ka a priori varbūtība, ka tvertnē nav degvielas, attiecība pret varbūtību, ka mašīnu nevar iedarbināt. Piemēram, ja iepriekšēja varbūtība, ka tvertnē nav degvielas, ir 1%, un varbūtība, ka automašīna nedarbosies, ir 2%, un nejauši izvēlēta automašīna neiedarbināsies, tad varbūtība, ka tvertnē nav degvielas, ir 50%.

2.piemērs

Пусть вероятность брака у первого рабочего , у второго рабочего — , а у третьего — . Первый изготовил  деталей, второй —  деталей, а третий —  деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Brāķa varbūtība pirmajam strādniekam ir $p_{1}=0{,}9$, otrajam strādniekam - $p_{2}=0{,}5$ un trešajam strādniekam - $p_{3}=0{,}2$ . Pirmais izgatavoja $n_{1}=800$detaļas , otrais - $n_{2}=600$detaļas un trešais- $n_{3}=900$ detaļas. Rūpnīcas vadītājs paņem pēc nejaušības principa vienu detaļu un viņa izrādās ir brāķēta. Jautājums ir, cik ir liela varbūtība, ka šo detaļu ir izgatavojis trešais darbinieks?

Notikums $B$ - detaļas brāķis, notikums $A_{i}$- detaļu izgatavoja strādnieks $i$. Tad $P(A_{i})=n_{i}/N$, kur $N=n_{1}+n_{2}+n_{3}$, bet $P(B\mid A_{i})=p_{i}$.

Pēc pilnīgās varbūtības formulas:

$P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).$

Pēc Beijesa formulas mēs iegūsim:

$P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)}}={\frac {P(B\mid A_{3})P(A_{3})}{P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+P(B\mid A_{3})P(A_{3})}}=$$={\frac {p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N}}={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300}}=0{,}15.$

Koka diagramma parāda biežuma piemēru. R, C, P un P ar domuzīmi ir notikumi, kas norāda, ka vabole ir reta, parasta, ar rakstu un bez raksta. Aprēķina procentus iekavās. Ņemiet vērā, ka tiek dotas trīs neatkarīgo notikumu vērtības, tāpēc ir iespējams aprēķināt apgriezto koku (skat. Iepriekšējo grafiku).

3.piemērs

Entomologs domā, ka iespējams vabole var piederēt pie retām vaboļu sugām, jo tā ķermeņa korpusā ir īpaši raksti . Retās pasugās 98% vabolēm ir raksti vai P (Raksti | Rets) = 0,98 (P (Pattern | Rare) = 0,98). Starp parastajām vabolēm tikai 5%, kurām ir raksti. Retas kukaiņu sugas ir tikai 0,1% no visas populācijas. Kāda ir varbūtība, ka vabole ar rakstu pieder pie reta apakštipa vai P (Rets | Raksti) (P (Rare| Pattern))?

No paplašinātās Beijesa teorēmas iegūstam ( jebkurš kukainis var piederēt vai nu pie reta vai parasta (Common) sugas) : ${\begin{aligned}P({\text{Rare}}\mid {\text{Pattern}})&={\frac {P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})}{P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})\,+\,P({\text{Pattern}}\mid {\text{Common}})P({\text{Common}})}}\\[8pt]&={\frac {0{,}98\times 0{,}001}{0{,}98\times 0{,}001+0{,}05\times 0{,}999}}\\[8pt]&\approx 1{,}9\,\%.\end{aligned}}$

4.piemērs — Beijesa teorēmas paradokss

Pieņemsim, ka ir slimība ar izplatības biežumu starp iedzīvotājiem 0,001 un diagnostiskās pārbaudes metodi, kas ar 0,9 varbūtību identificē pacientu, bet tajā pašā laikā varbūtība ir 0,01 kļūdaini noteiktu slimību veselam cilvēkam. Atrodiet varbūtību, ka persona ir vesela, ja viņš tika atzīts par slimu pārbaudes laikā.

Apzīmēsim ar B - gadījums, kad persona slimo, „B” ir notikums, ka pārbaude parādīja, ka persona ir slima, un Z - notikums, kad persona ir vesela. Tad norādītie nosacījumi tiek pārrakstīti šādi:

P(«B» | B) = 0,9;

Р(«B» | Z)= 0,01;

Р(B) = 0,001, значит P(Z) = 0,999.

Varbūtība, ka cilvēks ir vesels, ja tas bija atzīts slims vienāda ar nosacīto varbūtību:

Р(Z | «B»).

Lai to atrastu, aprēķināsim vispirms pilnīgo varbūtību , kad cilvēks atzīts par slimu:

Р(«B») = 0,999 × 0,01 + 0,001 × 0,9 = 1,089 %.

Varbūtība, ka cilvēks tomēr ir vesels, ja ir rezultāts "slims".:

Р(Z | «B») = 0,999 × 0,01 / (0,999 × 0,01 + 0,001 × 0,9) ≈ 91,7 %.

Tādējādi 91,7% cilvēku, kuriem aptauja parādīja rezultātu „slims”, ir faktiski veseli cilvēki. Iemesls tam ir tāds, ka saskaņā ar uzdevuma viltus-pozitīvā rezultāta nosacījumiem kaut arī ir maza, bet beigās deva uz galvas tiesu vairāk slimu cilvēku pētāmajā cilvēku grupā.

Ja aptaujas kļūdainos rezultātus var uzskatīt par nejaušiem, tad vienas un tās pašas personas atkārtota pārbaude sniegs neatkarīgu rezultātu no pirmā. Šajā gadījumā, lai samazinātu viltus-pozitīvo rezultātu iespējamību, ir lietderīgi vēlreiz pārbaudīt cilvēkus, kuri ir saņēmuši rezultātu "slimi". Varbūtību, ka cilvēks ir vesels pēc rezultāta “slims” iegūšanas, var aprēķināt arī pēc Beijesa formulas: Р(Z| «B», «B») = 0,999 × 0,01 × 0,01 / (0,999 × 0,01 × 0,01 + 0,001 × 0,9 × 0,9) ≈ 10,98 %.

Varbūtību interpretācijas varianti Beijesa teorēmā

Matemātiski Beijesa teorēma parāda attiecību starp notikuma A varbūtību un notikuma B, P (A) un P (B) varbūtību, notikuma A nosacīto varbūtību iestāšanās eksistējot notikumam B un notikuma B iestāšanās, ja notiek A, P (A | B) un P (B) | A).

Kopējā formā Beijesa formulā izskatās sekojoši:

$P(A\mid B)={P(B\mid A)\,P(A)}/{P(B)}$

Izteiksmes nozīme atkarīga no tā, kā interpretējas varbūtība dotajā formulā.

Beijesa interpretācijas.

Beijesa interpretācijā varbūtība mēra ticamības līmeni. Beijesa teorēma apvieno pieņēmumu ticamību līdz un pēc vērā ņemamiem pierādījumu. Piemēram, kāds pieņēma, ka, izmetot monētu, tā izkrīt divas reizes biežāk ar skaitli augšup. Sākotnēji ticamības pakāpe, ka šāds notikums notiks, monēta nokritīs ar ciparu uz augšu- 50%. Uzticības līmenis var palielinātie līdz 70%, ja pieņēmumu apstiprina pierādījumi.

Pieņēmumiem (hipotēzēm) A un pierādījumiem B

• P(A) — a priora hipotēzes varbūtība A, sākotnējais ticamības pieņēmums A;
• P(A | B) — a posterior hipotēzes varbūtība A, notiekot notikumam B;
• attiecība P(B | A)/P(B) parāda, kā notikums B palīdz mainīt pieņēmuma ticamības līmeni A.

Frekvenču interpretācijas ilustrācija

Frekvenču interpretācija

Frekvenču interpretācijā Beijesa teorēma fiksē notikušo notikumu skaitu (iespējas) un nosaka to varbūtību. Piemēram, pieņemsim, ka eksperiments tika veikts vairākas reizes. P (A) ir notikumu A reižu skaits, kas noticis (mērīts daļās). P (B) ir notikumu B reižu skaits, kas noticis (mērīts daļās). P (B | A) ir notikuma “B” rašanās biežums (daļās) nenotiekot notikumam A. P (A | B) ir notikuma A rašanās nenotiekot notikumam B.

Beijesa teorēmas nozīmi vislabāk var saprast no diagrammas labajā pusē. Abas diagrammas parāda notikumus A un B ar pozitīviem un negatīviem rezultātiem, lai parādītu visus varbūtību iznākumus. Beijesa teorēmu izmanto kā saikni starp šīm dažādajām daļām.

Forma

Notikumi

Parasta forma

Prieks notikuma A un B, ar nosacījumu, ka P(B) ≠ 0,

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}\cdot$

Daudzi Beijesa teorēmas papildinājumi norāda, ka notikums B ir zināms un nepieciešams saprast, kā zināšanas par notikumu B ietekmē pārliecību, ka notikums A notiks.Tādā gadījumā pēdējā gadījumā saucējs ir - notikuma B iespējamība - zināms; mēs vēlamies mainīt A. Beijesa teorēmu parāda, ka a posteriori varbūtības ir proporcionālas skaitītājam:

$P(A\mid B)\propto P(A)\cdot P(B\mid A)$(proporcionalitāte A priekš dotā B).

Ja notikumi A1, A2, ... ir savstarpēji izslēdzoši un izsmeļoši, tas ir, tikai viens no notikumiem ir iespējams,vienā un tajā pašā laikā divi notikumi nevar notikt kopā, mēs varam noteikt proporcionalitātes koeficientu, orientējoties uz to, ka to kopējā varbūtības summa ir viens. Piemēram, konkrētam notikumam A - notikums A un tā pretējais notikums ¬A, ir savstarpēji izslēdzoši un izsmeļoši. Norādot proporcionalitātes koeficientu kā C, mums ir:

$P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)$ un $P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)$

Apvienojot abas formulas, mēs iegūstam:

$c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A)}}.$

Paplašinātā forma

Bieži vien notikumu telpa (tādu kā {A_j}) noteikti terminos P(A_j) и P(B | A_j). Tieši šajā gadījumā ir labi noteikt P(B), pielietojot pilnīgo varbūtības teorēmu:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},$

$\implies P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}\cdot$

Jo īpaši:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}$

Diagramma atspoguļo Beijesa teorēmas nozīmi un ir piemērojama notikumu telpai, ko veido nepārtraukti nejaušie mainīgie X un Y. Ņemiet vērā, ka pēc Beijesa teorēmas ir prasības katram telpas punktam. Praksē šīs prasības var attēlot parametru formā, izmantojot sadalījuma blīvuma apzīmējumu kā x un y funkciju.

Nepārtrauktie nejaušie mainīgie

Izskatīsim elementāro notikumu telpu Ω, ko veido divi daudzumi X un Y. Principā Beijesa teorēma pielietojas notikumiem A = {X = x} un B = {Y = y}. Tomēr izteiksmes kļūst vienādas ar 0 vietās, kur mainīgajam ir ierobežots varbūtības blīvums. Lai turpinātu lietderīgi izmantot Beijesa teorēmu, to var formulēt piemērotu blīvuma izteiksmē.

Parastā forma

Ja X nepārtraukta un Y diskrēta, tad

$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.$

Ja X diskrēts un Y nepārtraukta,

$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.$

Ja gan X, gan Y nepārtraukti,

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Diagramma, kas parāda, ka telpas varbūtības, ko veido nepārtraukti nejauši mainīgie lielumi X un Y, bieži vien nosakās.

Paplašinātā forma

Nepārtraukta notikumu telpa bieži tiek definēta kā nosacījumu A skaitītājs. Nepārtraukta notikuma telpa bieži tiek attēlota kā skaitītājs. Tālāk ir lietderīgi atbrīvoties no saucēja, izmantojot vispārējo varbūtības formulu. Priekš“fY (y), tas kļūst par integrāli:

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .$

Beijesa likums

Beijesa likums - pārveidota Beijesa teorēma:

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$,

kur

$\Lambda (A_{1}:A_{2}|B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

To sauc par Beijesa likumu vai pareizuma attiecību. Divu notikumu rašanās varbūtības atšķirība ir tikai šo divu notikumu varbūtību attiecība. Tādējādi,

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}}$,

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}$

Formulu atvasināšana

Priekš notikumiem

Beijesa teorēma var būt iegūta no noteiktas varbūtības:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ if }}P(B)\neq 0,$

$P(B\mid A)={\frac {P(A\cap B)}{P(A)}},{\text{ if }}P(A)\neq 0,$

$\implies P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),$

$\implies P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ if }}P(B)\neq 0.$

Priekš nejaušiem mainīgajiem

Attiecībā starp diviem nepārtrauktiem nejaušiem mainīgajiem lielumiem X un Y, Beijesa teorēmu var līdzīgi atvasināt no nosacītā sadalījuma definīcijas:

$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

$\implies f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Literatūra

• • Гмурман В. Е. Теория вероятностей и математическая статистика, — М.: Высшее образование. 2005
  • Judgment under Uncertainty: Heuristics and Biases / Daniel Kahneman, et al. — 21st. — Cambridge University Press, 2005. — 555 p. — ISBN 978-0-521-28414-1.
  • Элиезер Юдковски. Наглядное объяснение теоремы Байеса

Tālākai izpētei

• McGrayne, Sharon Bertsch. The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy. — Yale University Press, 2011. — ISBN 978-0-300-18822-6.
• Andrew Gelman, John B. Carlin, Hal S. Stern, and Donald B. Rubin (2003), «Bayesian Data Analysis», Second Edition, CRC Press.
• Charles M. Grinstead and J. Laurie Snell (1997), «Introduction to Probability (2nd edition)», American Mathematical Society (free pdf available [1].
• Pierre-Simon Laplace. (1774/1986), «Memoir on the Probability of the Causes of Events», Statistical Science 1(3):364-378.
• Peter M. Lee (2012), «Bayesian Statistics: An Introduction», Wiley.
• Rosenthal, Jeffrey S. (2005): «Struck by Lightning: the Curious World of Probabilities». Harper Collings.
• Stephen M. Stigler (1986), «Laplace’s 1774 Memoir on Inverse Probability», Statistical Science 1(3):359-363.
• Stone, JV (2013). Chapter 1 of book «Bayes’ Rule: A Tutorial Introduction», University of Sheffield, England.

Saites

• The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011
• Weisstein, Eric W. Bayes' Theorem (англ.) на сайте Wolfram MathWorld.
• Bayes' theorem (англ.) на сайте PlanetMath.
• A tutorial on probability and Bayes’ theorem devised for Oxford University psychology students
• An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky