WNIOSKOWANIE BAYESOWSKIE, ZIMA 2026



Prawdopodobieństwo warunkowe

Zanim wprowadzimy pełne Twierdzenie Bayesa, musimy zrozumieć kluczowy mechanizm stojący za wnioskowaniem: prawdopodobieństwo warunkowe \(P(A|B)\). Pojawia się ono, gdy otrzymujemy nową informację, która zawęża naszą całkowitą przestrzeń zdarzeń. Zamiast analizować wszystkie możliwe wyniki eksperymentu (\(\Omega\)), skupiamy się wyłącznie na tej części przestrzeni, która jest spójna z zaobserwowaną informacją (zdarzeniem \(B\)). Klasyczny wzór:

\[P(A|B) = \frac{P(A, B)}{P(B)}\]


Przykład: Daltonizm i płeć

Załóżmy, że badamy daltonizm w populacji, w której \(51\%\) to kobiety, a \(49\%\) to mężczyźni. Prawdopodobieństwo spotkania daltonisty-mężczyzny \((4\%)\) jest znaczne wyższe od prawdopodobieństwa spotkania daltonistki-kobiety \((2.5\%)\).

P_F <- 0.51     # P(F) - odsetek kobiet w populacji
P_M <- 0.49     # P(M) - odsetek mężczyzn w populacji
P_FD <- 0.0025  # P(F,D) - prawdopodobieństwo wylosowania daltonistki
P_MD <- 0.04    # P(M,D) - prawdopodobieństwo wylosowania daltonisty
  • Jak często daltonizm występuje u kobiet, a jak często u mężczyzn?
# Obliczamy prawdopodobieństwa P(D|F) i P(D|M) ze wzoru na prawdopodobieństwo warunkowe
P_D_F <- P_FD/P_F
P_D_F
## [1] 0.004901961
P_D_M <- P_MD/P_M
P_D_M
## [1] 0.08163265
  • Jeśli losujemy osobę z całej populacji, prawdopodobieństwo wylosowania daltonisty \(P(D)\) to \(4.25\%\).
# Wzór na prawdopodobieństwo całkowite P(D) = P(D|F)*P(F)+ P(D|M)*P(M)
P_D = P_D_F*P_F + P_D_M*P_M
P_D
## [1] 0.0425


Wnioskowanie bayesowskie to sztuka zadawania pytań w drugą stronę: Jeśli wiem, że wylosowałem daltonistę, jakie jest prawdopodobieństwo, że to mężczyzna? \(P(M|D) = ?\)

\[P(M,D) = P(D,M)\] \[P(D|M) \cdot P(M) = P(M|D) \cdot P(D)\] \[P(M|D) = \frac{P(D|M) \cdot P(M)}{P(D)}\]

P_M_D = P_D_M*P_M/P_D
P_M_D
## [1] 0.9411765


Twierdzenie Bayesa

Twierdzenie Bayesa to po prostu matematyczny aparat pozwalający “odwrócić” prawdopodobieństwo warunkowe. W podejściu statystycznym pozwala nam ono zaktualizować naszą wiedzę o świecie na podstawie nowych danych eksperymentalnych.

Analityczna postać Twierdzenia Bayesa:

\[P(\text{Hipoteza}|\text{Dane}) = \frac{P(\text{Dane}|\text{Hipoteza}) \cdot P(\text{Hipoteza})}{P(\text{Dane})}\]


Przykład: Paradoks Monty Halla (“Idź na całość”)

Zastosujmy Twierdzenie Bayesa do klasycznego problemu. Mamy trzy bramki (\(B_1, B_2, B_3\)). Za jedną z nich jest nagroda (samochód), za dwiema są kozy. Ty wybierasz bramkę \(B_1\). Prowadzący (który wie, gdzie jest samochód) otwiera bramkę \(B_2\), pokazując kozę. Czy powinieneś zmienić swój wybór na bramkę \(B_3\)?

Analiza bayesowska:

  1. Zmienna losowa: Za którą bramką jest samochód? Hipotezy to \(S_1, S_2, S_3\).

  2. A priori: Początkowo, ponieważ nic nie wiemy, nasze przekonania są płaskie: \(P(S_1) = P(S_2) = P(S_3) = 1/3\).

  3. Dane (D): Prowadzący otwiera bramkę \(B_2\).

  4. Wiarygodność P(Dane|Hipoteza): Jak zachowa się prowadzący, jeśli samochód jest pod daną bramką?

    • Jeśli auto jest za \(B_1\), prowadzący może otworzyć \(B_2\) lub \(B_3\). Prawdopodobieństwo, że wybierze \(B_2\) to \(1/2\). (\(P(D|S_1) = 1/2\))
    • Jeśli auto jest za \(B_2\), prowadzący nie może otworzyć bramki \(B_2\), bo odsłoniłby auto! Zatem \(P(D|S_2) = 0\).
    • Jeśli auto jest za \(B_3\), prowadzący musi otworzyć bramkę \(B_2\) (nie może otworzyć twojej \(B_1\), ani \(B_3\) z autem). Zatem \(P(D\vert{}S_3) = 1\).
# Monty Hall
prior <- c(S1=1/3, S2=1/3, S3=1/3)     # A priori dla bramki 1, 2, 3
likelihood <- c(S1=1/2, S2=0, S3=1)    # Wiarygodność danych (prowadzący otwiera bramkę 2)

licznik <- prior * likelihood          # A priori * Wiarygodność 
mianownik <- sum(licznik)              # Całkowite prawdopodobieństwo danych
posterior <- licznik / mianownik       # A posteriori

posterior
##        S1        S2        S3 
## 0.3333333 0.0000000 0.6666667


Wniosek: zmiana bramki z \(B_1\) na \(B_2\) zwiększa prawdopodobieństwo wygranej dwukrotnie!


Podejście klasyczne vs bayesowskie

W statystyce istnieją dwa fundamentalnie różne podejścia do wyciągania wniosków z danych eksperymentalnych. Aby zrozumieć różnicę, wyobraźmy sobie problem z losowaniem monet z worka. W worku mamy 3 fizyczne monety:

Z zamkniętymi oczami wyciągamy jedną monetę i rzucamy nią 5 razy. Otrzymujemy 5 orłów. Jaka to moneta?


Podejście klasyczne (Częstościowe)

Podejście klasyczne zakłada, że wylosowana przez nas moneta to moneta o stałym, choć nieznanym parametrze \(\theta\). Nie ma tu pojęcia “rozkładu a priori”. Szukamy pojedynczej wartości parametru, dla której prawdopodobieństwo zaobserwowania naszych danych (5 orłów) jest największe (Estymator Największej Wiarygodności - MLE).

n <- 5 # liczba prób
k <- 5 # liczba orłów

theta_mle <- k/n
theta_mle
## [1] 1

Dla 5 orłów w 5 rzutach, funkcja wiarygodności jest zmaksymalizowana, gdy \(\theta = 1.0\). Klasyczny wniosek: to na pewno Moneta C.


Podejście bayesowskie

W tym ujęciu traktujemy nieznany parametr jako zmienną losową, a nie stałą wielkość. Pytamy: Biorąc pod uwagę moje początkowe przekonania, jak uzyskane dane zmieniają prawdopodobieństwo tego, z jaką monetą mam do czynienia?

  1. A priori: \(P(A) = 1/3, P(B) = 1/3, P(C) = 1/3\).
prior <- c(A=1/3, B=1/3, C=1/3)
  1. Wiarygodność wyrzucenia 5 orłów:

    • Dla Monety A: \(P(D|A)=0^5 = 0\).
    • Dla Monety B: \(P(D|B)=(0.5)^5 = 0.03125\).
    • Dla Monety C: \(P(D|C)=1^5 = 1\).
theta <- c(A=0, B=0.5, C=1)
likelihood <- theta^k*(1-theta)^(n-k)
likelihood
##       A       B       C 
## 0.00000 0.03125 1.00000
  1. A posteriori: Stosując Twierdzenie Bayesa, prawdopodobieństwo wynosi 0 dla Monety A, znikome \(\approx 3\%\) dla Monety B i przytłaczające \(\approx 97\%\) dla Monety C.
licznik <- prior * likelihood          # A priori * Wiarygodność 
mianownik <- sum(licznik)              # Całkowite prawdopodobieństwo danych
posterior <- licznik / mianownik       # A posteriori
posterior
##          A          B          C 
## 0.00000000 0.03030303 0.96969697

Bayesowski wniosek: na 97% mamy w dłoni Monetę C, ale zostawiamy 3% wątpliwości na wypadek, gdybyśmy mieli niezwykłe szczęście z Monetą B. Wnioskowanie bayesowskie daje nam miarę niepewności (rozkład a posteriori), na podstawie której możemy podejmować ostrożniejsze decyzje.


Naiwny klasyfikator Bayesa

Jednym z dyskretnych zastosowań Twierdzenia Bayesa jest “Naiwny klasyfikator Bayesa”, będący przykładem uczenia pod nadzorem. Jego “naiwność” wynika z tego, że zakłada wzajemną niezależność predyktorów. Pomimo ich naiwnego projektowania i bardzo uproszczonych założeń, w wielu rzeczywistych sytuacjach naiwne klasyfikatory Bayesa często pracują dużo lepiej, niż można było tego oczekiwać.

Przykład: klasyfikacja e-maili

Załóżmy, że dysponujemy historycznym zbiorem e-maili pogrupowanymi na dwie klasy: spam i ham.

documents <- data.frame(text=c("send us your password", 
                               "send us your review",
                               "password review",
                               "review us",
                               "send your password",
                               "send us your account"),
                        label=factor(c("spam","ham","ham","spam","spam","spam")))

knitr::kable(documents)
text label
send us your password spam
send us your review ham
password review ham
review us spam
send your password spam
send us your account spam

Z tego zbioru możemy łatwo wyznaczyć prawdopodobieństwa a priori: \(P(\text{spam})=\frac{4}{6}, P(\text{ham})=\frac{2}{6}\).

summary(documents$label)/length(documents$label)
##       ham      spam 
## 0.3333333 0.6666667

Prawdopodobieństwo a posteriori tego, że email zawierający wyraz review jest spamem wynosi:

\[P(\text{spam}|\text{review}) = \frac{P(\text{review}|\text{spam})P(\text{spam})}{P(\text{review})}\]

Możemy łatwo wyznaczyć poszczególne prawdopodobieństwa:

  • \(P(\text{review}|\text{spam}) = \frac{1}{4}\), ponieważ tylko w 1 wiadomości spamowej z 4 występowało słowo review,
  • \(P(\text{review}) = \frac{3}{6}\), ponieważ w 3 wiadomościach z 6 występowało słowo review.
  • Obliczamy \(P(\text{spam}|\text{review}) = \frac{1}{4} \cdot \frac{4}{6} \cdot \frac{6}{3} = \frac{1}{3}\)

Analogicznie możemy wyznaczyć prawdopodobieństwo a posteriori tego, że wiadomość zawierająca słowo review jest porządana:

\[P(\text{ham}|\text{review}) = \frac{P(\text{review}|\text{ham})P(\text{ham})}{P(\text{review})} = \frac{2}{2} \cdot \frac{2}{6} \cdot \frac{6}{3} = \frac{2}{3}\]

A w jaki sposób wyznaczyć prawdopodobieństwo a posteriori dla całej wiadomości, np. review your password? Korzystając z niezależności prawdopodobieństw i mnożąc je przez siebie:

\[P(\text{review your password}|\text{spam}) = P(\text{review}|\text{spam}) \cdot P(\text{your}|\text{spam}) \cdot P(\text{password}|\text{spam})\]

Wyznaczmy prawdopodobieństwa warunkowe wszystkich pojedynczych słów:

word <- c("send","us","your","password","review","account")

P_word <- c(4/6, 4/6, 3/6, 3/6, 3/6, 1/6)

P_word_spam <- c(3/4,3/4,3/4,2/4,1/4,1/4)

P_word_ham <- c(1/2, 1/2, 1/2, 1/2, 2/2, 0/2)

cond_prob <- data.frame(word=word,
                        P_word_spam = P_word_spam,
                        P_word_ham = P_word_ham)

knitr::kable(cond_prob)
word P_word_spam P_word_ham
send 0.75 0.5
us 0.75 0.5
your 0.75 0.5
password 0.50 0.5
review 0.25 1.0
account 0.25 0.0

Obliczmy teraz prawdopodobieństwo a posteriori tego, że wiadomość review your password jest spamem.

names(P_word) <- word
names(P_word_spam) <- word
names(P_word_ham) <- word
P_ham = 1/3
P_spam = 2/3

# Obliczamy iloczyny wiarygodności i a priori dla spam/ham
licznik <- c(spam = P_word_spam["review"]*P_word_spam["your"]*P_word_spam["password"]*P_spam,
             ham = P_word_ham["review"]*P_word_ham["your"]*P_word_ham["password"]*P_ham)

# Prawdopodobieństwo a posteriori dla spam/ham
licznik/sum(licznik)
## spam.review  ham.review 
##   0.4285714   0.5714286


Kolejne dwa przykłady ukazują słabość naiwnego klasyfikatora bayesowskiego:

  • zdanie review us zostanie uznane za wiadomość pożądaną, pomimo, że w bazie e-maili jest oznaczona jako spam,
  • zdanie zawierające słowo account zostanie zawsze uznane za spam bez względu na pozostałe słowa, ponieważ \(P(\text{account}|\text{ham}) = 0\)

Aby uniknąć zer w prawdopodobieństwam warunkowych, stosuje się tzw. wygładzenie Laplace’a, polegające na dodaniu 1 do licznika i \(k\) do mianownika, gdzie \(k\) jest liczbą klas. W naszym przypadku \(k=2\).

P_word_spam <- c(4/6,4/6,4/6,3/6,2/6,2/6)
P_word_ham <- c(2/4,2/4,2/4,2/4,3/4,1/4)
names(P_word_spam) <- word
names(P_word_ham) <- word

# Obliczamy iloczyny wiarygodności i a priori dla spam/ham
licznik <- c(spam = P_word_spam["review"]*P_word_spam["your"]*P_word_spam["account"]*P_spam,
             ham = P_word_ham["review"]*P_word_ham["your"]*P_word_ham["account"]*P_ham)

# Prawdopodobieństwo a posteriori dla spam/ham
licznik/sum(licznik)
## spam.review  ham.review 
##   0.6124402   0.3875598