Zanim wprowadzimy pełne Twierdzenie Bayesa, musimy zrozumieć kluczowy mechanizm stojący za wnioskowaniem: prawdopodobieństwo warunkowe \(P(A|B)\). Pojawia się ono, gdy otrzymujemy nową informację, która zawęża naszą całkowitą przestrzeń zdarzeń. Zamiast analizować wszystkie możliwe wyniki eksperymentu (\(\Omega\)), skupiamy się wyłącznie na tej części przestrzeni, która jest spójna z zaobserwowaną informacją (zdarzeniem \(B\)). Klasyczny wzór:
\[P(A|B) = \frac{P(A, B)}{P(B)}\]
Załóżmy, że badamy daltonizm w populacji, w której \(51\%\) to kobiety, a \(49\%\) to mężczyźni. Prawdopodobieństwo spotkania daltonisty-mężczyzny \((4\%)\) jest znaczne wyższe od prawdopodobieństwa spotkania daltonistki-kobiety \((2.5\%)\).
P_F <- 0.51 # P(F) - odsetek kobiet w populacji
P_M <- 0.49 # P(M) - odsetek mężczyzn w populacji
P_FD <- 0.0025 # P(F,D) - prawdopodobieństwo wylosowania daltonistki
P_MD <- 0.04 # P(M,D) - prawdopodobieństwo wylosowania daltonisty# Obliczamy prawdopodobieństwa P(D|F) i P(D|M) ze wzoru na prawdopodobieństwo warunkowe
P_D_F <- P_FD/P_F
P_D_F## [1] 0.004901961
## [1] 0.08163265
# Wzór na prawdopodobieństwo całkowite P(D) = P(D|F)*P(F)+ P(D|M)*P(M)
P_D = P_D_F*P_F + P_D_M*P_M
P_D## [1] 0.0425
Wnioskowanie bayesowskie to sztuka zadawania pytań w drugą stronę: Jeśli wiem, że wylosowałem daltonistę, jakie jest prawdopodobieństwo, że to mężczyzna? \(P(M|D) = ?\)
\[P(M,D) = P(D,M)\] \[P(D|M) \cdot P(M) = P(M|D) \cdot P(D)\] \[P(M|D) = \frac{P(D|M) \cdot P(M)}{P(D)}\]
## [1] 0.9411765
Twierdzenie Bayesa to po prostu matematyczny aparat pozwalający “odwrócić” prawdopodobieństwo warunkowe. W podejściu statystycznym pozwala nam ono zaktualizować naszą wiedzę o świecie na podstawie nowych danych eksperymentalnych.
Analityczna postać Twierdzenia Bayesa:
\[P(\text{Hipoteza}|\text{Dane}) = \frac{P(\text{Dane}|\text{Hipoteza}) \cdot P(\text{Hipoteza})}{P(\text{Dane})}\]
Zastosujmy Twierdzenie Bayesa do klasycznego problemu. Mamy trzy bramki (\(B_1, B_2, B_3\)). Za jedną z nich jest nagroda (samochód), za dwiema są kozy. Ty wybierasz bramkę \(B_1\). Prowadzący (który wie, gdzie jest samochód) otwiera bramkę \(B_2\), pokazując kozę. Czy powinieneś zmienić swój wybór na bramkę \(B_3\)?
Analiza bayesowska:
Zmienna losowa: Za którą bramką jest samochód? Hipotezy to \(S_1, S_2, S_3\).
A priori: Początkowo, ponieważ nic nie wiemy, nasze przekonania są płaskie: \(P(S_1) = P(S_2) = P(S_3) = 1/3\).
Dane (D): Prowadzący otwiera bramkę \(B_2\).
Wiarygodność P(Dane|Hipoteza): Jak zachowa się prowadzący, jeśli samochód jest pod daną bramką?
# Monty Hall
prior <- c(S1=1/3, S2=1/3, S3=1/3) # A priori dla bramki 1, 2, 3
likelihood <- c(S1=1/2, S2=0, S3=1) # Wiarygodność danych (prowadzący otwiera bramkę 2)
licznik <- prior * likelihood # A priori * Wiarygodność
mianownik <- sum(licznik) # Całkowite prawdopodobieństwo danych
posterior <- licznik / mianownik # A posteriori
posterior## S1 S2 S3
## 0.3333333 0.0000000 0.6666667
Wniosek: zmiana bramki z \(B_1\) na \(B_2\) zwiększa prawdopodobieństwo wygranej dwukrotnie!
W statystyce istnieją dwa fundamentalnie różne podejścia do wyciągania wniosków z danych eksperymentalnych. Aby zrozumieć różnicę, wyobraźmy sobie problem z losowaniem monet z worka. W worku mamy 3 fizyczne monety:
Z zamkniętymi oczami wyciągamy jedną monetę i rzucamy nią 5 razy. Otrzymujemy 5 orłów. Jaka to moneta?
Podejście klasyczne zakłada, że wylosowana przez nas moneta to moneta o stałym, choć nieznanym parametrze \(\theta\). Nie ma tu pojęcia “rozkładu a priori”. Szukamy pojedynczej wartości parametru, dla której prawdopodobieństwo zaobserwowania naszych danych (5 orłów) jest największe (Estymator Największej Wiarygodności - MLE).
## [1] 1
Dla 5 orłów w 5 rzutach, funkcja wiarygodności jest zmaksymalizowana, gdy \(\theta = 1.0\). Klasyczny wniosek: to na pewno Moneta C.
W tym ujęciu traktujemy nieznany parametr jako zmienną losową, a nie stałą wielkość. Pytamy: Biorąc pod uwagę moje początkowe przekonania, jak uzyskane dane zmieniają prawdopodobieństwo tego, z jaką monetą mam do czynienia?
Wiarygodność wyrzucenia 5 orłów:
## A B C
## 0.00000 0.03125 1.00000
licznik <- prior * likelihood # A priori * Wiarygodność
mianownik <- sum(licznik) # Całkowite prawdopodobieństwo danych
posterior <- licznik / mianownik # A posteriori
posterior## A B C
## 0.00000000 0.03030303 0.96969697
Bayesowski wniosek: na 97% mamy w dłoni Monetę C, ale zostawiamy 3% wątpliwości na wypadek, gdybyśmy mieli niezwykłe szczęście z Monetą B. Wnioskowanie bayesowskie daje nam miarę niepewności (rozkład a posteriori), na podstawie której możemy podejmować ostrożniejsze decyzje.
Jednym z dyskretnych zastosowań Twierdzenia Bayesa jest “Naiwny klasyfikator Bayesa”, będący przykładem uczenia pod nadzorem. Jego “naiwność” wynika z tego, że zakłada wzajemną niezależność predyktorów. Pomimo ich naiwnego projektowania i bardzo uproszczonych założeń, w wielu rzeczywistych sytuacjach naiwne klasyfikatory Bayesa często pracują dużo lepiej, niż można było tego oczekiwać.
Załóżmy, że dysponujemy historycznym zbiorem e-maili pogrupowanymi na dwie klasy: spam i ham.
documents <- data.frame(text=c("send us your password",
"send us your review",
"password review",
"review us",
"send your password",
"send us your account"),
label=factor(c("spam","ham","ham","spam","spam","spam")))
knitr::kable(documents)| text | label |
|---|---|
| send us your password | spam |
| send us your review | ham |
| password review | ham |
| review us | spam |
| send your password | spam |
| send us your account | spam |
Z tego zbioru możemy łatwo wyznaczyć prawdopodobieństwa a priori: \(P(\text{spam})=\frac{4}{6}, P(\text{ham})=\frac{2}{6}\).
## ham spam
## 0.3333333 0.6666667
Prawdopodobieństwo a posteriori tego, że email zawierający wyraz review jest spamem wynosi:
\[P(\text{spam}|\text{review}) = \frac{P(\text{review}|\text{spam})P(\text{spam})}{P(\text{review})}\]
Możemy łatwo wyznaczyć poszczególne prawdopodobieństwa:
Analogicznie możemy wyznaczyć prawdopodobieństwo a posteriori tego, że wiadomość zawierająca słowo review jest porządana:
\[P(\text{ham}|\text{review}) = \frac{P(\text{review}|\text{ham})P(\text{ham})}{P(\text{review})} = \frac{2}{2} \cdot \frac{2}{6} \cdot \frac{6}{3} = \frac{2}{3}\]
A w jaki sposób wyznaczyć prawdopodobieństwo a posteriori dla całej wiadomości, np. review your password? Korzystając z niezależności prawdopodobieństw i mnożąc je przez siebie:
\[P(\text{review your password}|\text{spam}) = P(\text{review}|\text{spam}) \cdot P(\text{your}|\text{spam}) \cdot P(\text{password}|\text{spam})\]
Wyznaczmy prawdopodobieństwa warunkowe wszystkich pojedynczych słów:
word <- c("send","us","your","password","review","account")
P_word <- c(4/6, 4/6, 3/6, 3/6, 3/6, 1/6)
P_word_spam <- c(3/4,3/4,3/4,2/4,1/4,1/4)
P_word_ham <- c(1/2, 1/2, 1/2, 1/2, 2/2, 0/2)
cond_prob <- data.frame(word=word,
P_word_spam = P_word_spam,
P_word_ham = P_word_ham)
knitr::kable(cond_prob)| word | P_word_spam | P_word_ham |
|---|---|---|
| send | 0.75 | 0.5 |
| us | 0.75 | 0.5 |
| your | 0.75 | 0.5 |
| password | 0.50 | 0.5 |
| review | 0.25 | 1.0 |
| account | 0.25 | 0.0 |
Obliczmy teraz prawdopodobieństwo a posteriori tego, że wiadomość review your password jest spamem.
names(P_word) <- word
names(P_word_spam) <- word
names(P_word_ham) <- word
P_ham = 1/3
P_spam = 2/3
# Obliczamy iloczyny wiarygodności i a priori dla spam/ham
licznik <- c(spam = P_word_spam["review"]*P_word_spam["your"]*P_word_spam["password"]*P_spam,
ham = P_word_ham["review"]*P_word_ham["your"]*P_word_ham["password"]*P_ham)
# Prawdopodobieństwo a posteriori dla spam/ham
licznik/sum(licznik)## spam.review ham.review
## 0.4285714 0.5714286
Kolejne dwa przykłady ukazują słabość naiwnego klasyfikatora bayesowskiego:
Aby uniknąć zer w prawdopodobieństwam warunkowych, stosuje się tzw. wygładzenie Laplace’a, polegające na dodaniu 1 do licznika i \(k\) do mianownika, gdzie \(k\) jest liczbą klas. W naszym przypadku \(k=2\).
P_word_spam <- c(4/6,4/6,4/6,3/6,2/6,2/6)
P_word_ham <- c(2/4,2/4,2/4,2/4,3/4,1/4)
names(P_word_spam) <- word
names(P_word_ham) <- word
# Obliczamy iloczyny wiarygodności i a priori dla spam/ham
licznik <- c(spam = P_word_spam["review"]*P_word_spam["your"]*P_word_spam["account"]*P_spam,
ham = P_word_ham["review"]*P_word_ham["your"]*P_word_ham["account"]*P_ham)
# Prawdopodobieństwo a posteriori dla spam/ham
licznik/sum(licznik)## spam.review ham.review
## 0.6124402 0.3875598