Na poprzednich zajęciach poznaliśmy fundamenty twierdzenia Bayesa, stosując je do problemów o dyskretnej przestrzeni hipotez. Oznacza to, że nasze możliwości wyboru były skończone i łatwe do policzenia na palcach:
Statystyka w prawdziwym świecie rzadko jednak ogranicza się do kilku sztywnych scenariuszy. Wyobraźmy sobie, że znaleźliśmy na ulicy porysowaną monetę o nieregularnym kształcie i chcemy sprawdzić jej uczciwość.
Podejście bayesowskie jest tutaj niezwykle spójne logicznie. Niezależnie od tego, czy badamy 3 bramki, czy nieskończoną liczbę możliwych prawdopodobieństw między 0 a 1, traktujemy nasz nieznany parametr (\(\theta\)) jako zmienną losową.
Dla zmiennych dyskretnych określaliśmy prawdopodobieństwo a priori jako ułamek (np. \(P(S_1) = 1/3\)). Dla zmiennej ciągłej ułamki nie wystarczą – potrzebujemy ciągłej funkcji gęstości prawdopodobieństwa, którą oznaczymy jako \(f(\theta)\).
Naszym celem w dzisiejszym spotkaniu będzie przejście przez cały proces wnioskowania bayesowskiego dla ciągłego parametru \(\theta\):
Wnioskowanie bayesowskie polega na łączeniu naszej dotychczasowej wiedzy (a priori) z nowymi danymi pochodzącymi z eksperymentu. Zanim zastanowimy się nad naszą wiedzą o rzutach monetą, musimy opisać sam eksperyment i jego wyniki. Zrobimy to przy pomocy funkcji wiarygodności (likelihood function).
Załóżmy, że znalezioną monetą rzuciliśmy \(n = 10\) razy i w rezultacie uzyskaliśmy \(k = 7\) orłów. Pytanie brzmi: jak bardzo prawdopodobne było uzyskanie dokładnie 7 orłów w 10 rzutach dla różnych, potencjalnych wartości \(\theta\)?
Pojedynczy rzut monetą to klasyczny eksperyment Bernoulliego – zdarzenie losowe, które może zakończyć się tylko jednym z dwóch wyników: “sukcesem” (np. wyrzuceniem orła, co zachodzi z prawdopodobieństwem \(\theta\)) lub “porażką” (wyrzuceniem reszki, z prawdopodobieństwem \(1 - \theta\)). Jeśli wykonamy serię \(n\) takich niezależnych rzutów, liczba uzyskanych sukcesów \(k\) opisywana jest przez rozkład dwumianowy (binomial distribution). Funkcja wiarygodności dla tego problemu przyjmuje postać:
\[f(k \vert{} n, \theta) = \binom{n}{k} \theta^k (1-\theta)^{n-k}\]
Zwróćmy uwagę na różnicę perspektywy:
Spróbujmy wykreślić naszą funkcję wiarygodności w R. Zobaczmy, dla jakiej wartości \(\theta\) szansa wyrzucenia 7 orłów w 10 rzutach osiąga maksimum. Będzie to punkt, który klasyczna statystyka uznałaby za najtrafniejsze oszacowanie (Estymator Największej Wiarygodności - MLE).
# Parametry naszego eksperymentu
n <- 10 # całkowita liczba rzutów
k <- 7 # zaobserwowana liczba orłów (sukcesów)
# Tworzymy wektor 200 możliwych, ciągłych wartości theta (od 0 do 1)
theta <- seq(0, 1, length.out = 200)
# Obliczamy funkcję wiarygodności dla każdej z tych wartości.
# Używamy funkcji dbinom(x, size, prob), gdzie prob to nasz wektor theta
wiarygodnosc <- dbinom(x = k, size = n, prob = theta)
# Znajdźmy punkt maksymalnej wiarygodności
maks_idx <- which.max(wiarygodnosc)
theta_max <- theta[maks_idx]
# Wykres funkcji wiarygodności
plot(theta, wiarygodnosc, type = "l", col = "blue", lwd = 2,
main = "Funkcja wiarygodności dla 7 orłów w 10 rzutach",
xlab = expression("Potencjalne prawdopodobieństwo wyrzucenia orła ("*theta*")"),
ylab = "Wiarygodność P(Dane | theta)")
abline(v = theta_max, col = "red", lty = 2)
text(theta_max, 0,
paste("theta_max = ", round(theta_max, 2)),
pos = 2, col = "red")Jak widzimy na wygenerowanym wykresie, krzywa wiarygodności osiąga swoje maksimum dla \(\theta = 0.7\). Klasyczne wnioskowanie kończy się w tym momencie, stwierdzając, że parametr \(\theta\) znalezionej monety wynosi na pewno \(0.7\). Wnioskowanie bayesowskie bierze pod uwagę, że 10 rzutów to mała próba, a monety rzadko bywają tak mocno wykrzywione. W kolejnym punkcie zmodyfikujemy ten “surowy” wynik eksperymentalny przy użyciu naszej wiedzy a priori.
W poprzednim kroku otrzymaliśmy funkcję wiarygodności, która sugerowała, że na podstawie naszych 10 rzutów (z których 7 zakończyło się orłem) parametr \(\theta\) najprawdopodobniej wynosi 0.7. Jednak czy znaleziony na ulicy pieniądz naprawdę ma aż tak silną tendencję do faworyzowania jednej strony? Z naszego życiowego doświadczenia wiemy, że monety, nawet te lekko uszkodzone, są zazwyczaj dość sprawiedliwe (ich prawdziwe \(\theta\) oscyluje blisko 0.5). Tę naszą dotychczasową wiedzę, którą posiadamy jeszcze przed wykonaniem pierwszego rzutu, nazywamy rozkładem a priori (prior distribution). W statystyce bayesowskiej ta wiedza ma fundamentalne znaczenie i jest zintegrowana w samym sercu wnioskowania statystycznego.
Skoro szukany przez nas parametr \(\theta\) to prawdopodobieństwo mieszczące się w przedziale otwartym \((0, 1)\), nasz rozkład a priori również musi być ograniczony do tego przedziału. Idealnym kandydatem do tego zadania jest rozkład Beta.
Rozkład Beta jest niezwykle elastyczną rodziną rozkładów
prawdopodobieństwa ciągłego, zdefiniowaną na przedziale \([0, 1]\). Kształt tego rozkładu określają
dwa parametry, najczęściej oznaczane jako \(\alpha\) i \(\beta\) (w funkcjach
{d|p|q|r}beta zapisywane jako shape1 i
shape2).
curve(dbeta(x, 2, 5), from = 0, to = 1, col="orange", lwd =2,
ylab = expression("Beta"*(x*"|"*alpha*","*beta)),
main = "Różne kształty rozkładu Beta")
curve(dbeta(x, 2, 2), from = 0, to = 1, col="purple", lwd =2, add = TRUE)
curve(dbeta(x, 0.5, 0.5), from = 0, to = 1, col="red", lwd =2, add = TRUE)
curve(dbeta(x, 5, 1), from = 0, to = 1, col="blue", lwd =2, add = TRUE)
curve(dbeta(x, 1, 3), from = 0, to = 1, col="green", lwd =2, add = TRUE)
curve(dbeta(x, 1, 1), from = 0, to = 1, col="black", lwd =2, add = TRUE)
legend("top",
lty = 1,
col = c("red","black","purple","green","blue","orange"),
cex = 0.8,
legend = c("(0.5,0.5)",
"(1,1)",
"(2,2)",
"(1,3)",
"(5,1)",
"(2,5)"))W kontekście rzutu monetą i modelu dwumianowego, parametry te mają wspaniałą, intuicyjną interpretację:
Im większe są te parametry, tym silniejsze jest nasze początkowe przekonanie (wiedza a priori jest bardziej pewna, a wykres staje się bardziej stromy i “skupiony” wokół wartości oczekiwanej).
Zobaczmy, w jaki sposób zmiana parametrów \(\alpha\) i \(\beta\) wpływa na kształt naszej wiedzy a priori. Narysujemy trzy różne scenariusze, używając funkcji dbeta(), która zwraca wartość gęstości prawdopodobieństwa.
# Scenariusz 1: Kompletna ignorancja (Płaski prior)
# Zakładamy Beta(1, 1), co jest równoważne rozkładowi jednostajnemu U(0,1).
# Nie wiemy absolutnie nic o monecie, każda wartość theta jest równie prawdopodobna.
curve(dbeta(x, 1, 1), from = 0, to = 1, col="firebrick3", lwd =2,
ylab = expression("Beta"*(theta)),
xlab = expression(theta),
ylim = c(0,8),
main = "Wpływ parametrów rozkładu Beta na wiedzę a priori")
# Scenariusz 2: Słabe przekonanie o sprawiedliwości monety
# Zakładamy Beta(5, 5). "Wyobrażamy sobie", że widzieliśmy wcześniej 4 orły i 4 reszki.
curve(dbeta(x, 5, 5), from = 0, to = 1, col="green3", lwd =2, add = TRUE)
# Scenariusz 3: Bardzo silne przekonanie, że moneta jest uczciwa
# Zakładamy Beta(50, 50). Jesteśmy niemal pewni, że moneta nie jest oszukana.
curve(dbeta(x, 50, 50), from = 0, to = 1, col="dodgerblue", lwd =2, add = TRUE)
legend("topleft",
legend = c("Beta(1,1)",
"Beta(5,5)",
"Beta(50,50)"),
col = c("firebrick3", "green3", "dodgerblue"), lwd = 2)Wybór odpowiedniego priora to jedno z najważniejszych, ale też najbardziej kontrowersyjnych zagadnień w podejściu bayesowskim. Jeśli nasze a priori będzie zbyt silne (jak pomarańczowa krzywa Beta(50,50)), potrzeba będzie ogromnej ilości nowych danych (dziesiątek tysięcy rzutów), aby “odciągnąć” nasz ostateczny wniosek od wartości 0.5.
W kolejnym kroku połączymy wykreśloną wcześniej funkcję wiarygodności z wybranym rozkładem a priori, wykorzystując matematyczną właściwość zwaną sprzężeniem rozkładów.
Mamy już wszystkie klocki układanki. Wiemy, jak wygląda nasz model danych (funkcja wiarygodności oparta na rozkładzie dwumianowym) oraz potrafimy opisać naszą wiedzę początkową (za pomocą rozkładu Beta). Nadszedł czas na finał – połączenie tych dwóch elementów za pomocą Twierdzenia Bayesa. Zgodnie z ujęciem bayesowskim, nasz nowy stan wiedzy po uwzględnieniu wyników eksperymentu to rozkład a posteriori (ang. posterior distribution). Twierdzenie Bayesa dla zmiennych ciągłych mówi, że rozkład ten jest proporcjonalny do iloczynu wiarygodności i rozkładu a priori:
\[f(\theta|\text{dane}) = \frac{\text{Wiarygodność} \times \text{A priori}}{\text{Mianownik}}\] \[f(\theta|k, n) \propto f(k|n, \theta) \times f(\theta)\]
Podstawmy do tego równania nasze funkcje:
Wiarygodność (rozkład dwumianowy): \(f(k|n, \theta) = \binom{n}{k} \theta^k (1-\theta)^{n-k}\)
A priori (rozkład Beta): \(f(\theta|\alpha, \beta) = C \cdot \theta^{\alpha-1} (1-\theta)^{\beta-1}\) (gdzie \(C\) to pewna stała normalizacyjna z funkcji Gamma)
Zignorujmy na chwilę wszystkie stałe wartości (ponieważ nie zależą one od \(\theta\) i ostatecznie “wylądują” w mianowniku, którego zadaniem jest tylko sprawienie, by pole pod wykresem zsumowało się do 1). Skupmy się wyłącznie na członach zawierających nasz parametr \(\theta\):
\[f(\theta \vert{} k, n) \propto \theta^k (1-\theta)^{n-k} \times \theta^{\alpha-1} (1-\theta)^{\beta-1}\]
Wykonajmy proste mnożenie potęg o tych samych podstawach (dodając ich wykładniki):
\[f(\theta | k, n) \propto \theta^{(k + \alpha) - 1} \times (1-\theta)^{(n - k + \beta) - 1}\]
Zwróćmy uwagę na prawą stronę naszego równania. Ma ona dokładnie taką samą strukturę matematyczną jak nasz początkowy rozkład Beta, z tą różnicą, że jej parametry zostały zaktualizowane o liczbę uzyskanych sukcesów i porażek.
Oznacza to, że nasz nowy rozkład a posteriori to również rozkład Beta, ale o nowych parametrach:
Tę wyjątkową relację nazywamy sprzężeniem rozkładów.
Mówimy, że rozkłady wiarygodności i a priori są sprzężone wtedy, gdy rozkład a posteriori jest z tej samej rodziny rozkładów co rozkład a priori. Innymi słowy, rodzina rozkładów Beta jest sprzężona z rozkładem dwumianowym.
Zalety rozkładów sprzężonych:
Dzięki temu, analityczne wnioskowanie bayesowskie w przypadku modelu sprzężonego Beta-Dwumianowego sprowadza się do prostego dodawania. Jeśli przyjmiemy, że nie wiemy absolutnie nic o monecie (rozkład a priori Beta(1,1)), to naszym a posteriori jest rozkład Beta(8,4).
curve(dbeta(x, 1, 1), from = 0, to = 1, col="firebrick3", lwd =2, lty = 2,
ylab = expression("Beta"*(theta)),
xlab = expression(theta),
ylim = c(0,4),
main = "Rozkłady a priori i a posteriori")
curve(dbeta(x, 5, 5), from = 0, to = 1, col="green3", lwd =2, lty = 2, add = TRUE)
curve(dbeta(x, 8, 4), from = 0, to = 1, col="firebrick3", lwd =2, add = TRUE)
curve(dbeta(x, 12, 8), from = 0, to = 1, col="green3", lwd = 2, add = TRUE)
#curve(10*dbinom(k, n, prob = x), from = 0, to = 1, col="blue", lwd = 2.5, add = TRUE)
curve(dbeta(x, 7, 3), from = 0, to = 1, col="black", lwd =2, add = TRUE)
legend("topleft",
legend = c("Beta(1,1)",
"Beta(5,5)",
"Beta(8,4)",
"Beta(12,8)",
"Beta(7,3)"),
col = c("firebrick3", "green3","firebrick3","green3","black"),
lwd = 2,
lty = c(2,2,1,1,1))Gdy dysponujemy już analityczną postacią rozkładu a posteriori (który w naszym modelu Beta-Dwumianowym jest po prostu rozkładem \(Beta(\alpha', \beta')\)), możemy przejść do konkretnych wniosków statystycznych: podania jednej, najbardziej wiarygodnej wartości (estymacja punktowa) oraz zakresu niepewności (estymacja przedziałowa).
W ujęciu klasycznym szukaliśmy jednego punktu maksimum wiarygodności (MLE). W statystyce bayesowskiej najczęściej jako estymator punktowy przyjmuje się wartość oczekiwaną rozkładu a posteriori.
Dla rozkładu Beta o parametrach \(\alpha\) i \(\beta\) wzór na wartość oczekiwaną ma niezwykle prostą postać:
\[E[\theta] = \frac{\alpha}{\alpha + \beta}\]
Interpretacja:
Jeśli nasz rozkład a posteriori ma parametry \(\alpha' = \alpha_{prior} + k\) oraz \(\beta' = \beta_{prior} + (n - k)\), to wartość oczekiwana jest efektem średniej ważonej pomiędzy naszą wiedzą początkową a zaobserwowanymi danymi:
\[E[\theta] = \frac{\alpha_{prior} + k}{\alpha_{prior} + \beta_{prior} + n} = w_{\text{prior}}\frac{\alpha_{prior}}{\alpha_{prior}+\beta_{prior}} + (1-w_{\text{prior}}) \frac{k}{n},\]
gdzie \(w_{\text{prior}} = \frac{\alpha_{prior} + \beta_{prior}}{n+ \alpha_{prior} + \beta_{prior}}\) jest wagą naszej wiedzy a priori. Im więcej mamy danych tym mniejszy wpływ wiedzy a priori na wnioskowanie.
alpha_prior <- 1
beta_prior <- 1
theta_bayes <- (alpha_prior+k)/(alpha_prior+beta_prior+n)
theta_bayes## [1] 0.6666667
W statystyce klasycznej operujemy przedziałami ufności. Ich interpretacja bywa nieintuicyjna: mówią one, że w nieskończonej liczbie powtórzeń eksperymentu 95% wyznaczonych przedziałów pokryje oszacowaną wartość parametru.
W statystyce bayesowskiej sprawa jest prostsza i bardziej naturalna, ponieważ parametr \(\theta\) jest zmienną losową. Bayesowski przedział wiarygodności (ang. credible interval) to taki przedział \((\theta_{min}, \theta_{max})\), w którym – przy danym rozkładzie a posteriori – prawdziwa wartość parametru znajduje się z zadanym prawdopodobieństwem (np. 95%):
\[P(\theta_{min} < \theta < \theta_{max} \vert{} \text{dane}) = 0.95\] W praktyce najczęściej stosujemy dwa rodzaje takich przedziałów:
ETI (ang. Equal-Tailed Interval):
Przedział oparty na kwantylach. Odcina on po 2.5% prawdopodobieństwa na
obu ogonach rozkładu (dla poziomu ufności 95%). Wyznaczamy go w R za
pomocą funkcji kwantylowej qbeta().
HDI (ang. Highest Density Interval): Najkrótszy możliwy przedział o zadanej gęstości, w którym każda gęstość wewnątrz przedziału jest wyższa niż jakakolwiek gęstość poza nim (szczególnie przydatny przy rozkładach asymetrycznych).
# Wyznaczenie 95% przedziału wiarygodności (ETI) dla Beta(alpha`, beta`)
eti <- qbeta(c(0.025, 0.975), shape1 = alpha_prior+k, shape2 = beta_prior+n-k)
cat("95% ETI:", round(eti, 2), "\n")## 95% ETI: 0.39 0.89
Jedną z najpotężniejszych cech statystyki bayesowskiej jest jej sekwencyjny charakter. Nasze przekonania mogą być stale aktualizowane w miarę napływu kolejnych, nowych informacji.
Cały ten proces to ciągła, naturalna pętla:
Dzięki temu, że dzisiejszy rozkład a posteriori to jutrzejszy rozkład a priori, całe podejście bayesowskie jest niezwykle wygodne w zastosowaniach typu big data. Nie musimy przechowywać w pamięci wszystkich historycznych rzutów monetą ani gigabajtów starych danych – cała nasza dotychczasowa wiedza jest już skompresowana i zapisana w aktualnych parametrach rozkładu a priori.