Dotychczas podczas kursu nasza uwaga skupiała się głównie na szacowaniu parametrów (np. prawdopodobieństwa \(\theta\), średniej \(\mu\), precyzji \(\tau\)). Otrzymując dane eksperymentalne \(y\), potrafiliśmy wyznaczyć rozkład a posteriori \(f(\theta | y)\), poznać jego wartość oczekiwaną czy zbudować przedziały wiarygodności.
W fizyce i inżynierii rzadko jednak kończymy analizę na samym poznaniu parametru. Ostatecznym celem modelowania statystycznego jest najczęściej prognozowanie przyszłych, nieobserwowanych jeszcze pomiarów. Jak jednak dokonać rzetelnej predykcji, skoro sam model i jego parametry są objęte niepewnością?
W statystyce klasycznej parametr \(\theta\) nie jest zmienną losową, lecz stałą (choć nieznaną) wielkością. Standardowa procedura predykcyjna wygląda następująco:
Na podstawie zebranych danych \(\mathbf{x}\) wyznaczamy estymator punktowy parametru (np. estymator największej wiarygodności \(\hat{\theta}\)).
Prognozowanie nowych obserwacji \(X\) opiera się na podstawieniu tej jednej, sztywnej wartości do rozkładu prawdopodobieństwa:
\[P(X < x | \mathbf{x}) \approx P(X
< x | \mathbf{x}, \hat{\theta})\]
Gdzie leży problem?
Takie podejście całkowicie ignoruje fakt, że nasz estymator \(\hat{\theta}\) jest obarczony błędem wynikającym ze skończonej liczby pomiarów. Udajemy, że znamy „prawdziwą” wartość parametru ze 100% pewnością. W efekcie klasyczne przedziały predykcyjne są zazwyczaj zbyt wąskie, a model bywa nadmiernie pewny siebie tam, gdzie powinien zachować ostrożność.
W ujęciu bayesowskim nie wybieramy jednego „najlepszego” punktu \(\hat{\theta}\). Skoro rozkład a posteriori \(f(\theta | \mathbf{x})\) dostarcza nam pełnej informacji o tym, jakie wartości parametru są bardziej lub mniej prawdopodobne, to musimy uwzględnić je wszystkie podczas prognozowania przyszłości.
Aby przewidzieć wynik nowego pomiaru lub przyszłej obserwacji (oznaczmy ją jako \(x_{n+1}\) lub \(z\)), definiujemy rozkład predykcyjny a posteriori (Posterior Predictive Distribution) poprzez całkowanie (uśrednianie) po całej przestrzeni parametrów modelu: \[f(x_{n+1} | \mathbf{x}) = \int f(x_{n+1} | \theta) f(\theta | \mathbf{x}) d\theta\] W przypadku modeli dyskretnych lub tam, gdzie rozkład parametryczny ma postać sumy, całka ta przyjmuje postać sumowania po wszystkich możliwych stanach. Zapis ten łączy w sobie dwa fundamentalne źródła niepewności:
Funkcja wiarygodności nowej obserwacji \(f(x_{n+1} | \theta)\):
Określa wewnętrzną losowość samego procesu (szum pomiarowy), zakładając, że znamy parametr \(\theta\).
Rozkład a posteriori parametru \(f(\theta | \mathbf{x})\):
Odzwierciedla naszą niepewność co do samej wartości parametru po przeanalizowaniu dotychczasowych danych.Uśrednianie (całkowanie) po wszystkich możliwych wartościach \(\theta\) sprawia, że prognozy bayesowskie są bardziej uczciwe i szersze tam, gdzie nasza wiedza eksperymentalna jest wciąż uboga.
Powyższa całka predykcyjna jest łatwa do policzenia analitycznie tylko dla ograniczonych, najprostszych modeli (takich jak omawiane przez nas modele sprzężone). W praktyce fizycznej i inżynieryjnej rzadko mamy ten luksus. Co wtedy?
Rozwiązaniem jest podejście symulacyjne. Z łatwością można wygenerować próbkę z rozkładu a posteriori za pomocą metod Monte Carlo. Efektem takiego działania jest wygenerowanie bardzo dużej liczby próbek (np. 10 000 wartości parametru) wylosowanych proporcjonalnie do ich prawdopodobieństwa a posteriori.
Gdy mamy już w pamięci komputera taki zbiór wylosowanych wartości,
możemy bez problemu wyznaczyć na ich podstawie dowolne statystyki:
histogram, wartość średnią czy medianę. W kontekście dzisiejszych zajęć
wykorzystamy te próbki do symulacji predykcyjnej: dla każdego
wylosowanego parametru wygenerujemy nową obserwację ze zwykłego rozkładu
wiarygodności (używając funkcji takich jak rnorm czy
rpois).
Takie podejście pozwala na ominięcie trudnego całkowania i “wygenerowanie” rozkładu predykcyjnego. Głębsze mechanizmy stojące za zaawansowanymi wariantami tej metody poznamy szczegółowo podczas kolejnych zajęć.
Na poprzednich zajęciach poznaliśmy kilka modeli sprzężonych. Dziś przekonamy się, że sprzężenie rozkładów wiarygodności i a priori nie tylko pozwala na analityczne wyprowadzenie rozkładu a posteriori, ale także rozkładu predykcyjnego a posteriori.
Model ten stosujemy wszędzie tam, gdzie badamy procesy o charakterze binarnym (sukces/porażka) – np. prognozowanie liczby sukcesów w kolejnej serii \(n\) próbach na podstawie dotychczas zebranych doświadczeń.
Jeśli nasz dotychczasowy rozkład a posteriori po zaobserwowaniu danych jest rozkładem Beta o parametrach \(\alpha'\) oraz \(\beta'\), to chcąc przewidzieć liczbę sukcesów \(\tilde{k}\) w nowej serii \(n\) prób, całka predykcyjna przyjmuje analityczną postać zwaną rozkładem Beta-Binominalnym: \[P(\tilde{k} = k | \mathbf{x}) = \binom{n}{k} \frac{\text{beta}(\alpha' + k, \beta' + n - k)}{\text{beta}(\alpha', \beta')},\] Gdzie \(\text{beta}(a, b)\) to funkcja Beta zdefiniowana poprzez funkcje Gamma. Co ważne, rozkład ten ma znacznie większą wariancję niż zwykły rozkład dwumianowy, ponieważ bezpośrednio uwzględnia naszą niepewność co do prawdziwej wartości parametru sukcesu \(\theta\).
Przykład
Załóżmy, że w poprzednim eksperymencie rzuciliśmy monetą 20 razy i uzyskaliśmy 7 orłów. Przyjmując symetryczny prior Beta(5,5), zaktualizowaliśmy parametry do \(\alpha' = 12\) oraz \(\beta' = 18\). Teraz chcemy odpowiedzieć na pytanie: jak będzie wyglądał rozkład prawdopodobnej liczby orłów, jeśli wykonamy nową serię \(n = 20\) rzutów?
# 1. Parametry rozkładu a posteriori
alfa_post <- 5+7
beta_post <- 5+13
# 2. Nowa seria prób do prognozy
n_nowe <- 20
k_nowe <- 0:n_nowe
# 3. Wyznaczenie rozkładu predykcyjnego a posteriori (Beta-Binominalnego)
# Korzystamy ze wzoru analitycznego opierającego się na funkcji choose() i beta()
y_pred <- choose(n_nowe,k_nowe) * beta(alfa_post+k_nowe,beta_post+n_nowe-k_nowe) / beta(alfa_post,beta_post)
# 4. Wizualizacja rozkładu predykcyjnego
plot(k_nowe, y_pred, type = "h", lwd = 4, col = "darkblue",
main = "Rozkład predykcyjny a posteriori (Model Beta-Binominalny)",
xlab = "Przewidywana liczba sukcesów (k) w 20 nowych próbach",
ylab = "Prawdopodobieństwo P(k | dane)")
points(k_nowe, y_pred, pch = 16, col = "red", cex = 1.2)
grid()Model ten stosujemy do analizy i prognozowania zdarzeń rzadkich o charakterze dyskretnym (np. liczba rozpadów promieniotwórczych w detektorze, liczba awarii urządzenia w zadanym czasie, liczba zgłoszeń w call center).
Jeśli po zebraniu danych z \(n\) okresów nasz rozkład a posteriori dla intensywności \(\lambda\) jest rozkładem Gamma o zaktualizowanych parametrach \(\alpha'\) i \(\beta'\), to chcąc przewidzieć liczbę zliczeń \(\tilde{x}\) w nowym, pojedynczym oknie czasowym, otrzymujemy w wyniku całkowania analitycznego rozkład ujemny dwumianowy (Negative Binomial): \[P(\tilde{x} = x | \mathbf{x}) = \frac{\Gamma(\alpha' + x)}{x! \; \Gamma(\alpha')} \left(\frac{\beta'}{\beta' + 1}\right)^{\alpha'} \left(1-\frac{\beta'}{\beta' + 1}\right)^x = NB(x; \,\alpha',\, \frac{\beta'}{\beta' + 1})\] Rozkład ten ma tę zaletę, że – podobnie jak w modelu Beta-Binominalnym – jego wariancja jest większa niż w zwykłym rozkładzie Poissona, ponieważ uwzględnia naszą niepewność co do faktycznej wartości parametru intensywności \(\lambda\).
Przykład
W ramach eksperymentu przetestowano działanie nowego licznika Geigera-Müllera. Przeprowadzono \(n = 10\) niezależnych pomiarów tła. Uzyskano następujące zliczenia, każde w ciągu 10 sekund.:
Przyjmując rozkład a priori Gamma(2,1), oblicz prawdopodobieństwo \(x \in [0;10]\) zliczeń w kolejnym oknie czasowym.
# 1. Pomiary
n_prob <- length(pomiary_tla)
suma_zliczen <- sum(pomiary_tla)
# 2. Parametry rozkładu a priori Gamma
alfa_prior <- 2
beta_prior <- 1
# 3. Parametry rozkładu a posteriori Gamma
alfa_post <- alfa_prior + suma_zliczen
beta_post <- beta_prior + n_prob
# 4. Definiujemy zakres przewidywanych zliczeń w nowym oknie czasowym
x_vals <- 0:10
# 5. Wyznaczenie rozkładu predykcyjnego analitycznie (Rozkład ujemny dwumianowy)
# W R funkcja dnbinom przyjmuje 'size' (odpowiednik alpha) oraz 'prob' lub 'mu'.
# Parametr prob = beta_post / (beta_post + 1)
y_pred_nb <- dnbinom(x_vals, size = alfa_post, prob = beta_post / (beta_post + 1))
# 6. Wizualizacja rozkładu predykcyjnego
plot(x_vals, y_pred_nb, type = "h", lwd = 4, col = "darkblue",
main = "Rozkład predykcyjny a posteriori ujemny dwumianowy",
xlab = "Przewidywana liczba zliczeń (x) w nowym oknie",
ylab = "Prawdopodobieństwo P(x|dane)")
points(x_vals, y_pred_nb, pch = 16, col = "red", cex = 1.2)
grid()Alternatywne podejście symulacyjne
# Losujemy M wartości intensywności lambda z rozkładu a posteriori Gamma
M <- 10000
lambda_samples <- rgamma(M, shape = alfa_post, rate = beta_post)
# Dla każdej wylosowanej theta symulujemy przyszły pomiar z rozkładu Poissona
x_pred_samples <- rpois(M, lambda = lambda_samples)
# Tworzymy empiryczny rozkład predykcyjny
h <- hist(x_pred_samples, breaks=-0.5:(max(x_pred_samples)+0.5), freq = FALSE,
main = "Symulowany rozkład predykcyjny a posteriori",
xlab = "Przewidywana liczba zliczeń (x) w nowym oknie",
ylab = "Prawdopodobieństwo P(x|dane)")Model ten stosujemy do ciągłych pomiarów fizycznych, gdy dokładność naszego instrumentu badawczego (wariancja szumu \(\sigma^2\)) jest doskonale znana z kalibracji, a nieznana pozostaje jedynie prawdziwa wartość średnia mierzonej wielkości (\(\mu\)). Chcemy przewidzieć wynik kolejnego, pojedynczego pomiaru \(\tilde{x}\) w tym samym układzie.
Jeśli po zebraniu danych nasz rozkład a posteriori dla średniej \(\mu\) ma postać normalną \(\mathcal{N}(m_{post}, \sigma^2_{post})\), to rozkład predykcyjny a posteriori dla nowej obserwacji \(\tilde{x}\) jest również rozkładem normalnym: \[\tilde{x} \vert{} \mathbf{x} \sim \mathcal{N}\left(m_{post}, \sigma^2 + \sigma^2_{post}\right)\] Wariancja naszej prognozy to suma dwóch niezależnych składowych:
\(\sigma^2\) – wariancja samego instrumentu (wewnętrzny szum pomiarowy pojedynczej próby).
\(\sigma^2_{post}\) – niepewność wyznaczenia samej średniej wynikająca ze skończonej liczby dotychczasowych pomiarów.
Dzięki temu rozkład predykcyjny jest naturalnie szerszy niż sama niepewność przyrządu, co odzwierciedla nasz brak pełnej wiedzy o “prawdziwym” środku rozkładu.
Przykład
# 1. Założenia eksperymentu
sigma_dane <- 2.0 # Znane odchylenie standardowe przyrządu
n <- 10 # Liczba dotychczasowych pomiarów
x_bar <- 48 # Średnia z dotychczasowych pomiarów
# 2. Parametry a priori dla średniej mu
m_prior <- 50.0
sigma_prior <- 5.0
# 3. Aktualizacja analityczna (Model Normalny-Normalny)
precyzja_prior <- 1 / (sigma_prior^2)
precyzja_dane <- 1 / (sigma_dane^2)
precyzja_post <- precyzja_prior + n*precyzja_dane
m_post <- (m_prior * precyzja_prior + x_bar * n* precyzja_dane) / precyzja_post # Średnia a posteriori
sigma_post <- sqrt(1 / precyzja_post) # Odchylenie standardowe średniej a posteriori
sigma_ppd <- sqrt(sigma_dane^2+sigma_post^2) # Odchylenie standardowe rozkładu predykcyjnego a posteriori
eti <- qnorm(c(0.025, 0.975), mean = m_post, sd = sigma_ppd)
cat("Średnia a posteriori m_post:", round(m_post, 3), "\n")## Średnia a posteriori m_post: 48.031
## Niepewność średniej sigma_post: 0.627
## Odchylenie rozkładu predykcyjnego sigma_ppd: 2.096
## 95% ETI: 43.92 52.14
curve(dnorm(x, mean=m_post, sd = sigma_ppd), from = 40, to = 55,
col = "darkblue", lwd = 2,
ylab = "gęstość f(x|dane)")
abline(v = eti, col = "red", lwd = 2, lty = 2)# 4. Predykcja nowej obserwacji (Metoda Monte Carlo)
M <- 10000
# Krok A: Losujemy możliwe wartości prawdziwej średniej z rozkładu a posteriori
mu_samples <- rnorm(M, mean = m_post, sd = sigma_post)
# Krok B: Dla każdej wylosowanej średniej generujemy nowy pomiar obarczony szumem przyrządu
x_pred_samples <- rnorm(M, mean = mu_samples, sd = sigma_dane)
# 5. Wyznaczenie empirycznego przedziału predykcyjnego (95%)
pred_interval <- quantile(x_pred_samples, c(0.025, 0.975))
cat("95% przedział predykcyjny dla nowego pomiaru:", round(pred_interval, 2), "\n")## 95% przedział predykcyjny dla nowego pomiaru: 43.94 52.14
# 6. Wizualizacja rozkładu predykcyjnego
hist(x_pred_samples, breaks = 50, probability = TRUE, col = "lightblue", border = "white",
main = "Rozkład predykcyjny a posteriori (Model Normalny)",
xlab = "Przewidywana wartość nowego pomiaru", ylab = "Gęstość")
abline(v = pred_interval, col = "red", lwd = 2, lty = 2)Jest to najbardziej realistyczny scenariusz w modelowaniu ciągłych wielkości fizycznych, w którym nie tylko nie znamy wartości mierzonej wielkości (średniej \(\mu\)), ale także nie dysponujemy uprzednią wiedzą o dokładności naszego przyrządu (nieznana precyzja \(\tau = 1/\sigma^2\)). W takiej sytuacji musimy estymować i uwzględniać niepewność obu tych parametrów naraz.
Z poprzednich zajęć pamiętamy, że dla tego przypadku rozkładem a priori jest łączny rozkład Normalny-Gamma. Po uwzględnieniu danych eksperymentalnych uzyskujemy zaktualizowane parametry \(m', c', a', b'\). Rozkład predykcyjny a posteriori definiuje się poprzez całkowanie po obu nieznanych parametrach: \[f(x_{n+1} | \mathbf{x}) = \int \int f(x_{n+1}|\mu, \tau) f(\mu, \tau | \mathbf{x}) d\mu d\tau\] Matematycznie można ten problem uprościć. Zauważmy, że nowy pomiar \(x_{n+1}\) to po prostu szukana średnia \(\mu\) plus losowy błąd pomiarowy \(\epsilon_{n+1}\): \[x_{n+1} = \mu + \epsilon_{n+1}\] gdzie \(\mu | \tau \sim Normal(m', \frac{1}{c'\tau})\) oraz \(\epsilon_{n+1} | \tau \sim Normal(0, \frac{1}{\tau})\).
Po wykonaniu odpowiednich przekształceń całkowych (lub algebraicznych
operacji na zmiennych losowych) okazuje się, że rozkład predykcyjny a
posteriori przyjmuje postać przesuniętego i przeskalowanego rozkładu
Studenta o \(a'\) stopniach
swobody: \[\frac{x_{n+1} -
m'}{\sqrt{\frac{(c'+1)b'}{c'a'}}} \Big\vert{}
\mathbf{x} \sim t_{a'}\]
Rozkład Studenta ma grubsze ogony niż rozkład normalny. To doskonała
wiadomość – grubsze ogony odzwierciedlają nasz dodatkowy brak wiedzy
(niepewność co do wariancji instrumentu) i zabezpieczają nas przed zbyt
dużą pewnością siebie przy prognozowaniu wyników kolejnego
eksperymentu.
Przykład
# 1. Zaktualizowane parametry rozkładu a posteriori z poprzednich zajęć
# (Zakładamy, że policzyliśmy je wcześniej z danych)
m_post <- 4.43 # Zaktualizowana średnia
c_post <- 7 # Zaktualizowana "waga" dla średniej
a_post <- 7 # Parametr kształtu dla precyzji
b_post <- 2.11 # Parametr skali dla precyzji
# 2. Metoda Monte Carlo dla rozkładu predykcyjnego
M <- 10000
# Krok A: Najpierw losujemy precyzję (tau) z rozkładu warunkowego Gamma
tau_samples <- rgamma(M, shape = a_post / 2, rate = b_post / 2)
# Krok B: Mając precyzję, losujemy średnią (mu) warunkowo od precyzji
# Odchylenie standardowe to sqrt(1 / (c_post * tau_samples))
mu_samples <- rnorm(M, mean = m_post, sd = sqrt(1 / (c_post * tau_samples)))
# Krok C: Mając obie prawdziwe wartości, prognozujemy nową obserwację
# Odchylenie standardowe samego przyrządu to sqrt(1 / tau_samples)
x_pred_samples <- rnorm(M, mean = mu_samples, sd = sqrt(1 / tau_samples))
# 3. Wyznaczenie empirycznego przedziału predykcyjnego (95%)
pred_interval_ng <- quantile(x_pred_samples, c(0.025, 0.975))
cat("95% przedział predykcyjny (Normalny-Gamma):", round(pred_interval_ng, 2), "\n")## 95% przedział predykcyjny (Normalny-Gamma): 3.04 5.83
# 4. Wizualizacja histogramu predykcyjnego
hist(x_pred_samples, breaks = 50, probability = TRUE, col = "lightgreen", border = "white",
main = "Rozkład predykcyjny (Model Normalny-Gamma)",
xlab = "Przewidywana wartość nowego pomiaru", ylab = "Gęstość")
abline(v = pred_interval_ng, col = "darkgreen", lwd = 2, lty = 2)
# 5. Dodanie krzywej teoretycznej w oparciu o przesunięty i przeskalowany rozkład Studenta
skala <- sqrt( ((c_post + 1) * b_post) / (c_post * a_post) )
curve(expr = (1 / skala) * dt((x - m_post) / skala, df = a_post), from = 1, to = 8,
col = "darkgreen",
lwd = 2,
add = TRUE
)