W trakcie poprzednich zajęć pracowaliśmy wyłącznie z modelami sprzężonymi (np. Beta-Binomialnym, Gamma-Poisson, Normalnym-Gamma). Ich ogromną zaletą była elegancja analityczna – rozkład a posteriori należał do tej samej rodziny co rozkład a priori, co pozwalało na bezpośrednie wyznaczanie parametrów oraz rozkładów predykcyjnych za pomocą gotowych wzorów algebraicznych.
W rzeczywistych zastosowaniach fizycznych, inżynieryjnych i przy analizie złożonych układów empirycznych założenie o sprzężeniu rozkładów niemal zawsze ulega załamaniu.
Załóżmy prosty eksperyment rzutu monetą (lub testowania wydajności czujnika), gdzie wiarygodność opisuje rozkład dwumianowy \(\text{Binomial}(n, \theta)\). Zamiast standardowego rozkładu a priori \(\text{Beta}(\alpha, \beta)\) decydujemy się jednak na wykorzystanie wiedzy eksperckiej ujętej za pomocą uciętego rozkładu normalnego \(\mathcal{N}(0.5, 1)\) w przedziale \([0, 1]\): \[\pi(\theta) \propto \exp\left(-\frac{(\theta - 0.5)^2}{2}\right) \quad \text{dla } \theta \in [0, 1]\] Rozkład a posteriori ma w tym przypadku postać: \[p(\theta \vert{} \mathbf{x}) \propto \theta^k (1-\theta)^{n-k} \cdot \exp\left(-\frac{(\theta - 0.5)^2}{2}\right)\] Iloczyn ten nie odpowiada żadnemu znanemu rozładowi prawdopodobieństwa. Nie da się sprowadzić go do prostej formy parametrycznej, ani bezpośrednio odczytać z niego średniej, mediany czy przedziałów wiarygodności.
Główna trudność we wnioskowaniu bayesowskim leży w obliczeniu stałej normalizacyjnej \(Z\) (tzw. wiarygodności brzegowej danych lub mianownika Twierdzenia Bayesa): \[Z = \int_{\Theta} f(\mathbf{x} \vert{} \boldsymbol{\theta}) \pi(\boldsymbol{\theta}) d\boldsymbol{\theta}\]
Jeśli parametr \(\theta\) ma tylko jeden wymiar (\(p = 1\)) to całkę tę można policzyć numerycznie na prostej siatce punktów. W modelach fizycznych opisanych wektorem parametrów \(\boldsymbol{\theta} = (\theta_1, \theta_2, \dots, \theta_p)\) całka zamienia się w całkę wielokrotną: \[Z = \int \dots \int f(\mathbf{x} | \theta_1, \dots, \theta_p) \pi(\theta_1, \dots, \theta_p) \, d\theta_1 \dots d\theta_p\] Obliczenie takiej całki wiąże się z klątwą wymiarowości (ang. curse of dimensionality). Jeśli podzielimy dziedzinę każdego z \(p\) parametrów na zaledwie \(N = 100\) punktów siatki, to całkowita liczba węzłów do obliczenia wartości funkcji wynosi \(N^p\).
Deterministyczne siatki stają się nieużyteczne powyżej kilku wymiarów.
Aby poradzić sobie z brakiem sprzężenia analitycznego, stosuje się trzy główne grupy podejść numerycznych:
Przybliżenia analityczne / kwadratury (np. Gaussian Approximation, metody wariacyjne):
Aproksymują złożony rozkład a posteriori prostszą strukturą (np. wielowymiarowym rozkładem normalnym wokół mody). Są niezwykle szybkie, ale mogą wprowadzać istotne obciążenie przy skoskowych rozkładach lub grubych ogonach.
Deterministyczne kwadratury numeryczne (np. reguła Simpsona, Gauss-Legendre):
Wymagają próbkowania na regularnej siatce. Błąd zbieżności skaluje się jako \(\mathcal{O}(N^{-k/p})\), co oznacza, że wraz ze wzrostem wymiarowości \(p\) zbieżność drastycznie zwalnia.
Metody symulacyjne (Monte Carlo):
Opierają się na generowaniu losowych próbek z przestrzeni parametrów zamiast tworzenia sztywnej siatki. Kluczową cechą metod Monte Carlo jest to, że tempo zbieżności \(\mathcal{O}(1/\sqrt{N})\) nie zależy od wymiarowości przestrzeni \(p\). Dzięki temu próbkowanie stochastyczne stanowi jedyne uniwersalne narzędzie do analizy wielowymiarowych rozkładów a posteriori w nowoczesnej statystyce bayesowskiej.
W analizie bayesowskiej szukamy wartości oczekiwanej dowolnej funkcji \(h\) parametru \(\theta\): \[\mathbb{E}[h(\theta) | \text{dane}] = \int_{\Theta} h(\theta) p(\theta | \text{dane}) d\theta\] Jeśli potrafimy wygenerować próbki \(\theta_1, \theta_2, \dots, \theta_N\) z rozkładu targetowego \(p(\theta | \text{dane})\), to punkty te automatycznie skupiają się w rejonach o wysokiej gęstości prawdopodobieństwa. Stała normalizacyjna i wagi probabilistyczne są uwzględnione w rozkładzie wylosowanych punktów, co redukuje problem całkowy do prostej średniej z próby: \[\hat{h}_N = \frac{1}{N} \sum_{i=1}^{N} h(\theta_i)\] Przykłady funkcji \(h(\theta)\):
\(h(\theta) \equiv \theta\) (estymacja średniej a posteriori) \(\implies \hat{\mu} = \frac{1}{N} \sum \theta_i\)
\(h(\theta) \equiv (\theta - \hat{\mu})^2\) (estymacja wariancji a posteriori) \(\implies \hat{\sigma}^2 = \frac{1}{N} \sum (\theta_i - \hat{\mu})^2\)
\(h(\theta) \equiv \mathbb{I}(\theta > c)\) (prawdopodobieństwo zdarzenia \(\theta > c\)) \(\implies P(\theta > c | \text{dane}) \approx \frac{\text{liczba próbek } > c}{N}\)
Szacunek uzyskiwany z metody Monte Carlo jest zmienną losową (zależy od wylosowanej próbki). Zgodnie z Centralnym Twierdzeniem Granicznym (CLT), błąd naszego oszacowania numerycznego opisujemy za pomocą błędu standardowego Monte Carlo (ang. Monte Carlo Standard Error, MCSE): \[\text{MCSE}(\hat{h}_N) = \frac{s_h}{\sqrt{N}}\] gdzie \(s_h = \sqrt{\frac{1}{N-1}\sum_{i=1}^{N} (h(\theta_i) - \hat{h}_N)^2}\) jest odchyleniem standardowym wyznaczonym z próby.
Wnioski dla praktyki obliczeniowej:
Niezależność od wymiaru: Dokładność zależy wyłącznie od odchylenia \(s_g\) oraz liczby próbek \(N\), a nie od wymiarowości przestrzeni parametrów (co stanowi o przewadze nad metodami siatkowymi).
Prawo malejących zysków: Aby zmniejszyć błąd numeryczny o jeden rząd wielkości (10-krotnie), należy zwiększyć liczbę losowań 100-krotnie (\(N \to 100N\)).
Zilustrujmy różnicę na przykładzie wyznaczania wartości oczekiwanej \(\mathbb{E}[\theta]\) dla rozkładu asymetrycznego \(\text{Beta}(2, 7)\).
# Definicja rozkładu (Beta(2, 7))
alpha <- 2
beta <- 7
# Prawdziwa analityczna wartość oczekiwana E[theta] = alpha / (alpha + beta)
E_true <- alpha / (alpha + beta)
# PODEJŚCIE A: Całkowanie na sztywnej siatce (Grid Approximation)
N_grid <- 1000
theta_grid <- seq(0, 1, length.out = N_grid)
p_grid <- dbeta(theta_grid, alpha, beta)
p_grid_norm <- p_grid / sum(p_grid) # Normalizacja na siatce
E_grid <- sum(theta_grid * p_grid_norm)
# PODEJŚCIE B: Bayesowskie całkowanie Monte Carlo
N_mc <- 10000
set.seed(123)
# Losujemy próbki BEZPOŚREDNIO z rozkładu targetowego p(theta)
theta_samples <- rbeta(N_mc, alpha, beta)
# Całkowanie sprowadza się do zwykłej średniej z próby
E_mc <- mean(theta_samples)
mcse <- sd(theta_samples) / sqrt(N_mc)
# Wyniki
cat("Prawdziwa wartość oczekiwana:", E_true, "\n")## Prawdziwa wartość oczekiwana: 0.2222222
## Aproksymacja siatkowa (Grid): 0.22222
## Całkowanie Monte Carlo: 0.22259 (MCSE: 0.00132 )
# Wizualizacja
hist(theta_samples, probability = TRUE, breaks = 40, col = "lightblue", border = "white",
main = "Bayesowskie całkowanie Monte Carlo", xlab = expression(theta))
lines(theta_grid, p_grid, col = "darkblue", lwd = 2)
abline(v = E_mc, col = "red", lwd = 2, lty = 2)
legend("topright", legend = c("Gęstość a posteriori", "Średnia z próby MC (E[theta])"),
col = c("darkblue", "red"), lty = c(1, 2), lwd = 2)Całkowanie Monte Carlo omówione w poprzednim punkcie wymaga możliwości generowania próbek bezpośrednio z rozkładu targetowego \(p(\theta | \mathbf{x})\). W praktyce bayesowskiej najczęściej znamy jedynie nieunormowaną gęstość a posteriori \(q(\theta | \mathbf{x}) = f(\mathbf{x} | \theta) \pi(\theta)\), natomiast policzenie stałej normalizacyjnej (mianownika Twierdzenia Bayesa) jest niemożliwe analitycznie.
Próbkowanie z odrzuceniem (rejection sampling) jest jedną z podstawowych metod pośrednich, która pozwala generować dokładne, niezależne próbki z trudnego rozkładu targetowego bez konieczności znajomości jego stałej normalizacyjnej.
Wyobraźmy sobie wykres nieunormowanej gęstości a posteriori \(q(\theta | \mathbf{x})\) nad przestrzenią parametrów. Gdybyśmy potrafili losować punkty \((\theta, u)\) jednostajnie z dwuwymiarowego obszaru leżącego bezpośrednio pod tą krzywą, to współrzędne \(\theta\) tych punktów tworzyłyby dokładną próbkę z rozkładu targetowego \(p(\theta | \mathbf{x})\).
Ponieważ bezpośrednie losowanie z obszaru pod nieregularną krzywą \(q(\theta | \mathbf{x})\) jest niemożliwe, stosujemy rozkład pomocniczy:
Wybieramy prostszy rozkład prawdopodobieństwa \(g(\theta)\) (zwany rozkładem propozycji lub rozkładem kopertowym), z którego potrafimy łatwo i szybko losować próbki (np. rozkład normalny, Studenta lub Cauchy’ego).
Dobieramy stałą skalującą \(M > 0\) w taki sposób, aby przeskalowana funkcja \(M \cdot g(\theta)\) stanowiła „kopertę” całkowicie przykrywającą wykres \(q(\theta \vert{} \mathbf{x})\): \[M \cdot g(\theta) \ge q(\theta \vert{} \mathbf{x}) \quad \text{dla wszystkich } \theta \in \Theta\]
Funkcję \(M \cdot g(\theta)\) nazywamy formalnie funkcją majorującą (lub majorantą), choć w literaturze anglosaskiej i dydaktyce bardzo często używa się obrazowego określenia koperta (envelope).
Procedura generowania pojedynczej próbki \(\theta\) przebiega w następujących krokach:
Generowanie kandydata: Losujemy wartość kandydującą \(\theta^*\) z rozkładu propozycji \(g(\theta)\).
Losowanie poziomu akceptacji: Losujemy zmienną pomocniczą \(u\) z rozkładu jednostajnego \(\text{Unif}(0, 1)\).
Kryterium decyzji:
Prawdopodobieństwo, że wylosowany punkt kandydujący \(\theta^*\) zostanie zaakceptowany, wynosi: \[P(\text{Akceptacja} \vert{} \theta^*) = \frac{q(\theta^* \vert{} \mathbf{x})}{M \cdot g(\theta^*)}\] Łączna gęstość prawdopodobieństwa uzyskania zaakceptowanej wartości \(\theta^*\) jest iloczynem gęstości wylosowania kandydata \(g(\theta^*)\) oraz prawdopodobieństwa jego akceptacji: \[f_{\text{akceptowane}}(\theta^*) \propto g(\theta^*) \cdot \frac{q(\theta^* \vert{} \mathbf{x})}{M \cdot g(\theta^*)} = \frac{1}{M} q(\theta^* \vert{} \mathbf{x})\] Gęstość propozycji \(g(\theta^*)\) ulega skróceniu. Otrzymany rozkład próbek jest idealnie proporcjonalny do nieunormowanej gęstości targetowej \(q(\theta^* \vert{} \mathbf{x})\), co oznacza, że zaakceptowane wartości stanowią dokładną próbkę z rozkładu targetowego.
Efektywność obliczeniowa algorytmu mierzona jest wskaźnikiem akceptacji próbek (ang. acceptance rate): \[P(\text{Akceptacja}) = \int \frac{q(\theta \vert{} \mathbf{x})}{M \cdot g(\theta)} g(\theta) d\theta = \frac{1}{M} \int q(\theta \vert{} \mathbf{x}) d\theta = \frac{Z}{M}\] Dla unormowanych rozkładów prawdopodobieństwa średni odsetek zaakceptowanych losowań wynosi dokładnie \(\frac{1}{M}\).
Kluczowe wymogi przy doborze \(g(\theta)\) i \(M\):
Ogon rozkładu (warunek skończoności \(M\)): Rozkład propozycji \(g(\theta)\) musi posiadać grubsze ogony (ang. heavier tails) niż funkcja \(q(\theta | \mathbf{x})\). Jeżeli \(g(\theta)\) opada do zera szybciej niż \(q(\theta | \mathbf{x})\), to iloraz \(\frac{q(\theta | \mathbf{x})}{g(\theta)}\) zmierza do nieskończoności dla skrajnych wartości parametrów, co uniemożliwia znalezienie skończonej stałej \(M\).
Dopasowanie kształtu: Im bardziej kształt \(M \cdot g(\theta)\) przypomina kształt \(q(\theta | \mathbf{x})\), tym wartość \(M\) jest bliższa 1, a odsetek odrzuconych losowań staje się mniejszy.
Załamanie w wyższych wymiarach: Wraz ze wzrostem
wymiarowości przestrzeni parametrów \(p\), objętość „narożników” pod funkcją
kopertową \(M \cdot g(\theta)\) rośnie
wykładniczo w stosunku do objętości pod rozkładem targetowym. W efekcie
stała \(M\) drastycznie rośnie, a
wskaźnik akceptacji spada niemal do zera. Z tego powodu próbkowanie z
odrzuceniem stosuje się głównie dla problemów 1- lub
2-wymiarowych.
Zaimplementujemy algorytm próbkowania z odrzuceniem dla problemu rzutu monetą: szacowanie parametru \(\theta \in [0, 1]\) w modelu dwumianowym (\(n = 10, k = 7\) sukcesów) przy niesprzężonym priorze w postaci uciętego rozkładu normalnego \(\mathcal{N}(0.5, 0.15^2)\).
Jako rozkład propozycji \(g(\theta)\) przyjmiemy proste próbkowanie z rozkładu jednostajnego \(\text{Unif}(0, 1)\).
# Definicja nieunormowanej gęstości targetowej q(theta | dane)
q_target <- function(theta, k = 7, n = 10) {
# Wiarygodność dwumianowa
likelihood <- theta^k*(1-theta)^(n-k)
# Ucięty prior normalny N(0.5, 0.15^2)
prior <- ifelse(theta >= 0 & theta <= 1,dnorm(theta, mean = 0.5, sd = 0.15), 0)
return(likelihood * prior)
}
# Definicja rozkładu propozycji g(theta) oraz wyznaczenie stałej M
# g(theta) = Unif(0, 1) -> g(theta) = 1 na [0, 1]
g_proposal <- function(theta) {
ifelse(theta >= 0 & theta <= 1, 1, 0)
}
# Znajdujemy maksimum nieunormowanej gęstości q(theta), aby wyznaczyć optymalne M
opt_res <- optimize(f = q_target, interval = c(0, 1), maximum = TRUE)
M <- opt_res$objective * 1.05 # Mnożymy przez 1.05 jako bezpieczny zapas koperty
# Obliczenie stałej normalizacyjnej Z oraz teoretycznego wskaźnika akceptacji (Z / M)
Z <- integrate(q_target, lower = 0, upper = 1)$value
p_accept_theo <- Z / M
cat("Stała M (maksimum koperty):", round(M, 4), "\n")## Stała M (maksimum koperty): 0.004
## Stała normalizacyjna Z: 0.001
## Teoretyczny wskaźnik akceptacji (Z / M): 0.2575
# Algorytm Próbkowania z Odrzuceniem (Rejection Sampling)
set.seed(123)
N_target <- 5000 # Liczba zaakceptowanych próbek, którą chcemy uzyskać
probki_akceptowane <- numeric(N_target)
kandydaci_plot <- c()
u_wysokosc_plot <- c()
akceptacja_plot <- c()
licznik_akceptacji <- 0
proby_total <- 0
while (licznik_akceptacji < N_target) {
proby_total <- proby_total + 1
# Krok 1: Losujemy kandydata z g(theta) = Unif(0, 1)
theta_cand <- runif(1)
# Krok 2: Losujemy u ~ Unif(0, 1)
u <- runif(1, 0, 1)
# Krok 3: Warunek akceptacji
p_accept <- q_target(theta_cand) / (M * g_proposal(theta_cand))
# Zapisujemy dokładne wartości (theta, u * M) z pętli dla pierwszych 2000 prób
if (proby_total <= 2000) {
kandydaci_plot <- c(kandydaci_plot, theta_cand)
u_wysokosc_plot <- c(u_wysokosc_plot, u*M)
akceptacja_plot <- c(akceptacja_plot, u <= p_accept)
}
if (u <= p_accept) {
licznik_akceptacji <- licznik_akceptacji + 1
probki_akceptowane[licznik_akceptacji] <- theta_cand
}
}
cat("Liczba uzyskanych próbek:", N_target, "\n")## Liczba uzyskanych próbek: 5000
## Łączna liczba wykonanych losowań: 19335
## Empiryczny wskaźnik akceptacji: 0.259
# Wykres A: Punkty pod funkcją kopertową M*g(theta)
theta_grid <- seq(0, 1, length.out = 300)
q_vals <- q_target(theta_grid)
plot(theta_grid, rep(M, length(theta_grid)), type = "l", col = "black", lty = 2, lwd = 2,
ylim = c(0, M * 1.1), xlab = expression(theta), ylab = "Gęstość",
main = "Próbkowanie z odrzuceniem")
lines(theta_grid, q_vals, col = "blue", lwd = 3)
# Rysujemy pierwsze 2000 próbek (zielone = zaakceptowane, czerwone = odrzucone)
kolory <- ifelse(akceptacja_plot, "darkgreen", "red")
points(kandydaci_plot, u_wysokosc_plot, col = kolory, pch = 16, cex = 0.5)
legend("topright", legend = c("M * g(θ) [Koperta]", "q(θ|x) [Target]", "Zaakceptowane", "Odrzucone"),
col = c("black", "blue", "darkgreen", "red"), lty = c(2, 1, NA, NA), pch = c(NA, NA, 16, 16), cex = 0.8)# Wykres B: Histogram wygenerowanej próbki a posteriori
hist(probki_akceptowane, breaks = 30, probability = TRUE, col = "lightgray", border = "white",
xlab = expression(theta), ylab = "Gęstość",
main = "Empiryczny rozkład a posteriori (próbkowanie z odrzuceniem")
lines(theta_grid, q_vals/Z, col = "blue", lwd = 2)
grid()Główną wadą próbkowania z odrzuceniem jest marnotrawstwo obliczeniowe: każdy wylosowany punkt kandydujący, który nie przejdzie testu akceptacji, jest bezpowrotnie odrzucany. W wyższych wymiarach wskaźnik akceptacji drastycznie spada, co prowadzi do sytuacji, w której komputery wykonują miliony losowań, by uzyskać zaledwie garść przydatnych punktów.
Próbkowanie ważone (importance sampling) rozwiązuje ten problem: nie odrzuca ani jednej wygenerowanej próbki. Zamiast tego wszystkim losowaniom z rozkładu propozycji \(g(\theta)\) przydziela się odpowiednie wagi (importance weights), które odzwierciedlają ich istotność pod kątem nieunormowanego rozkładu targetowego \(q(\theta | \mathbf{x})\).
Chcemy wyznaczyć wartość oczekiwaną funkcji \(h(\theta)\) względem docelowego rozkładu a
posteriori \(p(\theta |
\mathbf{x})\):
\[\mathbb{E}_{f}[g(\theta)] = \int g(\theta)
p(\theta | \mathbf{x}) d\theta\]
Załóżmy, że zamiast z trudnego rozkładu \(p(\theta | \mathbf{x})\) losujemy próbki
\(\theta_1, \theta_2, \dots, \theta_N\)
z prostszego rozkładu pomocniczego \(g(\theta)\) (zwanego rozkładem propozycji).
Korzystając z tożsamości algebraicznej, przekształcamy całkę: \[\mathbb{E}_{f}[h(\theta)] = \int h(\theta)
\frac{p(\theta | \mathbf{x})}{g(\theta)} g(\theta) d\theta =
\mathbb{E}_{q}\left[ h(\theta) \frac{p(\theta | \mathbf{x})}{g(\theta)}
\right]\] Definiujemy nieunormowaną wagę dla \(i\)-tej obserwacji: \[w_i = \frac{p(\theta_i |
\mathbf{x})}{g(\theta_i)}\]
W praktyce bayesowskiej gęstość docelowa \(p(\theta | \mathbf{x})\) jest znana jedynie z dokładnością do nieznanej stałej normalizacyjnej \(Z\): \(q(\theta) = f(\mathbf{x}\vert{}\theta) \pi(\theta)\).
W takim przypadku unormowane wagi \(\tilde{w}_i\) obliczamy dzieląc
poszczególne wagi przez ich sumę: \[\tilde{w}_i = \frac{w_i}{\sum_{j=1}^{N} w_j},
\quad \text{gdzie } w_i = \frac{q(\theta_i)}{g(\theta_i)}\]
Estymator dowolnej statystyki (np. wartości oczekiwanej \(\mathbb{E}[h(\theta)]\)) przyjmuje wówczas
postać średniej ważonej:
\[\hat{h}_N = \sum_{i=1}^{N} \tilde{w}_i
h(\theta_i)\]
Wartości estymatorów podstawowych statystyk:
Średnia a posteriori \(\hat{\mu} = \sum_{i=1}^{N} \tilde{w}_i \theta_i\)
Wariancja a posteriori \(\hat{\sigma}^2 = \sum_{i=1}^{N} \tilde{w}_i (\theta_i - \hat{\mu})^2\)
Prawdopodobieństwo zdarzenia \(\theta \in A\): \(P(\theta \in A | \mathbf{x}) \approx \sum_{i=1}^{N} \tilde{w}_i \, \mathbb{I}(\theta_i \in A)\)
Sukces próbkowania ważonego zależy bezpośrednio od wyboru rozkładu pomocniczego \(g(\theta)\):
Warunek grubych ogonów:
Rozkład propozycji \(g(\theta)\) musi mieć grubsze ogony niż rozkład \(q(\theta | \mathbf{x})\). Jeśli \(g(\theta)\) opada szybciej niż rozkład docelowy, wagi \(w_i = \frac{q(\theta_i)}{g(\theta_i)}\) na ogonach wybuchają do ogromnych wartości, co drastycznie zwiększa wariancję estymatora i niszczy zbieżność.
Efektywna Wielkość Próby (Effective Sample Size, ESS):
Mierzy, ilu “niezależnym próbkom bez wag” odpowiada nasz zbiór zważonych losowań: \[\text{ESS} = \frac{1}{\sum_{i=1}^{N} \tilde{w}_i^2}\] Jeśli wszystkie wagi są równe (\(\tilde{w}_i = 1/N\)), to \(\text{ESS} = N\) (idealne dopasowanie). Jeśli dominują zaledwie 2–3 ogromne wagi, \(\text{ESS} \ll N\) (sygnał alarmowy: zły dobór rozkładu \(g(\theta)\)).
Standardowe próbkowanie ważone zwraca punkty \(\theta_i\) przypisane do wag \(\tilde{w}_i\). Często jednak chcemy uzyskać zwykłą, unormowaną próbkę o jednakowych wagach, z której możemy bezpośrednio narysować histogram lub wyznaczyć empiryczne przedziały wiarygodności.
Służy do tego procedura SIR (Sampling Importance Resampling):
Importance Sampling: Generujemy \(N\) próbek \(\theta_1, \dots, \theta_N\) z rozkładu propozycji \(g(\theta)\) i wyznaczamy ich znormalizowane wagi \(\tilde{w}_1, \dots, \tilde{w}_N\).
Resampling: Losujemy ze zwracaniem nową próbkę \(K\) punktów z wygenerowanego wcześniej zbioru \(\{\theta_1, \dots, \theta_N\}\), gdzie prawdopodobieństwo wylosowania \(i\)-tego punktu jest równe jego wadze \(\tilde{w}_i\).
Zgodnie z teorią, tak otrzymana nowa próbka o liczebności \(K\) (gdzie zazwyczaj \(K \le \text{ESS}\)) stanowi bezpośrednie,
empiryczne przybliżenie rozkładu a posteriori \(p(\theta \vert{} \mathbf{x})\) z
jednakowymi wagami dla każdego punktu. W R realizujemy ten krok prosto
za pomocą funkcji
sample(..., replace = TRUE, prob = w_norm).
Wykorzystamy funkcje q_target oraz
g_proposal zaimplementowane w poprzednim przykładzie.
# Wykorzystujemy zdefiniowane wcześniej funkcje:
# - q_target(theta) : nieunormowana gęstość a posteriori
# - g_proposal(theta) : rozkład propozycji Unif(0, 1)
set.seed(123)
N <- 10000
# 1. Losujemy N próbek z rozkładu propozycji g(theta)
theta_samples <- runif(N)
# 2. Obliczamy nieunormowane wagi w_i = q(theta) / g(theta)
q_vals <- q_target(theta_samples)
g_vals <- g_proposal(theta_samples)
w_raw <- q_vals / g_vals
# 3. Normalizacja wag (suma = 1)
w_norm <- w_raw / sum(w_raw)
# 4. Estymacja parametrów a posteriori (średnia i wariancja)
mu_hat <- sum(w_norm * theta_samples)
var_hat <- sum(w_norm * (theta_samples - mu_hat)^2)
# Diagnostyka ESS
ess <- 1 / sum(w_norm^2)
# Wyniki próbkowania ważonego
cat("Średnia a posteriori E[theta|x]: ", round(mu_hat, 4), "\n")## Średnia a posteriori E[theta|x]: 0.5931
## Odchylenie standardowe a posteriori: 0.106
cat("Efektywna wielkość próby (ESS): ", round(ess, 1), "z", N, "próbek (", round(100 * ess / N, 1), "% )\n\n")## Efektywna wielkość próby (ESS): 3832 z 10000 próbek ( 38.3 % )
# 5. Wizualizacja: Próbkowanie przez ponowne losowanie z wagami (SIR - Sampling Importance Resampling)
sir_samples <- sample(theta_samples, size = ess, replace = TRUE, prob = w_norm)
hist(sir_samples, breaks = 30, probability = TRUE, col = "lightblue", border = "white",
xlab = expression(theta), ylab = "Gęstość",
main = "Empiryczny rozkład a posteriori (próbkowanie ważone)")
# Nałożenie unormowanej gęstości analitycznej
lines(theta_grid, q_target(theta_grid)/Z, col = "darkblue", lwd = 2)
abline(v = mu_hat, col = "red", lwd = 2, lty = 2)
legend("topleft", legend = c("Gęstość rozkładu docelowego", "Średnia z próby IS"),
col = c("darkblue", "red"), lty = c(1, 2), lwd = 2, cex = 0.8)