WNIOSKOWANIE BAYESOWSKIE, ZIMA 2026



Ograniczenia modeli sprzężonych i motywacja do symulacji

W trakcie poprzednich zajęć pracowaliśmy wyłącznie z modelami sprzężonymi (np. Beta-Binomialnym, Gamma-Poisson, Normalnym-Gamma). Ich ogromną zaletą była elegancja analityczna – rozkład a posteriori należał do tej samej rodziny co rozkład a priori, co pozwalało na bezpośrednie wyznaczanie parametrów oraz rozkładów predykcyjnych za pomocą gotowych wzorów algebraicznych.

W rzeczywistych zastosowaniach fizycznych, inżynieryjnych i przy analizie złożonych układów empirycznych założenie o sprzężeniu rozkładów niemal zawsze ulega załamaniu.


Rozkłady niesprzężone – gdy matematyka przestaje współpracować

Załóżmy prosty eksperyment rzutu monetą (lub testowania wydajności czujnika), gdzie wiarygodność opisuje rozkład dwumianowy \(\text{Binomial}(n, \theta)\). Zamiast standardowego rozkładu a priori \(\text{Beta}(\alpha, \beta)\) decydujemy się jednak na wykorzystanie wiedzy eksperckiej ujętej za pomocą uciętego rozkładu normalnego \(\mathcal{N}(0.5, 1)\) w przedziale \([0, 1]\): \[\pi(\theta) \propto \exp\left(-\frac{(\theta - 0.5)^2}{2}\right) \quad \text{dla } \theta \in [0, 1]\] Rozkład a posteriori ma w tym przypadku postać: \[p(\theta \vert{} \mathbf{x}) \propto \theta^k (1-\theta)^{n-k} \cdot \exp\left(-\frac{(\theta - 0.5)^2}{2}\right)\] Iloczyn ten nie odpowiada żadnemu znanemu rozładowi prawdopodobieństwa. Nie da się sprowadzić go do prostej formy parametrycznej, ani bezpośrednio odczytać z niego średniej, mediany czy przedziałów wiarygodności.


Mianownik w Twierdzeniu Bayesa i klątwa wymiarowości

Główna trudność we wnioskowaniu bayesowskim leży w obliczeniu stałej normalizacyjnej \(Z\) (tzw. wiarygodności brzegowej danych lub mianownika Twierdzenia Bayesa): \[Z = \int_{\Theta} f(\mathbf{x} \vert{} \boldsymbol{\theta}) \pi(\boldsymbol{\theta}) d\boldsymbol{\theta}\]

Jeśli parametr \(\theta\) ma tylko jeden wymiar (\(p = 1\)) to całkę tę można policzyć numerycznie na prostej siatce punktów. W modelach fizycznych opisanych wektorem parametrów \(\boldsymbol{\theta} = (\theta_1, \theta_2, \dots, \theta_p)\) całka zamienia się w całkę wielokrotną: \[Z = \int \dots \int f(\mathbf{x} | \theta_1, \dots, \theta_p) \pi(\theta_1, \dots, \theta_p) \, d\theta_1 \dots d\theta_p\] Obliczenie takiej całki wiąże się z klątwą wymiarowości (ang. curse of dimensionality). Jeśli podzielimy dziedzinę każdego z \(p\) parametrów na zaledwie \(N = 100\) punktów siatki, to całkowita liczba węzłów do obliczenia wartości funkcji wynosi \(N^p\).

  • Dla \(p = 2 \implies 10\,000\) punktów (ułamek sekundy).
  • Dla \(p = 5 \implies 10^{10}\) punktów (kilka minut).
  • Dla \(p = 10 \implies 10^{20}\) punktów (lata obliczeń).

Deterministyczne siatki stają się nieużyteczne powyżej kilku wymiarów.


Deterministyczne całkowanie numeryczne vs podejście stochastyczne

Aby poradzić sobie z brakiem sprzężenia analitycznego, stosuje się trzy główne grupy podejść numerycznych:

  1. Przybliżenia analityczne / kwadratury (np. Gaussian Approximation, metody wariacyjne):

    Aproksymują złożony rozkład a posteriori prostszą strukturą (np. wielowymiarowym rozkładem normalnym wokół mody). Są niezwykle szybkie, ale mogą wprowadzać istotne obciążenie przy skoskowych rozkładach lub grubych ogonach.

  2. Deterministyczne kwadratury numeryczne (np. reguła Simpsona, Gauss-Legendre):

    Wymagają próbkowania na regularnej siatce. Błąd zbieżności skaluje się jako \(\mathcal{O}(N^{-k/p})\), co oznacza, że wraz ze wzrostem wymiarowości \(p\) zbieżność drastycznie zwalnia.

  3. Metody symulacyjne (Monte Carlo):

    Opierają się na generowaniu losowych próbek z przestrzeni parametrów zamiast tworzenia sztywnej siatki. Kluczową cechą metod Monte Carlo jest to, że tempo zbieżności \(\mathcal{O}(1/\sqrt{N})\) nie zależy od wymiarowości przestrzeni \(p\). Dzięki temu próbkowanie stochastyczne stanowi jedyne uniwersalne narzędzie do analizy wielowymiarowych rozkładów a posteriori w nowoczesnej statystyce bayesowskiej.


Bayesowskie całkowanie Monte Carlo

W analizie bayesowskiej szukamy wartości oczekiwanej dowolnej funkcji \(h\) parametru \(\theta\): \[\mathbb{E}[h(\theta) | \text{dane}] = \int_{\Theta} h(\theta) p(\theta | \text{dane}) d\theta\] Jeśli potrafimy wygenerować próbki \(\theta_1, \theta_2, \dots, \theta_N\) z rozkładu targetowego \(p(\theta | \text{dane})\), to punkty te automatycznie skupiają się w rejonach o wysokiej gęstości prawdopodobieństwa. Stała normalizacyjna i wagi probabilistyczne są uwzględnione w rozkładzie wylosowanych punktów, co redukuje problem całkowy do prostej średniej z próby: \[\hat{h}_N = \frac{1}{N} \sum_{i=1}^{N} h(\theta_i)\] Przykłady funkcji \(h(\theta)\):


Ocena dokładności numerycznej – błąd standardowy Monte Carlo (MCSE)

Szacunek uzyskiwany z metody Monte Carlo jest zmienną losową (zależy od wylosowanej próbki). Zgodnie z Centralnym Twierdzeniem Granicznym (CLT), błąd naszego oszacowania numerycznego opisujemy za pomocą błędu standardowego Monte Carlo (ang. Monte Carlo Standard Error, MCSE): \[\text{MCSE}(\hat{h}_N) = \frac{s_h}{\sqrt{N}}\] gdzie \(s_h = \sqrt{\frac{1}{N-1}\sum_{i=1}^{N} (h(\theta_i) - \hat{h}_N)^2}\) jest odchyleniem standardowym wyznaczonym z próby.

Wnioski dla praktyki obliczeniowej:

  • Niezależność od wymiaru: Dokładność zależy wyłącznie od odchylenia \(s_g\) oraz liczby próbek \(N\), a nie od wymiarowości przestrzeni parametrów (co stanowi o przewadze nad metodami siatkowymi).

  • Prawo malejących zysków: Aby zmniejszyć błąd numeryczny o jeden rząd wielkości (10-krotnie), należy zwiększyć liczbę losowań 100-krotnie (\(N \to 100N\)).


Przykład: porównanie całkowania siatkowego i Monte Carlo

Zilustrujmy różnicę na przykładzie wyznaczania wartości oczekiwanej \(\mathbb{E}[\theta]\) dla rozkładu asymetrycznego \(\text{Beta}(2, 7)\).

# Definicja rozkładu (Beta(2, 7))
alpha <- 2
beta <- 7
# Prawdziwa analityczna wartość oczekiwana E[theta] = alpha / (alpha + beta)
E_true <- alpha / (alpha + beta)

# PODEJŚCIE A: Całkowanie na sztywnej siatce (Grid Approximation)
N_grid <- 1000
theta_grid <- seq(0, 1, length.out = N_grid)
p_grid <- dbeta(theta_grid, alpha, beta)
p_grid_norm <- p_grid / sum(p_grid) # Normalizacja na siatce

E_grid <- sum(theta_grid * p_grid_norm)

# PODEJŚCIE B: Bayesowskie całkowanie Monte Carlo
N_mc <- 10000
set.seed(123)
# Losujemy próbki BEZPOŚREDNIO z rozkładu targetowego p(theta)
theta_samples <- rbeta(N_mc, alpha, beta)

# Całkowanie sprowadza się do zwykłej średniej z próby
E_mc <- mean(theta_samples)
mcse <- sd(theta_samples) / sqrt(N_mc)

# Wyniki
cat("Prawdziwa wartość oczekiwana:", E_true, "\n")
## Prawdziwa wartość oczekiwana: 0.2222222
cat("Aproksymacja siatkowa (Grid):", round(E_grid, 5), "\n")
## Aproksymacja siatkowa (Grid): 0.22222
cat("Całkowanie Monte Carlo:", round(E_mc, 5), "(MCSE:", round(mcse, 5), ")\n")
## Całkowanie Monte Carlo: 0.22259 (MCSE: 0.00132 )
# Wizualizacja
hist(theta_samples, probability = TRUE, breaks = 40, col = "lightblue", border = "white",
     main = "Bayesowskie całkowanie Monte Carlo", xlab = expression(theta))
lines(theta_grid, p_grid, col = "darkblue", lwd = 2)
abline(v = E_mc, col = "red", lwd = 2, lty = 2)
legend("topright", legend = c("Gęstość a posteriori", "Średnia z próby MC (E[theta])"),
       col = c("darkblue", "red"), lty = c(1, 2), lwd = 2)


Próbkowanie z odrzuceniem

Całkowanie Monte Carlo omówione w poprzednim punkcie wymaga możliwości generowania próbek bezpośrednio z rozkładu targetowego \(p(\theta | \mathbf{x})\). W praktyce bayesowskiej najczęściej znamy jedynie nieunormowaną gęstość a posteriori \(q(\theta | \mathbf{x}) = f(\mathbf{x} | \theta) \pi(\theta)\), natomiast policzenie stałej normalizacyjnej (mianownika Twierdzenia Bayesa) jest niemożliwe analitycznie.

Próbkowanie z odrzuceniem (rejection sampling) jest jedną z podstawowych metod pośrednich, która pozwala generować dokładne, niezależne próbki z trudnego rozkładu targetowego bez konieczności znajomości jego stałej normalizacyjnej.


Geometryczna intuicja i zasada „koperty”

Wyobraźmy sobie wykres nieunormowanej gęstości a posteriori \(q(\theta | \mathbf{x})\) nad przestrzenią parametrów. Gdybyśmy potrafili losować punkty \((\theta, u)\) jednostajnie z dwuwymiarowego obszaru leżącego bezpośrednio pod tą krzywą, to współrzędne \(\theta\) tych punktów tworzyłyby dokładną próbkę z rozkładu targetowego \(p(\theta | \mathbf{x})\).

Ponieważ bezpośrednie losowanie z obszaru pod nieregularną krzywą \(q(\theta | \mathbf{x})\) jest niemożliwe, stosujemy rozkład pomocniczy:

  • Wybieramy prostszy rozkład prawdopodobieństwa \(g(\theta)\) (zwany rozkładem propozycji lub rozkładem kopertowym), z którego potrafimy łatwo i szybko losować próbki (np. rozkład normalny, Studenta lub Cauchy’ego).

  • Dobieramy stałą skalującą \(M > 0\) w taki sposób, aby przeskalowana funkcja \(M \cdot g(\theta)\) stanowiła „kopertę” całkowicie przykrywającą wykres \(q(\theta \vert{} \mathbf{x})\): \[M \cdot g(\theta) \ge q(\theta \vert{} \mathbf{x}) \quad \text{dla wszystkich } \theta \in \Theta\]

Funkcję \(M \cdot g(\theta)\) nazywamy formalnie funkcją majorującą (lub majorantą), choć w literaturze anglosaskiej i dydaktyce bardzo często używa się obrazowego określenia koperta (envelope).


Algorytm i mechanizm akceptacji/odrzucenia

Procedura generowania pojedynczej próbki \(\theta\) przebiega w następujących krokach:

  1. Generowanie kandydata: Losujemy wartość kandydującą \(\theta^*\) z rozkładu propozycji \(g(\theta)\).

  2. Losowanie poziomu akceptacji: Losujemy zmienną pomocniczą \(u\) z rozkładu jednostajnego \(\text{Unif}(0, 1)\).

  3. Kryterium decyzji:

    • Jeśli \(u \le \frac{q(\theta^* | \mathbf{x})}{M \cdot g(\theta^*)}\), akceptujemy kandydata i przyjmujemy \(\theta = \theta^*\) jako poprawny los z rozkładu targetowego.
    • W przeciwnym razie odrzucamy kandydata i wracamy do kroku 1.


Dlaczego to działa? Uzasadnienie probabilistyczne

Prawdopodobieństwo, że wylosowany punkt kandydujący \(\theta^*\) zostanie zaakceptowany, wynosi: \[P(\text{Akceptacja} \vert{} \theta^*) = \frac{q(\theta^* \vert{} \mathbf{x})}{M \cdot g(\theta^*)}\] Łączna gęstość prawdopodobieństwa uzyskania zaakceptowanej wartości \(\theta^*\) jest iloczynem gęstości wylosowania kandydata \(g(\theta^*)\) oraz prawdopodobieństwa jego akceptacji: \[f_{\text{akceptowane}}(\theta^*) \propto g(\theta^*) \cdot \frac{q(\theta^* \vert{} \mathbf{x})}{M \cdot g(\theta^*)} = \frac{1}{M} q(\theta^* \vert{} \mathbf{x})\] Gęstość propozycji \(g(\theta^*)\) ulega skróceniu. Otrzymany rozkład próbek jest idealnie proporcjonalny do nieunormowanej gęstości targetowej \(q(\theta^* \vert{} \mathbf{x})\), co oznacza, że zaakceptowane wartości stanowią dokładną próbkę z rozkładu targetowego.


Efektywność algorytmu i dobór funkcji kopertowej

Efektywność obliczeniowa algorytmu mierzona jest wskaźnikiem akceptacji próbek (ang. acceptance rate): \[P(\text{Akceptacja}) = \int \frac{q(\theta \vert{} \mathbf{x})}{M \cdot g(\theta)} g(\theta) d\theta = \frac{1}{M} \int q(\theta \vert{} \mathbf{x}) d\theta = \frac{Z}{M}\] Dla unormowanych rozkładów prawdopodobieństwa średni odsetek zaakceptowanych losowań wynosi dokładnie \(\frac{1}{M}\).

Kluczowe wymogi przy doborze \(g(\theta)\) i \(M\):

  1. Ogon rozkładu (warunek skończoności \(M\)): Rozkład propozycji \(g(\theta)\) musi posiadać grubsze ogony (ang. heavier tails) niż funkcja \(q(\theta | \mathbf{x})\). Jeżeli \(g(\theta)\) opada do zera szybciej niż \(q(\theta | \mathbf{x})\), to iloraz \(\frac{q(\theta | \mathbf{x})}{g(\theta)}\) zmierza do nieskończoności dla skrajnych wartości parametrów, co uniemożliwia znalezienie skończonej stałej \(M\).

  2. Dopasowanie kształtu: Im bardziej kształt \(M \cdot g(\theta)\) przypomina kształt \(q(\theta | \mathbf{x})\), tym wartość \(M\) jest bliższa 1, a odsetek odrzuconych losowań staje się mniejszy.

  3. Załamanie w wyższych wymiarach: Wraz ze wzrostem wymiarowości przestrzeni parametrów \(p\), objętość „narożników” pod funkcją kopertową \(M \cdot g(\theta)\) rośnie wykładniczo w stosunku do objętości pod rozkładem targetowym. W efekcie stała \(M\) drastycznie rośnie, a wskaźnik akceptacji spada niemal do zera. Z tego powodu próbkowanie z odrzuceniem stosuje się głównie dla problemów 1- lub 2-wymiarowych.

Przykład: rzut monetą z niesprzężonym rozkładem a priori

Zaimplementujemy algorytm próbkowania z odrzuceniem dla problemu rzutu monetą: szacowanie parametru \(\theta \in [0, 1]\) w modelu dwumianowym (\(n = 10, k = 7\) sukcesów) przy niesprzężonym priorze w postaci uciętego rozkładu normalnego \(\mathcal{N}(0.5, 0.15^2)\).

Jako rozkład propozycji \(g(\theta)\) przyjmiemy proste próbkowanie z rozkładu jednostajnego \(\text{Unif}(0, 1)\).

# Definicja nieunormowanej gęstości targetowej q(theta | dane)
q_target <- function(theta, k = 7, n = 10) {
  
  # Wiarygodność dwumianowa
  likelihood <- theta^k*(1-theta)^(n-k)
  
  # Ucięty prior normalny N(0.5, 0.15^2)
  prior <- ifelse(theta >= 0 & theta <= 1,dnorm(theta, mean = 0.5, sd = 0.15), 0)
  
  return(likelihood * prior)
}

# Definicja rozkładu propozycji g(theta) oraz wyznaczenie stałej M
# g(theta) = Unif(0, 1) -> g(theta) = 1 na [0, 1]
g_proposal <- function(theta) {
  ifelse(theta >= 0 & theta <= 1, 1, 0)
}

# Znajdujemy maksimum nieunormowanej gęstości q(theta), aby wyznaczyć optymalne M
opt_res <- optimize(f = q_target, interval = c(0, 1), maximum = TRUE)
M <- opt_res$objective * 1.05 # Mnożymy przez 1.05 jako bezpieczny zapas koperty

# Obliczenie stałej normalizacyjnej Z oraz teoretycznego wskaźnika akceptacji (Z / M)
Z <- integrate(q_target, lower = 0, upper = 1)$value
p_accept_theo <- Z / M

cat("Stała M (maksimum koperty):", round(M, 4), "\n")
## Stała M (maksimum koperty): 0.004
cat("Stała normalizacyjna Z:", round(Z, 4), "\n")
## Stała normalizacyjna Z: 0.001
cat("Teoretyczny wskaźnik akceptacji (Z / M):", round(p_accept_theo, 4), "\n\n")
## Teoretyczny wskaźnik akceptacji (Z / M): 0.2575
# Algorytm Próbkowania z Odrzuceniem (Rejection Sampling)
set.seed(123)
N_target <- 5000       # Liczba zaakceptowanych próbek, którą chcemy uzyskać
probki_akceptowane <- numeric(N_target)
kandydaci_plot     <- c()
u_wysokosc_plot    <- c()
akceptacja_plot    <- c()

licznik_akceptacji <- 0
proby_total <- 0

while (licznik_akceptacji < N_target) {
  proby_total <- proby_total + 1
  
  # Krok 1: Losujemy kandydata z g(theta) = Unif(0, 1)
  theta_cand <- runif(1)
  
  # Krok 2: Losujemy u ~ Unif(0, 1)
  u <- runif(1, 0, 1)
  
  # Krok 3: Warunek akceptacji
  p_accept <- q_target(theta_cand) / (M * g_proposal(theta_cand))
  
  # Zapisujemy dokładne wartości (theta, u * M) z pętli dla pierwszych 2000 prób
  if (proby_total <= 2000) {
    kandydaci_plot <- c(kandydaci_plot, theta_cand)
    u_wysokosc_plot <- c(u_wysokosc_plot, u*M)
    akceptacja_plot <- c(akceptacja_plot, u <= p_accept)
  }
  
  if (u <= p_accept) {
    licznik_akceptacji <- licznik_akceptacji + 1
    probki_akceptowane[licznik_akceptacji] <- theta_cand
  }
}

cat("Liczba uzyskanych próbek:", N_target, "\n")
## Liczba uzyskanych próbek: 5000
cat("Łączna liczba wykonanych losowań:", proby_total, "\n")
## Łączna liczba wykonanych losowań: 19335
cat("Empiryczny wskaźnik akceptacji:", round(N_target / proby_total, 3), "\n")
## Empiryczny wskaźnik akceptacji: 0.259
# Wykres A: Punkty pod funkcją kopertową M*g(theta)
theta_grid <- seq(0, 1, length.out = 300)
q_vals <- q_target(theta_grid)

plot(theta_grid, rep(M, length(theta_grid)), type = "l", col = "black", lty = 2, lwd = 2,
     ylim = c(0, M * 1.1), xlab = expression(theta), ylab = "Gęstość",
     main = "Próbkowanie z odrzuceniem")
lines(theta_grid, q_vals, col = "blue", lwd = 3)

# Rysujemy pierwsze 2000 próbek (zielone = zaakceptowane, czerwone = odrzucone)
kolory <- ifelse(akceptacja_plot, "darkgreen", "red")
points(kandydaci_plot, u_wysokosc_plot, col = kolory, pch = 16, cex = 0.5)
legend("topright", legend = c("M * g(θ) [Koperta]", "q(θ|x) [Target]", "Zaakceptowane", "Odrzucone"),
       col = c("black", "blue", "darkgreen", "red"), lty = c(2, 1, NA, NA), pch = c(NA, NA, 16, 16), cex = 0.8)

# Wykres B: Histogram wygenerowanej próbki a posteriori
hist(probki_akceptowane, breaks = 30, probability = TRUE, col = "lightgray", border = "white",
     xlab = expression(theta), ylab = "Gęstość", 
     main = "Empiryczny rozkład a posteriori (próbkowanie z odrzuceniem")
lines(theta_grid, q_vals/Z, col = "blue", lwd = 2)
grid()


Próbkowanie ważone

Główną wadą próbkowania z odrzuceniem jest marnotrawstwo obliczeniowe: każdy wylosowany punkt kandydujący, który nie przejdzie testu akceptacji, jest bezpowrotnie odrzucany. W wyższych wymiarach wskaźnik akceptacji drastycznie spada, co prowadzi do sytuacji, w której komputery wykonują miliony losowań, by uzyskać zaledwie garść przydatnych punktów.

Próbkowanie ważone (importance sampling) rozwiązuje ten problem: nie odrzuca ani jednej wygenerowanej próbki. Zamiast tego wszystkim losowaniom z rozkładu propozycji \(g(\theta)\) przydziela się odpowiednie wagi (importance weights), które odzwierciedlają ich istotność pod kątem nieunormowanego rozkładu targetowego \(q(\theta | \mathbf{x})\).


Sformułowanie problemu

Chcemy wyznaczyć wartość oczekiwaną funkcji \(h(\theta)\) względem docelowego rozkładu a posteriori \(p(\theta | \mathbf{x})\):
\[\mathbb{E}_{f}[g(\theta)] = \int g(\theta) p(\theta | \mathbf{x}) d\theta\]
Załóżmy, że zamiast z trudnego rozkładu \(p(\theta | \mathbf{x})\) losujemy próbki \(\theta_1, \theta_2, \dots, \theta_N\) z prostszego rozkładu pomocniczego \(g(\theta)\) (zwanego rozkładem propozycji). Korzystając z tożsamości algebraicznej, przekształcamy całkę: \[\mathbb{E}_{f}[h(\theta)] = \int h(\theta) \frac{p(\theta | \mathbf{x})}{g(\theta)} g(\theta) d\theta = \mathbb{E}_{q}\left[ h(\theta) \frac{p(\theta | \mathbf{x})}{g(\theta)} \right]\] Definiujemy nieunormowaną wagę dla \(i\)-tej obserwacji: \[w_i = \frac{p(\theta_i | \mathbf{x})}{g(\theta_i)}\]


Normowanie wag

W praktyce bayesowskiej gęstość docelowa \(p(\theta | \mathbf{x})\) jest znana jedynie z dokładnością do nieznanej stałej normalizacyjnej \(Z\): \(q(\theta) = f(\mathbf{x}\vert{}\theta) \pi(\theta)\).

W takim przypadku unormowane wagi \(\tilde{w}_i\) obliczamy dzieląc poszczególne wagi przez ich sumę: \[\tilde{w}_i = \frac{w_i}{\sum_{j=1}^{N} w_j}, \quad \text{gdzie } w_i = \frac{q(\theta_i)}{g(\theta_i)}\]
Estymator dowolnej statystyki (np. wartości oczekiwanej \(\mathbb{E}[h(\theta)]\)) przyjmuje wówczas postać średniej ważonej:
\[\hat{h}_N = \sum_{i=1}^{N} \tilde{w}_i h(\theta_i)\]
Wartości estymatorów podstawowych statystyk:

  • Średnia a posteriori \(\hat{\mu} = \sum_{i=1}^{N} \tilde{w}_i \theta_i\)

  • Wariancja a posteriori \(\hat{\sigma}^2 = \sum_{i=1}^{N} \tilde{w}_i (\theta_i - \hat{\mu})^2\)

  • Prawdopodobieństwo zdarzenia \(\theta \in A\): \(P(\theta \in A | \mathbf{x}) \approx \sum_{i=1}^{N} \tilde{w}_i \, \mathbb{I}(\theta_i \in A)\)


Wybór rozkładu \(q(\theta)\) i diagnostyka ESS

Sukces próbkowania ważonego zależy bezpośrednio od wyboru rozkładu pomocniczego \(g(\theta)\):

  1. Warunek grubych ogonów:

    Rozkład propozycji \(g(\theta)\) musi mieć grubsze ogony niż rozkład \(q(\theta | \mathbf{x})\). Jeśli \(g(\theta)\) opada szybciej niż rozkład docelowy, wagi \(w_i = \frac{q(\theta_i)}{g(\theta_i)}\) na ogonach wybuchają do ogromnych wartości, co drastycznie zwiększa wariancję estymatora i niszczy zbieżność.

  2. Efektywna Wielkość Próby (Effective Sample Size, ESS):

    Mierzy, ilu “niezależnym próbkom bez wag” odpowiada nasz zbiór zważonych losowań: \[\text{ESS} = \frac{1}{\sum_{i=1}^{N} \tilde{w}_i^2}\] Jeśli wszystkie wagi są równe (\(\tilde{w}_i = 1/N\)), to \(\text{ESS} = N\) (idealne dopasowanie). Jeśli dominują zaledwie 2–3 ogromne wagi, \(\text{ESS} \ll N\) (sygnał alarmowy: zły dobór rozkładu \(g(\theta)\)).


Od wag do próbki: algorytm SIR

Standardowe próbkowanie ważone zwraca punkty \(\theta_i\) przypisane do wag \(\tilde{w}_i\). Często jednak chcemy uzyskać zwykłą, unormowaną próbkę o jednakowych wagach, z której możemy bezpośrednio narysować histogram lub wyznaczyć empiryczne przedziały wiarygodności.

Służy do tego procedura SIR (Sampling Importance Resampling):

  1. Importance Sampling: Generujemy \(N\) próbek \(\theta_1, \dots, \theta_N\) z rozkładu propozycji \(g(\theta)\) i wyznaczamy ich znormalizowane wagi \(\tilde{w}_1, \dots, \tilde{w}_N\).

  2. Resampling: Losujemy ze zwracaniem nową próbkę \(K\) punktów z wygenerowanego wcześniej zbioru \(\{\theta_1, \dots, \theta_N\}\), gdzie prawdopodobieństwo wylosowania \(i\)-tego punktu jest równe jego wadze \(\tilde{w}_i\).

Zgodnie z teorią, tak otrzymana nowa próbka o liczebności \(K\) (gdzie zazwyczaj \(K \le \text{ESS}\)) stanowi bezpośrednie, empiryczne przybliżenie rozkładu a posteriori \(p(\theta \vert{} \mathbf{x})\) z jednakowymi wagami dla każdego punktu. W R realizujemy ten krok prosto za pomocą funkcji sample(..., replace = TRUE, prob = w_norm).


Przykład: ponownie rzut monetą

Wykorzystamy funkcje q_target oraz g_proposal zaimplementowane w poprzednim przykładzie.

# Wykorzystujemy zdefiniowane wcześniej funkcje:
# - q_target(theta)   : nieunormowana gęstość a posteriori
# - g_proposal(theta) : rozkład propozycji Unif(0, 1)

set.seed(123)
N <- 10000

# 1. Losujemy N próbek z rozkładu propozycji g(theta)
theta_samples <- runif(N)

# 2. Obliczamy nieunormowane wagi w_i = q(theta) / g(theta)
q_vals <- q_target(theta_samples)
g_vals <- g_proposal(theta_samples)
w_raw  <- q_vals / g_vals

# 3. Normalizacja wag (suma = 1)
w_norm <- w_raw / sum(w_raw)

# 4. Estymacja parametrów a posteriori (średnia i wariancja)
mu_hat  <- sum(w_norm * theta_samples)
var_hat <- sum(w_norm * (theta_samples - mu_hat)^2)

# Diagnostyka ESS
ess <- 1 / sum(w_norm^2)

# Wyniki próbkowania ważonego
cat("Średnia a posteriori E[theta|x]: ", round(mu_hat, 4), "\n")
## Średnia a posteriori E[theta|x]:  0.5931
cat("Odchylenie standardowe a posteriori: ", round(sqrt(var_hat), 4), "\n")
## Odchylenie standardowe a posteriori:  0.106
cat("Efektywna wielkość próby (ESS): ", round(ess, 1), "z", N, "próbek (", round(100 * ess / N, 1), "% )\n\n")
## Efektywna wielkość próby (ESS):  3832 z 10000 próbek ( 38.3 % )
# 5. Wizualizacja: Próbkowanie przez ponowne losowanie z wagami (SIR - Sampling Importance Resampling)
sir_samples <- sample(theta_samples, size = ess, replace = TRUE, prob = w_norm)

hist(sir_samples, breaks = 30, probability = TRUE, col = "lightblue", border = "white",
     xlab = expression(theta), ylab = "Gęstość",
     main = "Empiryczny rozkład a posteriori (próbkowanie ważone)")

# Nałożenie unormowanej gęstości analitycznej
lines(theta_grid, q_target(theta_grid)/Z, col = "darkblue", lwd = 2)
abline(v = mu_hat, col = "red", lwd = 2, lty = 2)
legend("topleft", legend = c("Gęstość rozkładu docelowego", "Średnia z próby IS"),
       col = c("darkblue", "red"), lty = c(1, 2), lwd = 2, cex = 0.8)