Na poprzednich zajęciach wprowadziliśmy pojęcie rozkładów sprzężonych, dzięki którym aktualizacja bayesowska sprowadza się do prostej algebry bez konieczności całkowania. Rozkłady sprzężone istnieją dla całej rodziny rozkładów wykładniczych, takich jak rozkład normalny, dwumianowy, Poissona, wielomianowy czy Gamma.
Dzisiaj rozszerzymy nasz warsztat o modelowanie danych ciągłych (pomiary fizyczne) oraz zliczeń (zdarzenia rzadkie).
Rozważmy zjawiska o charakterze dyskretnym, opisujące zdarzenia rzadkie (np. zliczanie rozpadów promieniotwórczych w danym czasie). Właściwym rozkładem do opisu takich zdarzeń jest dyskretny rozkład Poissona. Jeśli nieznaną intensywność procesu (np. średnią liczbę rozpadów) oznaczymy jako \(\lambda\), to funkcja wiarygodności dla \(n\) zaobserwowanych zdarzeń wygląda następująco:
\[f(\vec{x} | \lambda) = c \lambda^m e^{-n\lambda},\]
gdzie \(\vec{x} = \{k_1, k_2, \dots, k_n\}\) to wektor pomiarów o długości \(n\), \(m = \sum_{i=1}^{n} k_i\) jest całkowitą liczbą zdarzeń zaobserwowanych, a \(c\) jest stałą normującą. Powyższy wzór wynika z założenia o niezależności zdarzeń, których wyniki zawiera wektor \(\vec{x}\). Prawdopodobieństwo zaobserwowanie \(k\) zdarzeń w jednostce czasu, przy ustalonej intensywności \(\lambda\) wynosi:
\[P(k, \lambda) = \frac{\lambda^k e^{-\lambda}}{k!}\]
Funkcja wiarygodności jest iloczynem powyższych prawdopodobieństw dla \(\vec{x} = \{k_1, k_2, \dots, k_n\}\).
Dla tak zdefiniowanej wiarygodności, rozkładem a priori sprzężonym jest rozkład \(Gamma(\alpha, \beta)\). Jest to bardzo elastyczny rozkład z rodziny rozkładów wykładniczych, którego przypadkami szczególnymi są np. rozkład wykładniczy, rozkład Erlanga czy rozkład \(\chi^2\). Funkcja gęstości prawdopodobieństwa rokładu Gamma jest określona na przedziale \(\lambda \in [0, +\infty)\):
\[f(\lambda) = \frac{\beta^\alpha}{\Gamma(\alpha)} \lambda^{\alpha-1} e^{-\beta \lambda},\] gdzie \(\alpha>0\) określa kształt rozkładu (shape), a \(\beta>0\) intensywność (rate). Czasami drugi parametr zapisuje się w postaci \(\theta = \frac{1}{\beta}\) i nazywa skalą (scale).
curve(dgamma(x, 2, 0.5), from = 0, to = 20, col="orange", lwd =2,
ylab = expression("Gamma"*(x*"|"*alpha*","*beta)),
main = "Różne kształty rozkładu Gamma",
ylim = c(0, 0.5))
curve(dgamma(x, 0.5, 1), from = 0, to = 20, col="purple", lwd =2, add = TRUE)
curve(dgamma(x, 1, 0.5), from = 0, to = 20, col="red", lwd =2, add = TRUE)
curve(dgamma(x, 7.5, 1), from = 0, to = 20, col="blue", lwd =2, add = TRUE)
curve(dgamma(x, 5, 1), from = 0, to = 20, col="green", lwd =2, add = TRUE)
curve(dgamma(x, 9, 2), from = 0, to = 20, col="black", lwd =2, add = TRUE)
legend("top",
lty = 1,
col = c("red","black","purple","green","blue","orange"),
cex = 0.8,
legend = c("(1,0.5)",
"(9,2)",
"(0.5,1)",
"(5,1)",
"(7.5,1)",
"(2,0.5)"))Rozkład a posteriori wyprowadzamy z Twierdzenia Bayesa:
\[f(\lambda | \vec{x}) \sim f(\vec{x} | \lambda) f(\lambda) \sim \frac{(\beta+n)^{\alpha+m}}{\Gamma(\alpha+m)} \lambda^{\alpha+m-1} e^{-(\beta+n) \lambda} = Gamma(\alpha+m, \beta+n)\] Jak widać, rozkład a posteriori jest rozkładem Gamma o parametrach \(\alpha_\text{post} = \alpha_\text{prior} + m,\; \beta_\text{post} = \beta_\text{prior} + n\).
Władysław Bortkiewicz (1868 – 1931) był słynnym statystykiem, który wniósł znaczący wkład do badań nad rozkładem Poissona. Jego najważniejszą pracą była publikacja Prawo małych liczb, w której analizował liczbę śmiertelnych kopnięć żołnierzy przez konie w kawalerii pruskiej i na podstawie danych zebranych w ciągu 20 lat z 14 korpusów kawalerii wykazał, że jest ona zgodna z rozkładem Poissona.
Przyjmijmy, że liczba śmiertelnych kopnięć wynosi \(m=200\), natomiast długość wektora obserwacji \(n=14 \cdot 20=280\). Pytanie brzmi ile wynosi wartość oczekiwana liczby śmiertelnych kopnięć w ciągu roku w jednym korpusie? Przyjmijmy, że nasze dane pochodzą z rozkładu Poissona o średniej \(\lambda\) i zobaczmy jak wygląda funkcja wiarygodności dla różnych wartości \(\lambda\).
n <- 14*20
m <- 200
lambda <- seq(0.4, 1, 0.01)
likelihood <- lambda^m*exp(-n*lambda)
lambda_max <- lambda[which.max(likelihood)]
plot(lambda, likelihood, xlab=expression(lambda), ylab=expression(f(x,lambda)), pch=16)
abline(v = lambda_max, col = "red", lty = 2)
text(lambda_max, 1e-117,
paste("lambda_max = ", round(lambda_max, 2)),
pos = 1, col = "red")Naszym rozkładem a priori jest rozkład Gamma, który możemy wyrazić również poprzez średnią i wariancję:
\[\mu=\frac{\alpha}{\beta},\]
\[\sigma^2 = \frac{\alpha}{\beta^2}\].
Wynika z tego, że \(\alpha = \frac{\mu^2}{\sigma^2}\), \(\beta=\frac{\mu}{\sigma^2}\). Załóżmy, że wierzymy w to, że średnio w ciągu roku zdarza się jedno śmiertelne kopnięcie w każdym korpusie. Nie mamy jednak co do tego silnego przekonania, dlatego przyjmiemy odchylenie standardowe \(\sigma = 0.5\). Wtedy nasze rozkłady a priori i a posteriori wyglądają następująco:
# Rozkład a priori
mu <- 1
sigma <- 0.5
alpha <- (mu/sigma)^2
beta <- mu/sigma^2
sprintf("alpha = %.1f, beta = %.1f", alpha, beta)## [1] "alpha = 4.0, beta = 4.0"
# Rozkład a posteriori
alpha_post <- alpha+m
beta_post <- beta+n
curve(dgamma(x, alpha_post, beta_post), from = 0, to =3, col="firebrick3")
curve(dgamma(x, alpha, beta), from = 0, to = 3, col = "green3", add = TRUE)
legend("topright",
legend = c("Gamma(4,4)",
"Gamma(204,284)"),
col = c("green3","firebrick3"),
lwd = 2,
lty = c(1,1))Możemy teraz łatwo dokonać estymacji punktowej i przedziałowej liczby śmiertelnych kopnięć:
# Wartość oczekiwana rozkładu Gamma(alpha, beta) E[x] = alpha/beta
lambda_exp <- alpha_post/beta_post
lambda_exp## [1] 0.7183099
eti <- qgamma(c(0.025, 0.975), shape = alpha_post, rate = beta_post)
cat("95% ETI:", round(eti, 2), "\n")## 95% ETI: 0.62 0.82
Wyobraźmy sobie najprostszy scenariusz laboratoryjny: mierzymy pewną wielkość fizyczną za pomocą przyrządu, którego charakterystykę błędów doskonale znamy z kalibracji. Oznacza to, że nasze dane pomiarowe \(x\) pochodzą z rozkładu normalnego o nieznanej średniej \(\mu\), ale znanej wariancji \(\sigma^2\) (często reprezentowanej w literaturze bayesowskiej jako precyzja \(\tau = 1/\sigma^2\)).
Naszym zadaniem jest znalezienie sprzężonego rozkładu a priori dla nieznanej średniej \(\mu\). Okazuje się, że dla wiarygodności opisanej rozkładem normalnym, najodpowiedniejszy jest również rozkład normalny o pewnej początkowej średniej \(m\) i precyzji \(\tau_\text{prior}\):
\[\mu \sim \mathcal{N}(m_\text{prior}, \frac{1}{\tau_\text{prior}})\]
W ujęciu bayesowskim, po uwzględnieniu serii niezależnych pomiarów \(\vec{x}\) o średniej arytmetycznej \(\bar{x}\), nasz ostateczny stan wiedzy (rozkład a posteriori) przyjmuje nową postać normalną:
\[\mu | \vec{x} \sim \mathcal{N}(m_\text{post}, \frac{1}{\tau_\text{post}})\] Gdzie zaktualizowane parametry mają prostą, intuicyjną interpretację średniej ważonej:
\[\tau_\text{post} = \tau_\text{pior} + n\tau = \frac{1}{\sigma^2_\text{post}}\] \[\sigma^2_\text{post}= \frac{\sigma^2 \sigma^2_\text{prior}}{\sigma^2 + n\sigma^2_\text{prior}}\]
\[ m_\text{post} = \frac{\tau_\text{pior}m_\text{prior} + n\tau\bar{x}}{\tau_\text{pior} + n\tau}\] \[ m_\text{post} = \frac{\sigma^2 m_\text{prior} + n\sigma^2_\text{prior} \bar{x}}{\sigma^2 + n\sigma^2_\text{prior}}\]
W rzeczywistości eksperymentalnej scenariusz ze znaną wariancją jest często zbyt optymistyczny. Zazwyczaj otrzymujemy dane, o których jesteśmy przekonani, że są z rozkładu normalnego o nieznanych parametrach \(\mathcal{N}(\mu, 1/\tau)\), gdzie szukamy zarówno średniej \(\mu\), jak i precyzji \(\tau\).
Aby zachować własność sprzężenia przy dwóch nieznanych parametrach, musimy zastosować łączny rozkład a priori. Zakładamy następujące rozkłady a priori:
W powyższych wzorach \(m, c, a, b\) to odpowiednie parametry opisujące naszą początkową wiedzę. Otrzymuje się w ten sposób sprzężony rozkład Normalny-Gamma. Po wykonaniu \(n\) pomiarów, z których obliczamy średnią arytmetyczną \(\bar{x}\) oraz wariancję z próby \(s^2\), rozkład a posteriori jest następujący:
\[\mu | \tau,x \sim \mathcal{N}(m_\text{post}, \frac{1}{c_\text{post}\tau}), \] \[\tau | x \sim Gamma(\frac{a_\text{post}}{2}, \frac{b_\text{post}}{2}),\] gdzie:
Zaktualizowany parametr \(m_\text{post}\) to nasza nowa wartość oczekiwana pomiaru. Zauważmy, że równanie na \(b_\text{post}\) elegancko łączy naszą niepewność początkową, rozrzut samych danych (\(s^2\)) oraz różnicę między średnią oczekiwaną a zmierzoną.
Wykorzystano stary woltomierza o nieznanej dokładności do zmierzenia napięcia nowej, nieużywanej baterii o deklarowanym napięciu 4.5 V. Przyjmujemy, że nasza pewność co do średniej a priori ma wagę 2 pomiarów, natomiast rozkład a priori precyzji ma średnią i wariancję równą 1. Na podstawie pomiarów i wiedzy a priori, oblicz bayesowskie przedziały wiarygodności 95% napięcia baterii.
# 1. Dane z eksperymentu
pomiary <- c(4.2, 4.6, 4.3, 4.5, 4.4) # Próba
n <- length(pomiary) # Liczba pomiarów w próbie
x_bar <- mean(pomiary) # Średnia z próby
s2 <- var(pomiary) # Wariancja z próby
# 2. Parametry a priori (nasza wiedza przed pomiarem)
m <- 4.5 # Spodziewaliśmy się napięcia 4.5 V
c_prior <- 2 # Nasza pewność co do średniej (waga 2 obserwacji)
a <- 2 # Kształt rozkładu Gamma(1,1) dla precyzji
b <- 2 # Intensywność rozkładu Gamma(1,1) dla precyzji
# 3. Aktualizacja analityczna (Wzory z Modelu Normalny-Gamma)
c_post <- c_prior + n
m_post <- (c_prior * m + n * x_bar) / c_post
a_post <- a + n
b_post <- b + (n - 1) * s2 + (c_prior * n / c_post) * (m - x_bar)^2
cat("--- WYNIKI A POSTERIORI ---\n",
"m_post:", round(m_post, 3), "V\n",
"c_post:", c_post, "\n",
"a_post:", a_post, "\n",
"b_post:", round(b_post, 3), "\n")## --- WYNIKI A POSTERIORI ---
## m_post: 4.429 V
## c_post: 7
## a_post: 7
## b_post: 2.114
# 4. Obliczenie przedziałów wiarygodności metodą przybliżoną
tau <- a_post/b_post
eti <- qnorm(c(0.025, 0.975), mean = m_post, sd = sqrt(1/(c_post*tau)))
cat("95% ETI:", round(eti, 2), "\n")## 95% ETI: 4.02 4.84