WNIOSKOWANIE BAYESOWSKIE, ZIMA 2026



Dlaczego wnioskowanie bayesowskie?

Cel wnioskowania statystycznego: Mając do dyspozycji zaobserwowane dane \(y\), chcemy dowiedzieć się czegoś o nieznanych parametrach modelu \(\theta\) lub przewidywać nowe obserwacje.


Podejście klasyczne
  • Prawdopodobieństwo jest granicą częstości zdarzenia w nieskończonej liczbie powtórzeń.
  • Parametr \(\theta\) jest stałą, ale nieznaną wielkością (nie ma swojego rozkładu prawdopodobieństwa).
  • Wnioskowanie opiera się wyłącznie na funkcji wiarygodności \(I(\theta\vert{}y) = f(y\vert{}\theta)\).
  • Przedziały ufności oznaczają, że w powtarzanych eksperymentach \(95\%\) wyznaczonych przedziałów pokryje prawdziwą (stałą) wartość.


Podejście bayesowskie
  • Prawdopodobieństwo traktujemy jako miarę naszej wiedzy lub stopień niepewności (interpretacja subiektywna).
  • Parametr \(\theta\) jest zmienną losową – opisujemy go za pomocą rozkładu prawdopodobieństwa.
  • Nasza wiedza ewoluuje: zaczynamy od przekonania początkowego (rozkład a priori, prior), modyfikujemy je za pomocą danych z eksperymentu (funkcja wiarygodności, likelihood) i otrzymujemy zaktualizowaną wiedzę (rozkład a posteriori, posterior).
  • Przedział wiarygodności (credible interval) \((\theta_{min},\theta_{max})\) oznacza, że \(P(\theta_{min} < \theta < \theta_{max} |y) = 0.95\).
  • Jeśli później uzyskamy więcej danych z eksperymentu to możemy powtórzyć cały proces, traktując uzyskany wcześniej rozkład a posteriori jako nowy rozkład a priori.


Reguły prawdopodobieństwa


Zdarzenia elementarne

Suma prawdopodobieństw wszystkich możliwych, wykluczających się zdarzeń wynosi 1. W przypadku dwóch wydarzeń, \(A\) i \(B\):

\(P(A) + P(B) = 1\) oraz \(P(A) = P(B')\).

Typowym przykładem jest rzut monetą lub rzut tradycyjną sześciościenną kostką.


Prawdopodobieństwo łączne - iloczyn zdarzeń (operacja AND)

Dla zdarzeń niezależnych prawdopodobieństwo łączne to iloczyn:

\(P(A, B) = P(A)P(B)\).

Przykładowo, jednoczesne wyrzucenie orła i wyrzucenie 3 na kostce wynosi \(1/2 \times 1/6 = 1/12\). Z kolei dla zdarzeń wzajemnie się wykluczających (np. jednoczesne wyrzucenie 1 i 3 tą samą kostką), prawdopodobieństwo to wynosi 0.


Prawdopodobieństwo sumy zdarzeń (operacja OR)

Dla zdarzeń wykluczających się prawdopodobieństwa po prostu sumujemy:

\(P(A \cup B) = P(A) + P(B)\) (stąd prawdopodobieństwo wyrzucenia 1 lub 3 wynosi \(1/6 + 1/6 = 1/3\)).

Dla zdarzeń niewykluczających się reguła ta przyjmuje postać \(P(A \cup B) = P(A) + P(B) - P(A,B)\).


Prawdopodobieństwo warunkowe

W przypadku zdarzeń zależnych, do obliczenia prawdopodobieństwa łącznego \(P(A,B)\) potrzebna jest znajomość prawdopodobieństwa warunkowego \(P(A|B)\) lub \(P(B|A)\):

\(P(A, B) = P(A)P(B|A) = P(B)P(A|B)\).


Prawdopodobieństwo całkowite

Prawdopodobieństwo zdarzenia \(A\) można opisać jako sumę iloczynów prawdopodobieństw warunkowych i prawdopodobieństw zdarzeń wykluczających się: \(P(A) = P(A,B_1) + \dots + P(A, B_k) = P(A|B_1)P(B_1) + \dots + P(A|B_k)P(B_k)\).


Funkcje kombinatoryczne w R

Bardzo przydatną funkcją w języku R jest sample():

# Funkcja sample – losowanie z wektora
x <- 1:10
sample(x)                         # Losowa permutacja elementów
##  [1]  3  8  2  9  4  5 10  7  1  6
sample(x, 5)                      # Wylosowanie 5 unikalnych elementów bez zwracania
## [1] 7 5 6 4 1
sample(x, 20, replace = TRUE)     # Losowanie ze zwracaniem (size > length(x))
##  [1]  2  9  1  3 10  9  5  5  2  7  5  9 10  2  7 10  8 10  9 10
# Losowanie z określeniem własnych prawdopodobieństw (np. dyskretna przestrzeń hipotez)
zdarzenia <- c(-1, 0, 1)
sample(zdarzenia, 10, replace = TRUE, prob = c(0.25, 0.5, 0.25))
##  [1] -1  1  1  0  0  0  0 -1  0  1
moneta <- c("orzeł","reszka")
sample(moneta, 10, replace = TRUE)
##  [1] "orzeł"  "reszka" "orzeł"  "orzeł"  "reszka" "orzeł"  "orzeł"  "orzeł" 
##  [9] "reszka" "reszka"


W kombinatoryce często wykorzystuje się dwumian Newtona oraz silnię. W języku R znajdują się zarówno standardowe implementacje tych funkcji (choose() i factorial()), jak i gotowe do użycia wersje zlogarytmowane (lchoose() i lfactorial()).

# Dwumian Newtona - funkcja choose(n, k)
choose(10, 2)  # Oblicza współczynnik dwumianowy (10 po 2)
## [1] 45
10 * 9 / 2     # Sprawdzenie analityczne
## [1] 45
lchoose(20,3) # Oblicza logarytm naturalny z dwumianu Newtona 20 po 3
## [1] 7.038784
exp(lchoose(20,3))
## [1] 1140
choose(20,3)
## [1] 1140
factorial(10) # Oblicza 10!
## [1] 3628800
prod(2:10) # Oblicza iloczyn wszystkich elementów wektora 2:10
## [1] 3628800


Rozkłady statystyczne w R

W bibliotece stats jest zaimplementowane wiele rozkładów, m.in.:

Aby przejrzeć pełną listę należy wywołać w konsoli komendę ?distributions. Z każdym rozkładem są związne cztery funkcje, do których odwołujemy się poprzez dodanie pojedynczej litery przed nazwą rozkładu:

dpois(0:6, lambda=2) # Gęstość prawdopodobieństwa rozkładu Poissona z lambda=2 dla argumentów [0,6]
## [1] 0.13533528 0.27067057 0.27067057 0.18044704 0.09022352 0.03608941 0.01202980
pnorm(2, mean=1, sd=0.5) # Dystrybuanty rozkładu normalnego (mu=1, sd=0.5) w punkcie x=2
## [1] 0.9772499
qbeta(seq(0,1,0.2), 2, 2) # Kwantyle rozkładu beta o parametrach (2,2)
## [1] 0.0000000 0.2871407 0.4329311 0.5670689 0.7128593 1.0000000
runif(10, -1, 1) # Losowanie 10 liczb z rozkładu jednostajnego o granicach [-1,1)
##  [1]  0.9094444 -0.6583607 -0.3179289 -0.9416786  0.5006694 -0.8832068
##  [7]  0.6645008  0.8955591 -0.6658718  0.8830668


Wizualizacja rozkładów prawdopodobieństwa w R


Wykresy XY

Standardowym poleceniem w języku R służącym do tworzenia prostego wykresu XY jest plot(x, y), gdzie x i y to wektory liczbowe o tej samej długości.

x <- 1:10
plot(x, x^2)

Funkcja plot() posiada szeroki wachlarz różnorodnych opcji, z których najczęściej używane to:

  • xlab, ylab, main - podpisy osi i tytuł wykresu,
  • xlim, ylim - zakresy osi,
  • type - typ wykresu: “p” - punkty (domyślnie), “l” - linie, “b” - punkty i linie (zobacz ?plot po więcej informacji),
  • pch - symbol znacznika (opcje widoczne po wpisaniu ?points),
  • lty - typ linii (opcje widoczne po wpisaniu ?par),
  • col - kolor symboli lub lini,
  • bg - kolor wypełnienia/tła,
  • cex - rozmiar punktów,
  • lwd - grubość linii,
  • font - typ czcionki: 1 - normalna, 2 - wytłuszczona, 3 - kursywa, 4 - wytłuszczona kursywa.

Oprócz parametrów funkcji plot() istnieją również globalne opcje rysowania, którymi można sterować za pomocą funkcji par(), na przykład:

  • bg - kolor tła wykresu,
  • mai, mar - rozmiar marginesów,
  • mfrow, mfcol - liczba wierszy/kolumn na wielopanelowym rysunku.

Do opisu osi możemy wykorzystać funkcję expression(), która pozwala na zapis wyrażeń matematycznych i liter greckich (np. ^ oznacza indeks górny, a [..] – indeks dolny).

plot (x,
     x^2,
     xlab = "x",
     ylab = expression(f(xi)==x^2),
     main = "Wykres funkcji f(x)",
     col = "red",
     pch = 19,
     font = 2,
     font.lab = 4,
     font.main = 3,
     cex = 2)

Aby dodać kolejne serie do wykresu, należy skorzystać z funkcji points() lub lines, w zależności od rodzaju dodawanej serii. Kolejne wywołanie funkcji plot() spowoduje zastąpienie poprzedniej serii zamiast dodania nowej. Warto pamiętać, że zakres osi wykresu jest ustalany automatycznie w momencie wywołania funkcji plot() i nie jest później korygowany przy dodawaniu kolejnych serii. W poniższym przykładzie czerwona seria zostaje ucięta, ponieważ wykracza poza zakres niebieskiej serii.

x <- seq (-2, 2, 0.05)

plot(x, dnorm(x, 0, 0.8), type="l", col = "blue")
lines(x, dnorm(x, 0, 0.7), col = "red")


Do wykresu można dodać legendę za pomocą funkcji legend(), której najważniejsze parametry to:

  • x – współrzędna lewej krawędzi legendy lub jedno ze zdefiniowanych słów kluczowych: top, bottom, left, right, center, topleft, topright, bottomleft, bottomright,
  • y – współrzędna górnej krawędzi legendy (domyślnie NULL; parametr ten jest używany w połączeniu z parametrem x),
  • legend – wektor znakowy zawierający nazwy elementów legendy,
  • pch – wektor liczb całkowitych określający symbole wyświetlane obok nazw elementów legendy,
  • lty – wektor liczb całkowitych określający rodzaje linii wyświetlanych obok nazw elementów legendy,
  • col – wektor kolorów (obwódek) symboli,
  • pt.bg – wektor kolorów tła symboli.
plot(x, 
     dnorm(x, 0, 0.8), 
     type="l", 
     col = "blue", 
     lwd=1.5, 
     ylim = c(0, 0.6))
lines(x, 
      dnorm(x, 0, 0.7), 
      col = "red", 
      lwd=1.5)
legend("topleft",
       legend = c (expression(sigma==0.7),expression(sigma==0.8)),
       lty = c(1,1),
       col = c("red","blue"))


Funkcja curve() służy do wykreślania funkcji ciągłej na określonym przedziale. Można jej użyć zamiast funkcji plot() (tworzy ona nowy obszar wykresu) lub jako dodatkowej serii danych, stosując parametr add = TRUE.

curve (x^2, from = 0, to = 10, col = "red")

plot(x, 
     dnorm(x, 0, 0.8), 
     type="l", 
     col = "blue", 
     lwd=1.5, 
     ylim = c(0, 0.6))
curve(dnorm(z, 0, 0.7), 
      from = -2,
      to = 2,
      col = "red", 
      lwd=1.5,
      xname = "z",
      add = TRUE)
legend("topleft",
       legend = c (expression(sigma==0.7),expression(sigma==0.8)),
       lty = c(1,1),
       col = c("red","blue"))


Histogramy

Do binowania danych liczbowych służy funkcja hist(x), gdzie \(x\) jest wektorem numerycznym.

x <- rnorm(100) # Losuje 100 liczb ze standardowego rozkładu normalnego
hist(x)

Liczbę binów w histogramie można zmienić przy pomocy parametru breaks. Może on przyjąć jedną z pięciu form:

  • wektor numeryczny wyznaczający granice binów,
  • funkcja zwracająca wektor punktów granicznych,
  • pojedyncza liczba określająca liczbę binów (sugestia),
  • nazwa algorytmu wyznaczającego liczbę binów (trzy do wyboru),
  • funkcja zwracająca liczbę binów.

Jeśli breaks ma postać funkcji, to jej jedynym argumentem musi być wektor \(x\).

hist(x, breaks = 20)

hist(x, breaks = seq(-3.25, 3.25, 0.5), freq = FALSE)

Funkcja hist nie służy wyłącznie do generowania grafiki, ale przede wszystkim pozwala zapisać liczbę zliczeń w każdym binie do wykorzystania w późniejszej analizie.

h <- hist(x, breaks = seq(-3.25, 3.25, 0.5), plot = FALSE)
h
## $breaks
##  [1] -3.25 -2.75 -2.25 -1.75 -1.25 -0.75 -0.25  0.25  0.75  1.25  1.75  2.25
## [13]  2.75  3.25
## 
## $counts
##  [1]  0  1  2  4  9 22 17 22 14  7  2  0  0
## 
## $density
##  [1] 0.00 0.02 0.04 0.08 0.18 0.44 0.34 0.44 0.28 0.14 0.04 0.00 0.00
## 
## $mids
##  [1] -3.0 -2.5 -2.0 -1.5 -1.0 -0.5  0.0  0.5  1.0  1.5  2.0  2.5  3.0
## 
## $xname
## [1] "x"
## 
## $equidist
## [1] TRUE
## 
## attr(,"class")
## [1] "histogram"
plot(h$mids, h$density)