機率論/機率空間

任何試圖用不完整資訊進行推理的人都必須面對以下事實：世界上有很多可能的情況，而我們並不知道哪一種情況是真實的。想象一下，愛麗絲的朋友鮑勃擲了一枚硬幣。他用右手接住硬幣，然後拍到桌子上。他沒有抬起手，所以愛麗絲看不到硬幣是如何落地的。那麼從愛麗絲的角度來看，世界可能有兩種情況：硬幣正面朝上，或者反面朝上。這組可能性用 $\Omega =\{h,t\}$ 表示，其中 $h$ 表示正面朝上， $t$ 表示反面朝上。（實際上，還有更多可能的情況。例如，透過巧妙的手法，鮑勃可能已經把硬幣偷偷放進了口袋，所以桌子上根本沒有硬幣。在本系列書籍中的大多數示例中，我們將忽略這些邊緣情況，但重要的是要記住，它們是存在的。）

根據觀察世界的精細程度，可能會有很多種世界配置對應於正面。所以 $h_{1},h_{2},h_{3},\dots$ 可能都對應於硬幣正面朝上，但對於其中每一個情況，房間裡的空氣分子都會以略微不同的模式移動。在這種情況下，我們將有 $\Omega =\{h_{1},h_{2},h_{3},\dots t_{1},t_{2},t_{3},\dots \}$ 。我們將不得不構建我們的理論，以便那些關心硬幣但不關心空氣分子的人無論如何都會得到相同的答案。

假設硬幣和擲硬幣都是公平的。由於正面和反面之間沒有明顯的區別，它們從直覺上來說都是等可能的。在機率論中，我們用 0 到 1 之間的單個實數來表示某件事的可能性，這個實數稱為機率。數字越大，表示可能性越大，數字越小，表示可能性越小。一個必然發生的事件的機率為 1，這是最大的機率，而一個必然不發生的事件的機率為 0，這是最小的機率。我們可以想象一個函式 $p$ ，它可以給出某個命題的機率。一個命題就像一個是非問題，或者一個可以判斷真假的陳述句。“硬幣落地為反面”就是一個命題的例子。以下是正式定義

定義（命題）:

給定一個配置集 $\Omega$ 和一個機率函式 $p$ ，一個命題 $S\subset \Omega$ 是這些配置的一個子集。

一個陳述 $S$ 就像一個句子，因為 $S\subset \Omega$ 是世界上所有使該句子為真的配置的子集。同樣，一個陳述 $S$ 就像一個是非問題，因為它是在世界上所有對該問題的回答是“是”的配置的子集。因此，“硬幣正面朝上”將對應於集合 $\{t\}$ （或者 $\{t_{1},t_{2},t_{3},\dots \}$ ，如果我們讓空氣分子來區分我們的配置）。

機率測度是一個函式 $p$ ，它接受一個陳述（這是 $\Omega$ 的子集），並返回一個 0 到 1 之間的實數。所以它的型別簽名是 $p:{\mathcal {P}}(\Omega )\nrightarrow [0,1]$ 。請注意，我們使用了符號 $\nrightarrow$ 而不是一個普通的箭頭。這是因為 $p$ 是一個偏函式，這意味著即使我們給它 $\Omega$ 的某個子集作為輸入，它也可能不給我們答案。這部分定義在處理某些無限配置空間時變得必要，在這些空間中，某些語句最終會具有未定義的機率。

由於有時讓 $p$ 是一個全函式而不是偏函式比較方便，我們可以讓 ${\mathcal {F}}\subset {\mathcal {P}}(\Omega )$ 是具有已定義機率的 $\Omega$ 子集的集合。所以我們也可以說 $p$ 具有型別簽名 $p:{\mathcal {F}}\to [0,1]$ 。

定義（事件）:

一個事件是具有已定義機率的陳述。也就是說，是 ${\mathcal {F}}$ 的一個元素。

柯爾莫哥洛夫提出了一組公理，定義了機率論的規則

非負性： $\forall X\in {\mathcal {F}};p(X)\geq 0$
標準化： $p(\Omega )=1$
對補集的封閉性： $\forall X\in {\mathcal {F}};(\Omega -X)\in {\mathcal {F}}$
σ-可加性： 對於任何可數個不相交事件的序列 $[X_{1},X_{2},X_{3},\dots ]\in {\mathcal {F}}^{\mathbb {N} }$ ，我們有 $p\left(\bigcup _{n=1}^{\infty }\right)X_{n}=\sum _{n=1}^{\infty }p(X_{n})$

注意公理 4 對 ${\mathcal {F}}$ 的約束：如果語句 $X_{1},X_{2},X_{3},\dots$ 是不相交的，並且它們都屬於 ${\mathcal {F}}$ ，那麼它們的並集也必須屬於 ${\mathcal {F}}$ 。

定義（機率空間）:

機率空間 是一個測度空間 $(\Omega ,{\mathcal {F}},p)$ ， $\Omega$ 是集合， ${\mathcal {F}}$ 是 $\sigma$ -代數， $p$ 是測度，使得 $p(\Omega )$ ， $p$ 的質量等於 $1$ 。