.ipynb .pdf

repository open issue

Binder

Contents

機率公理

這個公理最早是由 Andrey Kolmogorov 在1933年的著作[Kol50]中提出，又稱作 Kolmogorov 公理，這個公理奠定了機率論的基礎。

樣本空間與事件

首先我們需要先定義樣本空間與事件，才能幫助我們了解三大公理。

定義

• 樣本空間為隨機試驗所有可能結果的集合。

• 事件為樣本空間 \(\mathcal{S}\) 的子集合。

舉一些樣本空間與事件的例子:

• 投擲一枚骰子可能出現的點數，樣本空間 \(\mathcal{S} = \{1, 2, 3, 4, 5, 6\}\) ，事件點數小於等於3為 \(E = \{1, 2, 3\}\) 。

• 連續投擲兩枚公正銅板可能出現的結果，樣本空間 \(\mathcal{S} = \{(T, T), (T, H), (H, T), (H, H)\}\) ，其中 \(T\) 為 \(Tail\) 、 \(H\) 為 \(Head\) ，而事件至少有一次是正面 \(E = \{(H, H), (H, T), (T, H)\}\) 。

三大公理

第一公理

定義

對於樣本空間 \(\mathcal{S}\) 中的任一事件 \(E \subset \mathcal{S}\) ，須滿足 \( 0 \leq \mathbb{P}(E) \leq 1\) 。

白話來說就是，在所有可能發生的事件中，其中任何一個事件發生的機率要大於等於0並且小於等於1。

第二公理

定義

樣本空間 \(\mathcal{S}\) 發生的機率 \(\mathbb{P}(\mathcal{S}) = 1\) 。

第二公理意思就是說，如果有個事件他考慮了所有樣本空間裡面的事件，那他發生的機率一定是等於1。

舉例來說，丟銅板的樣本空間 \(\mathcal{S} = \{Tail, Head \}\) ，有一個事件叫做出現Head或是Tail我都要，那這個事件發生的機率就等於1。

第三公理

定義

任意兩兩互斥事件的可數序列 \(E_1, E_2, ...\) ， \(\forall E_i \subset \mathcal{S}\) ，滿足 \(\mathbb{P}(E_1 \cup E_2 \cup E_3 \cup ...) = \sum_{i=1}^{\infty} \mathbb{P}(E_i)\) 。

第三公理是說，當事件都兩兩互斥時，他們的聯集機率就等於個別的機率相加。

舉例來說，在擲骰子時，樣本空間 \(\mathcal{S} = \{1, 2, 3, 4, 5, 6\}\) ，裡面的事件彼此互斥，因為不可能同時擲出兩個數字。

如果今天有下列事件:

• \(E_1\): 擲出1

• \(E_2\): 擲出2

那擲出1或2的事件就是 \(E_1 \cup E_2\) ，而 \(\mathbb{P}(E_1 \cup E_2) = \mathbb{P}(E_1) + \mathbb{P}(E_2) = \frac{1}{6} + \frac{1}{6}\)

重要定理

常用性質

• \(\mathbb{P}(E^C) = 1 - \mathbb{P}(E)\)

• 如果 \(A \subset B\) ，則 \(\mathbb{P}(A) \leq \mathbb{P}(B)\)

排容原理

定義

樣本空間 \(\mathcal{S}\) 的事件 \(A_1, A_2, ..., A_n\) ，滿足

\[\begin{split} \mathbb{P}(\bigcup_{i=1}^n A_i) = \sum_{k=1}^n(-1)^{k-1} \sum_{\substack{I \subset \{1, ..., n\} \\ |I| = l}} \mathbb{P}(A_I) \end{split}\]

Fig. 1 三個事件的排容原理 (取自維基百科)

• 兩個事件的排容原理: \( \mathbb{P}(A \cup B) = \color{blue}{\mathbb{P}(A) + \mathbb{P}(B)} \color{red}{- \mathbb{P}(A \cap B)} \)

• 三個事件的排容原理: \( \mathbb{P}(A \cup B \cup C) = \color{blue}{\mathbb{P}(A) + \mathbb{P}(B) + \mathbb{P}(C)} \color{red}{- \mathbb{P}(A \cap B) - \mathbb{P}(A \cap C) - \mathbb{P}(B \cap C)} \color{green}{+ \mathbb{P}(A \cap B \cap C)} \)

De Morgan 定理

定義

• \(\mathbb{P}[(\bigcup_{i=1}^n A_i)^C] = \mathbb{P}(\bigcap_{i=1}^n A_i^C)\)

• \(\mathbb{P}[(\bigcap_{i=1}^n A_i)^C] = \mathbb{P}(\bigcup_{i=1}^n A_i^C)\)

Fig. 2 De Morgan 定理以文氏圖表示 (取自 https://brilliant.org/wiki)

• 兩個事件:

  • \(\mathbb{P}[(A \cup B)^C] = \mathbb{P}(A^C \cap B^C)\)

  • \(\mathbb{P}[(A \cap B)^C] = \mathbb{P}(A^C \cup B^C)\)

全機率定理

定義

假設 \(\{B_1, B_2, ..., B_n\}\) 為樣本空間 \(\mathcal{S}\) 的分割，則對任意事件 \(A \subset \mathcal{S}\)，

\[ \mathbb{P}(A) = \sum_{i=1}^n \mathbb{P}(A \cap B_i) \]

且因為 \(\mathbb{P}(A \cap B_i) = \mathbb{P}(A | B_i) \mathbb{P}(B_i)\) ，所以

\[ \mathbb{P}(A) = \sum_{i=1}^n \mathbb{P}(A | B_i) \mathbb{P}(B_i) \]

引用

Kol50

A.N. Kolmogorov. Foundations of the Theory of Probability. GFY BIB MA Kol. Chelsea Publishing Company, 1950. URL: https://books.google.com.gi/books?id=puRLAAAAMAAJ.

推論統計學 隨機變數