条件付き確率とベイズの定理の証明

ベイズの定理は、結果が観測された後で、原因や仮説の確率を更新するための関係式です。別の特別な確率を導入するのではなく、同じ共通部分の確率を二通りに書きます。分母には、その結果が生じる全経路の確率が必要です。

成立する条件

同じ確率空間上の事象を扱います。条件付き確率 $P(A\mid B)$ は、条件となる事象 $B$ の確率が正である場合に $P(A\cap B)/P(B)$ と定義します。

分割 $A_1,\ldots,A_n$ は互いに重ならず、全事象を覆うものです。確率 $0$ の分割要素がある場合は、この形を使う前にそれを除いて扱います。

証明

1. 条件付き確率の定義から、$P(A\mid B)P(B)=P(A\cap B)$ です。一方、$P(B\mid A)P(A)=P(B\cap A)$。集合の共通部分は順序を交換しても同じなので、右辺同士は等しくなります。
2. したがって $P(A\mid B)P(B)=P(B\mid A)P(A)$。正の数 $P(B)$ で割れば、一つ目のベイズの公式が得られます。ここまでに $A,B$ の独立性は仮定していません。
3. 分割を使う場合、$B$ は排反な事象 $B\cap A_1,\ldots,B\cap A_n$ の和集合です。確率の加法性から、$$P(B)=\sum_{j=1}^n P(B\cap A_j)=\sum_{j=1}^nP(B\mid A_j)P(A_j).$$ これが全確率の公式です。
4. この分母を先ほどのベイズの公式に代入すれば、分割に対する形が得られます。分子は注目する経路の確率、分母は観測された結果に至る全経路の確率なので、結果が起きた集団の中での割合として理解できます。

使ってみる

袋Ⅰを確率 $1/3$、袋Ⅱを確率 $2/3$ で選び、選んだ袋から玉を一つ無作為に取り出します。Ⅰは赤2・白1、Ⅱは赤1・白3です。赤が出る確率は $(1/3)(2/3)+(2/3)(1/4)=2/9+1/6=7/18$。

赤が出たと分かったとき、袋Ⅰだった確率は $(2/9)/(7/18)=4/7$ です。袋Ⅰを選ぶ事前確率 $1/3$ と、赤が出た後の確率 $4/7$ は異なります。

注意点

$P(B\mid A)$ と $P(A\mid B)$ は一般に等しくありません。結果がよく出る原因でも、もともとの出現頻度が小さければ、結果の大部分を占めるとは限りません。実際のデータでは、事前確率や条件付き確率の推定誤差も残ります。

関連項目