ベイズの定理

統計学
ベイズ統計学
理論
許容決定規則 ベイズ効率性 ベイズ確率 確率の解釈 ベイズの定理 ベイズ因子 ベイズ推定 ベイジアンネットワーク 事前確率 事後確率 尤度 共役事前分布 事後予測分布 ハイパーパラメータ ハイパーパラメータの事前分布 等確率の原理 最大エントロピー原理 経験ベイズ法 クロムウェルの差止め規則 ベルンシュテイン＝フォン・ミーゼス定理 シュワルツ情報量規準 信用区間 最大事後確率推定 根源的蓋然論
技法
ベイズ線形回帰 ベイズ推定量 近似ベイズ計算 マルコフ連鎖モンテカルロ法
表 話 編 歴

確率論
コルモゴロフの公理
確率空間 標本空間 根元事象 事象 確率変数 確率測度
排反 同時分布 周辺分布 条件付き確率
独立 条件付き独立 全確率の法則 大数の法則 ベイズの定理 ブールの不等式
ベン図 樹形図
表 話 編 歴

確率論や統計学において、トーマス・ベイズ牧師にちなんで名付けられたベイズの定理（ベイズのていり、英: Bayes' theorem）、ベイズの法則、最近ではベイズ・プライスの定理^[1]とは、ある事象に関連する可能性のある条件についての事前の知識に基づいて、その事象の確率を記述するものである^[2]。例えば、健康問題の発生リスクが年齢とともに増加することが知られている場合、ベイズの定理により、ある年齢の個人のリスクを、単にその個人が集団全体の典型的な例であると仮定するよりも、（年齢を条件として）より正確に評価することができる。

ベイズの定理を応用したものに、推計統計学の手法の一つであるベイズ推定がある。その際、定理に関わる確率は、異なる確率解釈をすることができる。ベイズ確率の解釈では、定理は確率として表現された信念の度合いが、関連する証拠の入手可能性を考慮して合理的にどのように変化すべきかを表現している。ベイジアン推論は、ベイズ統計学の基本である。

定理の説明

ベイズの定理は数学的には次の式で表される^[3]：

${\displaystyle P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}}$

ここで、${\displaystyle A}$ そして ${\displaystyle B}$ は事象であり、${\displaystyle P(B)\neq 0}$ である。

• ${\displaystyle P(A\mid B)\equiv P(A\cap B)/P(B)}$ は条件付き確率であり、${\displaystyle B}$ が真であるとき事象 ${\displaystyle A}$ が発生する確率である。${\displaystyle B}$ が与えられたときの ${\displaystyle A}$ の事後確率ともいう。
• ${\displaystyle P(B\mid A)}$ もまた条件付き確率でもあり、${\displaystyle A}$ が 真である場合に ${\displaystyle B}$ が発生する確率である。また、${\displaystyle P(B\mid A)=L(A\mid B)}$ であることから、固定された ${\displaystyle B}$ に対する ${\displaystyle A}$ の尤度とも解釈できる。
• ${\displaystyle P(A)}$ と ${\displaystyle P(B)}$ は、与えられた条件なしに ${\displaystyle A}$ と ${\displaystyle B}$ がそれぞれ観測される確率で、周辺確率や事前確率と呼ばれている。

• ${\displaystyle A}$そして${\displaystyle B}$は別の事象である必要がある。

ベイズの定理の証明は ${\displaystyle P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)}$ から出る。

ベイズ推定

ベイズの定理と組み合わせて確率的推論を行う方法がラプラスによって始められ、現在言うところのベイズ統計学の端緒となった。事象の確率という考え方を採用する特徴がある。

現在は例えば、迷惑メールの発見・分類といった作業のコンピュータを用いた自動化（フィルタリング）等のふるい分けにも利用されている。

概要

事象Bのベイズ確率について、

• P(B) = 事象 A が起きる前の、事象 B の確率（事前確率, prior probability）
• P(B|A) = 事象 A が起きた後での、事象 B の確率（事後確率，条件付き確率, posterior probability，conditional probability）

とする。 ベイズの定理を使えば、事後確率 P(B|A) は下記に従って計算される。

${\displaystyle P(B\mid A)={\frac {P(A\mid B)\,P(B)}{P(A)}}}$

すなわち、事象Aに関するある結果（データ）が得られたとすると、それを反映し、尤度 P(A|B) の乗算によって、事象 B の確率は事前確率から事後確率へと更新される。なお事象 B の確率の観点からは、P(A) は規格化定数としての意味しかないため、しばしば省略される。つまり事後確率は事前確率と尤度の積に比例する：

${\displaystyle P(B\mid A)\propto P(A\mid B)\,P(B)=P(A,B)}$

ベイズ統計学（およびベイズ決定理論）は上記の手続きにその基礎をおき、名前の由来ともなっている^[要出典]。

批判

ベイズ統計学では、事象の確率という考え方を採用し、必ずしも頻度には基づかない確率を「確率」として見なす。

またベイズの定理を用い、事前確率及び尤度を仮定した下で事後確率を与える、という相対的なメカニズムを主張している。したがって事後確率の計算結果の信憑性や有用性は、事前分布と尤度の設定にかかっており、慎重を期すことが必要である。これはベイズ統計学が、不確実性を含む問題を人によって異なる確率を用いて定式化することを許容する主観確率 (subjective probability) という立場をとっていることによる。この立場はまだ解析対象となっていない新たな問題へのアプローチを可能にするという利点がある一方で、確率の決め方について客観性に欠けるという批判もある（客観確率）。

応用例

薬物検査

ある薬物の検査が感度99％かつ特異度99%だとしよう——つまり検査によって薬物の使用者のうち99%が陽性となり、非使用者のうち99%が陰性となると仮定する。さらに社会の0.5%が薬物使用者であるとする。無作為に選ばれた個人がこの検査で陽性だったとき、薬物使用者である確率はいくつか？ベイズの定理（と全確率の公式（英語版））から

${\displaystyle {\begin{aligned}P({\text{U}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{U}})\,P({\text{U}})}{P(+)}}\\&={\frac {P({\text{+}}\mid {\text{U}})\,P({\text{U}})}{P({\text{+}}\mid {\text{U}})\,P({\text{U}})+P({\text{+}}\mid {\overline {\text{U}}})\,P({\overline {\text{U}}})}}\\&={\frac {0.99\times 0.005}{0.99\times 0.005+0.01\times 0.995}}\\&\approx 0.332\end{aligned}}}$

個人の検査が陽性であるときでさえ、非使用者である可能性が使用者である可能性よりも高い。（それでも検査結果が陽性であったという情報を反映して、事後確率 ${\displaystyle P({\text{U}}\mid {\text{+}})\approx 0.332}$ は事前確率 ${\displaystyle P({\text{U}})=0.005}$ よりも大幅に上昇している。）つまり偽陽性の数は真陽性の数より多い。これは非使用者が使用者に比べて多いからである。たとえば、もし無作為に1000人が検査されるならば、995人の非使用者と5人の使用者がいると期待される。995人の非使用者からは0.01 × 995 ≈ 10 人の偽陽性が期待される。5人の使用者からは 0.99 × 5 ≈ 5人の真陽性が期待される。よって陽性であると期待される15人のうち、5人のみが薬物使用者である。

この例における特異度の重要性が次の計算からわかる。仮に感度が100%に上がり特異度が99%のままであれば陽性的中率は33.2%から33.4％に微増するに留まるが、感度が99%のままで特異度が99.5%に上がれば陽性的中率は49.9%に増加する。

脚注

参考文献

• Bayes, Thomas; Price, Richard (1763). “An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, M. A. and F. R. S.” (PDF). Philosophical Transactions of the Royal Society of London (Royal Society) 53 (0): 370–418. doi:10.1098/rstl.1763.0053. http://www.stat.ucla.edu/history/essay.pdf. 
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2014). Bayesian Data Analysis. Texts in Statistical Science Series (Third ed.). CRC Press. ISBN 978-1-4398-4095-5. MR3235677. Zbl 1279.62004. https://books.google.com/books?id=ZXL6AQAAQBAJ 
• Stigler, Stephen M. (1986). The History of Statistics. The Belknap Press of Harvard University Press. ISBN 0-674-40340-1. MR0852410. Zbl 0656.62005. https://books.google.com/books?id=M7yvkERHIIMC 

関連項目

外部リンク

• 世界大百科事典 第2版『ベイズの定理』 - コトバンク
• Weisstein, Eric W. "Bayes' Theorem". mathworld.wolfram.com (英語).