ガウス過程

ガウス過程（ガウス-かてい、英: Gaussian process）は連続時間確率過程の一種である。この概念はカール・フリードリッヒ・ガウスの名にちなんでいるが、それは単に正規分布がガウス分布とも呼ばれるためであり、しかも正規分布はガウスが最初に研究したというわけでもない。いくつかの文献（たとえば下記のSimonの著書）では、確率変数 X_t の期待値が 0 であることを仮定する場合もある。

定義

確率過程 {X_t}_t∈T は、任意に（有限個の）X_t₁, ..., X_{t_k} を選んで作った線型結合（あるいはより一般に、{X_t}_t∈T を標本関数 X_t 全体からなる連続濃度の函数空間と見たときの、任意の線型汎関数）が正規分布に従うとき、ガウス過程という。言い換えると、添字集合 T から有限個の添字 t₁, ..., t_k を選び出したとき、常に

$\mathbf {X} _{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})$

が多次元正規分布に従うという性質を持つ確率過程{X_t}_t∈T はガウス過程である。また、確率分布の特性関数を用いれば次のようにも述べられる。任意の有限個の添字 t₁, ..., t_k に対して、

$\mathbb {E} \!\left(\exp \!\left(i\sum _{l=1}^{k}t_{l}X_{t_{l}}\right)\right)=\exp \!\left(-{\frac {1}{2}}\sum _{l,j}\sigma _{lj}t_{l}t_{j}+i\sum _{l}\mu _{l}t_{l}\right)$

を満たすような正数 σ_lj および μ_j が存在する。またこのとき、μ_j は X_{t_j} の期待値、σ_lj は X_{t_l} と X_{t_j} の共分散となることが確認できる。

主なガウス過程

ウィーナー過程は、おそらく最も広く研究されているガウス過程の一種である。ウィーナー過程は定常過程ではないが、定常増分を持つ。

オルンシュタイン＝ウーレンベック過程は、定常なガウス過程である。

ブラウン橋は増分が独立ではないガウス過程である。

非整数ブラウン運動は、ウィーナー過程において定常増分が従う正規分布を ${\mathcal {N}}(0,|t-s|^{2H})$ へと非整数次数(2H)にまで拡張したガウス過程である。

応用

ガウス過程は機械学習における教師あり学習の回帰分析に応用される。平均値関数と共分散関数を既知とし与えられたデータがそのガウス過程に従っていると仮定すると未知の観測値の平均と分散がわかる。

参考文献

R. M. Dudley, Real Analysis and Probability, Wadsworth and Brooks/Cole, 1989.
B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979.
C. E. Rasmussen, C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006. ISBN 0-262-18253-X
M.L. Stein, Interpolation of Spatial Data: Some Theory for Kriging, Springer, 1999

外部リンク

The Gaussian Processes Web Site

確率論

確率の歴史

確率の定義

客観確率	統計的確率古典的確率公理的確率
主観確率	ベイズ確率
確率の拡張	外確率負の確率

基礎概念

モデル	試行結果事象標本空間確率測度確率空間
確率変数	確率変数の収束
確率分布	離散確率分布連続確率分布同時分布周辺分布条件付き確率分布独立同分布
関数	確率質量関数確率密度関数累積分布関数特性関数
用語	独立期待値モーメント条件付き確率条件付き期待値