ガウス過程

ガウス過程（ガウス-かてい、英: Gaussian process）は連続時間確率過程の一種である。この概念はカール・フリードリッヒ・ガウスの名にちなんでいるが、それは単に正規分布がガウス分布とも呼ばれるためであり、しかも正規分布はガウスが最初に研究したというわけでもない。いくつかの文献（たとえば下記のSimonの著書）では、確率変数 X_t の期待値が 0 であることを仮定する場合もある。

定義

確率過程 {X_t}_t∈T は、任意に（有限個の）X_t₁, ..., X_{t_k} を選んで作った線型結合（あるいはより一般に、{X_t}_t∈T を標本関数 X_t 全体からなる連続濃度の函数空間と見たときの、任意の線型汎関数）が正規分布に従うとき、ガウス過程という。言い換えると、添字集合 T から有限個の添字 t₁, ..., t_k を選び出したとき、常に

$\mathbf {X} _{t_{1},\ldots ,t_{k}}=(X_{t_{1}},\ldots ,X_{t_{k}})$

が多次元正規分布に従うという性質を持つ確率過程{X_t}_t∈T はガウス過程である。また、確率分布の特性関数を用いれば次のようにも述べられる。任意の有限個の添字 t₁, ..., t_k に対して、

$\mathbb {E} \!\left(\exp \!\left(i\sum _{l=1}^{k}t_{l}X_{t_{l}}\right)\right)=\exp \!\left(-{\frac {1}{2}}\sum _{l,j}\sigma _{lj}t_{l}t_{j}+i\sum _{l}\mu _{l}t_{l}\right)$

を満たすような正数 σ_lj および μ_j が存在する。またこのとき、μ_j は X_{t_j} の期待値、σ_lj は X_{t_l} と X_{t_j} の共分散となることが確認できる。

主なガウス過程

ウィーナー過程は、おそらく最も広く研究されているガウス過程の一種である。ウィーナー過程は定常過程ではないが、定常増分を持つ。

オルンシュタイン＝ウーレンベック過程は、定常なガウス過程である。

ブラウン橋は増分が独立ではないガウス過程である。

非整数ブラウン運動は、ウィーナー過程において定常増分が従う正規分布を ${\mathcal {N}}(0,|t-s|^{2H})$ へと非整数次数(2H)にまで拡張したガウス過程である。

応用

ガウス過程は機械学習における教師あり学習の回帰分析に応用される。平均値関数と共分散関数を既知とし与えられたデータがそのガウス過程に従っていると仮定すると未知の観測値の平均と分散がわかる。

参考文献

R. M. Dudley, Real Analysis and Probability, Wadsworth and Brooks/Cole, 1989.
B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979.
C. E. Rasmussen, C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006. ISBN 0-262-18253-X
M.L. Stein, Interpolation of Spatial Data: Some Theory for Kriging, Springer, 1999

外部リンク

The Gaussian Processes Web Site