ベイズ推定・データ同化の数学的定式化について

Key word

• ベイズ推定，最尤推定
• データ同化

関連

• DA mathematical review PDF
• Bayesian Inverse problem PDF

※書きかけ

ベイズ推定

ベイズの定理に従って観測値から逆推定を行う．観測作用素とノイズの仮定から尤度を定め，事前分布を修正する． 定式化の際には，尤度やポテンシャル(= -log尤度)に対して条件が課せられる．

Well-Posedness

1. 事後分布のwell-defined性
2. データに対する連続性
3. 離散化パラメータに対する連続性

既存の結果

(条件) Standard assumption¹: ポテンシャルに関する有界性やLipschitz性．

Gaussian priorの場合にstandard assumptionを満たすポテンシャルを用いると1,2が成立するという基礎的な結果がある．

Posterior Consistency

• データが十分にあり，ノイズが0の理想的な場合にパラメータを推定できるか？
• 最尤推定値との一貫性も重要．

既存の結果

(条件) Identifiable¹: 推定パラメータに対する尤度の”単射”性．Regularity assumption¹²: 尤度に対する可微分性，可積分性の条件．最尤推定と比較する文脈において用いられる．

Bernstein–von Mises(Bayesian CLT)という結果がある．これは，尤度がRegularity assumptionを満たし真の値が事前分布のサポートに入っている時，事後分布が最尤推定値を中心とするGaussianに近づくことを示している．

データ同化

時系列でのベイズ推定．実際に実装する際には，上記に加えてアルゴリズムの評価をする必要がある．離散化誤差や計算効率に加え，メモリ負荷や並列化可能性なども考慮できると良い．

standard assumptionはGaussianデータ同化の基本的な設定で成り立つ．

IdentifiableやRegularity assumptionについては観測値の空間の次元が状態空間より低い場合(データ同化ではしばしば起こる）に成り立たない．このため，理論が不足しているように感じる．

参考

1. Timothy John Sullivan. Introduction to uncertainty quantification, Springer, 2015. ↩ ↩² ↩³

2. Richard Nickl, STATISTICAL THEORY, 2013, http://www.statslab.cam.ac.uk/~nickl/Site/__files/stat2013.pdf ↩