ラプラス近似

p(y|x)=p(x|y)p(y)/p(x)
但し，p(x)=∫p(x|y)p(y)dy

とあるときに、p(x)を求めることが困難である。p(x)はｙについて合計した周辺尤度になるのだが、これの計算は難しいと。

このときラプラス近似を用いて計算するやり方がある。ラプラス近似というのは、その積分の値を計算するときに、yならyの最頻値が最もその積分に影響を与えていることを利用しており、よってその近傍について近似できればよいとするものだ。

ｱｲﾃﾞｨｱ自体は実はそれほど難しくはなくて、極値近辺で近似するのだから、yでの1階微分は0となる。だから、展開は2次の項まででかつ1次の項を含んでいない。

そうするとexp(-y2)の形の積分計算へ帰着できるから、積分が求まるということだ。

さて、こういうことは論文を読んだほうがよいのだが、これあたりだろう。

Pinheiro, J.C. Bates, D.M. Approximations to the Log-likelihood Function in the Nonlinear Mixed-effect Model. Journal of Computational and Graphical Statistics 1995; 4: 12-35.

2次近似までを用いている。そして2階微分の計算は数値的にタフになることが多いのだが、2階微分自体についても1階微分係数の積で表現するといった手段がとれるということがわかる。2階微係数の寄与が小さいのでこれでよいということだ。

この論文では手法の比較も行なっている。FOCE（PinheiroとBatesの）、Laplace、Adaptive Gaussian Quadratureである。

A.C. Davison Approximate predictive likelihood 1986; 73:323-332 でラプラス近似について書いてある。この論文はﾌﾘｰではない。