一般化線形モデル(GLM)とは

前記事では、全てのデータが同じ形の確率分布（ポアソン分布の例でいえば、同じパラメータλ = 平均のポアソン分布）のもと生成されているという仮定でおこなっていた。しかし、実際にはλは個体によって変わる、つまり個体によって別の形の確率分布で生成されることを表現するモデルを考える。確率分布として、ポアソン分布を使う場合はポアソン回帰と呼ぶが、このようにパラメータが異なる同じ確率分布から生成されるデータに対しての統計モデルを一般化線形モデルという。

GLMの作り方

植物の種子数 $y_i$ とサイズ $x_i$ をデータとして考える。ある個体iにおいて種子数 $y_i$ のときの確率はポアソン分布に従うとすると、 $p(y_i | \lambda_i) = \frac{\lambda_i^{y_i} \exp(- \lambda_i )}{y_i!}$ となる。
今回、 $\lambda_i$ は個体ごとに違う。 $\lambda_i$ の期待値がサイズ $x_i$ に依存して決まる場合、 $\lambda_i$ を $x_i$ の式として記述できる。
例えば、 $\lambda_i = \exp(\beta_1 + \beta_2x_i$ として $\lambda_i$ と $x_i$ の関係を仮定する。このとき、式を変形して $f(\lambda_i )= \log(\lambda_i) = \beta_1 + \beta_2x_i$ としたときの、関数fを リンク関数 、右辺の式を 線形予測子 という。
なお、線形予測子の線形とは、 $x_i$ が線形という意味ではなく、 $\beta_i$ が線形という意味なので[tex:\beta_1 + \beta²_2x_i]となっていても問題はない。

リンク関数と線形予測子

このリンク関数は、仮定する確率分布によって計算上の都合がよい制限をつける（対数リンク関数の場合、非負など）性質によってある程度一意に決められる（正準リンク関数）。 ~~逆にいえば、リンク関数は確率分布（データのばらつき方）を考えると半自動で決まるのであまり深く考えないでもよい~~

$\lambda_i$ は目的変数yの期待値を表しているので、 $リンク関数(λ_i) = (線形予測子)$ は 「yの期待値をリンク関数で変換したものが線形予測子と等しい」 として考えることができる。
また、xとyをプロットしたときの予測値 $\lambda_i$ （yの期待値）はリンク関数( $\lambda_i$ ) = リンク関数の逆関数(線形予測子)より、リンク関数の逆関数の線として引ける。