仮定を強めるとは

ざっくりいうと、値に対して「自由に動ける部分を減らす」「制約を強める」ということを「仮定を強める」という。また、最後に詳細を書くが仮定を強める場合は少ないデータでも推定ができるというメリットがある。

例えば、分布系に対して「正規分布を仮定する」というのは、分布の振る舞いが正規分布の動きをする、正規分布の振る舞いの範囲内で自由に動く（⇔正規分布外の動きはしないという制約）という意味になる。

事例

変数追加の仮定

変数を追加するということはどういう仮定を置いているか考える。

$y = \alpha x_1 + \beta x_2$ と $y = \alpha x_1$ において差分である $\beta x_2$ の有無の観点で比較する。

$y = \alpha x_1 + \beta x_2$ は「 $x_2$ が1上がるとyがβ増加する 」という直線関係を仮定の1つに置いている。つまり、これはyの動きはこの直線関係に基づいて動くことになり、これが制約の1つとなっている。

一方で、 $y = \alpha x_1$ ではyに対して $\beta x_2$ は暗に $\beta = 0$ になり、これが制約の1つとなっている。

それぞれの式を言葉で言い換えると、

$y = \alpha x_1 + \beta x_2$ は「yは $x_1$ に対して線形にα増える + $x_2$ に対して線形にβ増える」
$y = \alpha x_1$ は「yは $x_1$ に対して線形にα増える + $x_2$ がどの値を取っても0」

となる。

前者と後者を比べると $x_2$ に対して「線形にβ増えるという制約」vs「必ず0になるという制約」の比較となり、後者の方が自由に動ける度合いが少ないので 強い仮定 といえる。

つまり、このことから 変数を追加するということは仮定を緩める ことを意味する。

変数間の関係性の仮定

次に変数間の関係性を考えるために $y = \alpha x_1$ と $y = \alpha {x_1}^2$ を考える。

$y = \alpha x_1$ はyと $x_1$ の間に直線的な関係を仮定している。

f:id:chito_ng:20191022205618p:plain

一方、 $y = \alpha {x_1}^2$ はyと $x_1$ の間に曲線的な関係を仮定している。

f:id:chito_ng:20191022205547p:plain

なお、曲線の複雑さ（次数の大きさ）と仮定の強さは、複雑になるほど仮定が強くなるイメージがあるが特に関係がないので注意（※ ただし、インスタンス1つにつき1つの値を取るようなフルモデルの場合は1対1対応となるため、最も制約が強い)。

交差項

$y = \alpha x_1 + \beta x_2$ と、交差項をつけた $y = \alpha x_1 + \beta x_2 + x_1 x_2$ を考える。

項が増えている分後者の方が仮定が強いように思えるが、前者より後者の方が仮定はゆるい。

$y = \alpha x_1 + \beta x_2 + x_1 x_2$ を変形して、 $y = (\alpha + x_2 ) x_1 + \beta x_2$ として考えると yと $x_1$ の関係は前者では $x_1$ が1増加するとyは定数αで増加するのに対して、後者は $\alpha + x_2$ 増加する。そのため、後者では定数αだけでなく $x_2$ の値の範囲内で自由に振る舞うことができる。そのため、交差項を加えるとその変数の制約がゆるくなる。

仮定を強めるメリット

仮定を強める、つまりモデルの値に制約をつけるとどういうメリットがあるか。

仮定が弱い、つまり値を自由に動かし過ぎると(データ数が少ない場合は)ノイズの影響が推定に大きく加わる。そうなると推定値は大きく外れることになる。

一方で、制約が強い場合は取る値に制限があることで、（その制約が正しい場合は真の関係の情報を値に乗せていることになるので）ノイズの影響が少なくなり上手く推定をすることができる。

もちろん、仮定を強くしすぎることは（バイアス-バリアンスの関係のように）モデルの汎用性を失わせることになる。そのため、データ数が多い場合は推定は上手くいくのでわざわざ強める必要はないが、データ数が少ない場合は仮定がゆるいと推定が上手くいかないので仮定を強めることを検討するとある程度は上手くいくかもしれない。