線形モデルにおける最小二乗推定と最尤推定の使い分けはどうするか

線形回帰においてパラメータの推定に関して。
最小二乗推定量(OLS推定量）については昔書いたが、 最小二乗推定量 (以下OLS推定量)で出すか、 最尤推定量 (以下ML推定量）で出すかの違いを書いてなかったことを思い出したのでテキトーに追記。 knknkn.hatenablog.com

最尤推定量

まず、最尤推定は目的変数の分布を仮定し、その分布式に実データをフィットさせられる最も尤もらしいパラメータを推定している。また、標本数nが十分大きければ漸近理論より、一致性・漸近正規性・漸近効率性を得ることができる。
逆にいえば、 目的変数の確率分布が間違っていた場合 は真の母集団とは違うパラメータを推定していることになるので、パラメータの最尤推定量は真の値と異なることになる。つまり、 最尤推定量は、分布において強い仮定が必要になる 。

OLS推定量

一方で、OLS推定は目的変数の確率分布を正規分布だと仮定して推定している。ただし、一般的に標本数nが十分大きければ漸近理論より、OLS推定量は一致性・漸近正規性・不偏性を得ることができる。[鹿野 p.192, 249]

新しい計量経済学 データで因果関係に迫る

そのため、目的変数の分布が正規分布でなくても標本数nが大きければある程度は正しい値になる。

最尤推定量 vs OLS推定量

前述の理由より、OLS推定量の方が分布において仮定が弱い、つまりロバストに推定することができる。そのため、標本数がある程度確保できる場合は、（そこそこ強い確信を持って分布の仮定を置けそうでも）最尤推定ではなく、ロバストなOLSを用いた方が良い。

逆に、標本数nが不十分かつ、そこそこ強い確信を持って分布に仮定を置けそうなときには最尤推定をおこなったほうが良い。
このあたりの話は、仮定を強める効用について書いた以下の記事でも書いている。

knknkn.hatenablog.com

余談

「標本数がある程度確保できる場合は、ロバストなOLSを用いた方が良い」話や、「標本数が十分大きい、かつ分布を確信を持って仮定できる場合にOLSとMLどっち使うか」は派閥に寄って正解が違うみたいです。

参考

[鹿野 p.192, 249]

新しい計量経済学 データで因果関係に迫る

What are the basic differences between OLS and Maximum Likelihood method?