まずは蝋の翼から。

学んだことを書きながら確認・整理するためのメモブログ。こういうことなのかな?といったことをふわっと書いたりしていますが、理解が浅いゆえに的はずれなことも多々あると思うのでツッコミ歓迎

良い推定量としての最小二乗推定量(OLS推定量)

過去にも計量経済学系記事を書きましたが、その後同じような内容の本を多読して大体整理がついたのでまとめ。

何故計量経済学でOLSか

計量経済学の目標は、変数間の数量的な因果関係、すなわち「変数Xの変化で、別の変数Yがどれだけ変化するか」の実証にあります。 「新しい計量経済学(鹿野繁樹)」P4

とあります。

新しい計量経済学 データで因果関係に迫る

新しい計量経済学 データで因果関係に迫る

「新しい計量経済学」の引用文のように、線形モデルでは「各変数が他の変数を制御した上でどれだけインパクトを持つか」ということを可能とします。
また、そのインパクトの推定量はある条件下においてOLSを用いた推定量が他の推定量と比較して非常に良い値を推定することから、OLSを用いることが多いようです、

OLSの良い推定量

不偏性

不偏性とは簡単にいうと「標本データから求めたパラメータの推定量は平均的に、真の値(母集団からの値)になる性質」を指します。
そのため、不偏性は推定量として非常に良い性質となります。
なお、パラメータが不偏性を持つには、以下の仮定を満たす必要があります。

  • 1.母集団モデルを回帰式としてかける(線形)
  • 2.互いに独立で、同じ分布からの抽出(i.i.d.)
  • 3.説明変数と誤差項は無相関
  • 4.説明変数に変動がある
  • 5.説明変数間に完全な共線関係がない

これらを満たす推定量を、線形不偏推定量といいます。
不偏性を持つということは推定量が真の値の周りにあつまって分布をしていることになりますが、あくまで「平均的に真の値になる」だけなので分散が大きくなればなるほど、ある推定量が真の値から離れている可能性が高くなります。

一致性

一致性とは、「nを大きくすればするほど分散が小さくなり、パラメータの推定量が真の値に近づく(n -> ∞で真の値に収束)性質」を指します。
逆にいえば、一致性がない場合「どれだけnが大きくても値が収束しない」とも言い換えられます。
一致性を持つためには、

  • 6.無作為抽出

の条件が必要となります。

効率性

効率性とは、「あらゆる推定量の中で分散が最小になる性質」を指します。
OLSにおいては、以下の仮定を満たすことでこの性質を持ちます。

  • 7.誤差項の分散が均一

BLUE

不偏性の仮定1~5、一致性の仮定6、効率性の仮定7を合わせた仮定を、ガウスマルコフの仮定といいます。
このガウスマルコフの仮定を満たす、つまり不偏性、一致性、効率性を持つ推定量をBLUE(Best Linier Unbiased Estimator:最良線形不偏推定量)といい、推定量として最も良い性質となります。なお、このことをガウスマルコフの定理といいます。

検定

t検定をはじめとした多くの検定では、検定したいパラメータの分布として正規分布を仮定しています。
定量の検定ができないと、そのパラメータが有意かの指標が得られないので、テキストによってはOLS推定量を使う際に仮定として

を置いている場合があります。
しかし、nが大きい場合、中心極限定理からパラメータは正規分布として近似できるので検定をおこなうことは可能です。
言い方を変えれば、nが大きい場合は誤差項に正規分布の仮定は必須でなありません。

なお、誤差項が正規分布の場合、目的変数も正規分布となります(近似の場合も同様)。

不均一分散

多くの自然データに関して6の「誤差項の分散が均一」ではありません(不均一分散)。
一般的な標準誤差は均一分散を前提とした式から求められるため、不均一分散では誤った標準誤差となってしまいます。
そうすると、例えば検定の際に誤った標準誤差をもとに検定をおこなうことになります。
そのため、不均一分散のデータに対して構造がわかっている場合はWLSを使い均一分散にした上で標準誤差を出しなおしたり、(nが大きな場合には)頑強な標準誤差(ホワイトの標準誤差)を用いることで正しい検定をおこなうことができます。

良い推定量としてBLUEを満たさないといけないか

多くの書籍でBLUE = 最も良い推定量、という書き方がされていたため良い推定量を得たい = BLUEなOLS推定量を用いないといけない(BLUE以外は推定量として✗)、と勘違いをしていましたが、どうやら違うようです。

そもそも、「推定したパラメータが真の値を(できるだけ)表す」推定量が「良い推定量」です。
そのため、推定量が真の値を表しているのであれば、「BLUEは満たさないといけない」わけではありません。

例えば、極端な話だと無限大のデータがあれば、BLUEのうち一致性さえあればパラメータは真の値なのでそれだけで「良い推定量」と言うことはできます。

なお、現実には有限のデータしかこの世には存在しません。
また、nが大きければ...と今まで書いていましたが、ではどの程度のnがあればよいのか?ということははっきりしません。
そのため、nが無限大ではないため一致性だけでは必ずしも真の値にならないので他の条件、つまりnによらず真の値を表す指標である不偏性、効率性という性質の利用を検討する必要性がでてきます。

前述のように、効率性(均一分散)を満たすデータを使うことは稀なので、不均一分散のままOLSを用いる場合、 「(nがある程度大きければ、)0といかないまでもある程度分散が小さく(一致性)、平均的に真値になる(不偏性)」のであれば推定量として真値に非常に近づくので

  • 一致性
  • 不偏性

を満たしたデータの推定量は「良い推定量」として用いることができます。

まとめ

  • 良い推定量とは、真の値を(限りなく)あらわす推定量
  • 実際のデータで真の値をあらわすためには、一致性・不偏性・効率性を用いることで真の値を(限りなく)あらわすことができるが全て満たす必要はない。
  • 真の値を限りなくあらわした推定量を用いるために、利用したい性質の仮定を満たしたデータを用いてOLSモデルを立てる。

読んだ本

なお、以下の本をこの半年で読んだ。

新しい計量経済学 データで因果関係に迫る

新しい計量経済学 データで因果関係に迫る

追記

最尤推定との使い分けについても書いた

knknkn.hatenablog.com