はじめに

機械学習タスクにおいて、ブラックボックス性を減らし解釈性を上げるためにどの特徴量がどれくらい効いたかを示す必要性が増えている。また、特徴量選択やフィーチャーエンジニアリングの際にも参考になる。そのため、機械学習タスクをやるにあたって必須のスキルとなっているのでまとめてみる。

なお、構成や大まかな流れは以下のスライドからかなり引用しています(というか、下記スライドに個人的なメモを追加して書いただけに近い)。 speakerdeck.com

機械学習モデルに対しての特徴量解釈は主に以下の3つの観点がある、

どの特徴量が重要か
各特徴量が予測にどう影響するか
ある予測結果に対して特徴量がどう寄与するか

各観点によって使う手法が変わり、以下でそれぞれの内容をまとめる。

どの特徴量が重要か

モデルが重要視している要因がわかる。

Feature Importance

モデルに使用する特徴量の重要度を数値化したもの。

モデルに合わせたアルゴリズム(Model Dependent)と、モデルに関わらないアルゴリズム（Model Independent）がある。

実際の使い方としては、意思決定においてどの特徴量に対して優先して改善を図るか、といった際に使用したり、Feature Enginiaringにおいてとりあえず特徴量を全部ぶち込んでから各特徴量を使うかどうかの指標にしたりする。

Model Dependent
- Random Forest:評価指標をより改善する特徴量が重要
  - 分類系:Out-of-Bag(OOB)の誤り率、Gini imuprity 、エントロピー(特許の関係で使えないためGiniで代替)...などを識別基準にする
  - 回帰:MSE, RSSなどを判断基準にする
- 勾配Boosting系(XGBoost , LightGBM, CatBoost...)
  - Gain, cover, weight(frequency)
…など。

どの変数を分割したら上記判別基準がどう変わったかで重要度を計算する。ちなみに、Scikit-learnのRandom ForestはGini imuprityベース。それぞれの詳細は以下。

Random Forest

Random Forestで計算できる特徴量の重要度 - なにメモ

ランダムフォレスト — 苦労する遊び人の玩具箱 1 ドキュメント

Feature Selection with R / in JP from Sercan Ahi

www.slideshare.net

ランダムフォレスト特徴量の重要度（C++の実装例つき） - じじいのプログラミング

XGboost

Xgboost : feature_importanceのimportance_type算出方法 - Qiita

Gradient Boosted Tree (Xgboost) の取り扱い説明書 - Qiita

Model Independent アルゴリズムがモデルに依存しないので作成した各モデルに対して統一的に重要度を見ることができる。
- Permutation Important:ある特徴量をランダムに交換したとき、予測精度が大きく落ちる場合、重要度が高いと判定される。

Permutation Importance | Kaggle

Python: 特徴量の重要度を Permutation Importance で計測する - CUBE SUGAR CONTAINER

permutation importance 〜特徴量の重要度の測り方〜 - TJ Media Studies

https://bunseki-train.com/permutation_importance_and_eli5_1/

変数重要度とPartial Dependence Plotでブラックボックスモデルを解釈する - Dropout

各特徴量が予測にどのように影響しているか

ある特徴量を変化させたときに予測がどう変化するかという関係性がわかる。

例えば、特徴量X1の値が3を境にYへの貢献度が一気に増える、など。

実際の使い方としては、Feature Importanceを見たあとに、重要な特徴量のいくつかに対して改善を図ろうと考える。その際に例えば特徴量X1は値が変わってもあまり貢献度は変わらないが特徴量X2は値を変えると大きく貢献度が変わるという場合、特徴量X2に焦点を当てて改善していこう、といったことが考えられる。