tidyverseとNSE

R 使い方メモ(ライブラリ)

tidyverse系で変数を使いたいときめんどくさいなぁという話。はじめに要点をざっくりまとめると、tidyverse系でdplyrでdata$列名ではなく列名と直接書けるのはNSE表現になっているので、そういう場所はNSEに合わせた書き方しようね。変数はSEなのでそのまま…

2019-05-11

機械学習による予測確率は真の確率とは異なる

使い方メモ(ライブラリ) 統計

以下の記事では傾向スコアをロジスティク回帰で求めてその傾向スコアをもとにATEなどを求めた。 knknkn.hatenablog.com 機械学習で出した確率は、予測確率が0.5未満ならラベル0、0.5以上ならラベル1にする、といったような分類器として使う場合は（おおむね…

2019-05-10

傾向スコアによるマッチングを試す

R 統計使い方メモ(ライブラリ)

傾向スコアによるマッチングを試す。内容は岩波DS3を、コードは以下を参考。統計的因果推論(2): 傾向スコア(Propensity Score)の初歩をRで実践してみる - 渋谷駅前で働くデータサイエンティストのブログ岩波データサイエンス Vol.3発売日: 2016/06/10メデ…

2019-05-09

差分の差分法(DID)を試す

R 使い方メモ(ライブラリ) トレース記事統計

差分の差分法(DID)の勉強のために以下の記事を参考にする。 https://fisproject.jp/2016/05/difference-in-differences-using-r/ 使用するデータは、A-Gまでの7ヶ国についてy, y_bin, x1, x2, x3, opinion を1990年から10年間に渡り記録したパネルデータと…

2019-05-07

各モデルで使われる変数重要度についてまとめる

Python 使い方メモ(ライブラリ) 機械学習

はじめに機械学習タスクにおいて、ブラックボックス性を減らし解釈性を上げるためにどの特徴量がどれくらい効いたかを示す必要性が増えている。また、特徴量選択やフィーチャーエンジニアリングの際にも参考になる。そのため、機械学習タスクをやるにあたっ…

2019-05-06

SHAP valueを使ってみる

Python 使い方メモ(ライブラリ) 機械学習トレース記事

SHAP valueを実際に試してみる。コードは以下の記事のものを拝借。 Shapを用いた機械学習モデルの解釈説明 - Qiita なお、データはkaggleのHouse Pricingコンペデータをテキトーに加工して作っている。SalePrice(対数化済)を目的変数として、簡易化のため変…

2019-05-03

複数のモデルを管理する

R 使い方メモ(ライブラリ) トレース記事使い方メモ(不便解決)

purrrとbroomの使い方をマスターするために。以下の記事をトレースする。内容自体は引用元記事の方がちゃんとしているのでそちらを読んでもらいたい。本記事は、読むにあたって理解が薄い人（=自分)用の補足メモを書きながらのトレースとなる。そのため、本…

2019-05-01

themeを作ってggplotの出力コードをコピペで何回も繰り返さない

R 使い方メモ(不便解決) 使い方メモ(ライブラリ) 俺俺メモ

はじめに ggplotを使っていて、結構何回も同じこと書いていることが多いなーと感じたので改めて省略できる部分を省略することを考える。そもそもプログラマーのための原則として、DRY原則というものもある。 DRY原則 | プログラマが知るべき97のことまた、…

2019-05-01

glue::glue()による動的なファイル名/クエリの生成

R 使い方メモ(ライブラリ) 使い方メモ(不便解決)

Rのglue::glue()を使うと、{}で囲った変数名に応じた変数で補完した文字列が生成される。 library(glue) for (i in 1:3){ print(glue('hoge{i}')) } # => # hoge1 # hoge2 # hoge3 glueを利用して、動的にファイルを作成する。以下では、irisをspecies毎に分…

2019-05-01

lfe::felmで固定効果モデルを試す

R 使い方メモ(ライブラリ) 統計

固定効果モデル(Fixed Effect)を考える。固定効果モデルとは固定効果モデルとは、ざっくり書くと、パネルデータに対するOLSの際にパネルデータ内の個人毎に異なる「個人差」のような部分を除去してOLS推定ができるようになるモデル。固定効果モデルイメー…

2019-03-23

tsの週次データについてと、ついでにtsibbleについて

R 使い方メモ(ライブラリ)

Rのtsクラスの振る舞いがよくわからなかったのでメモ。ついでにtibble形式のtsであるtsibbleについても。基本 tsクラスは時系列（Time Series）情報をindexとして持ったデータ型。時系列ってなんやねんと思うが、要するに「ある単位においてどういう粒度が…

2019-03-21

forecastのtrain/test期間の結果をggplot2で描画できるようにする

R 使い方メモ(ライブラリ) 使い方メモ(不便解決)

やりたいこと ARIMAなどをする際に予測をするためにforecast関数を用いる。その際、forecast関数によって作成されたオブジェクトはautoplot関数でそのまま描画できる。キレイでリッチなグラフ描画をおこないたいので、ggplotを使って描画をしたい。問題点…

2019-03-20

ARIMAXで複数のモデルを一気に試す

R 使い方メモ(ライブラリ) 使い方メモ(不便解決)

ARIMAXモデルにおいて、X(外部要因)に何を入れるか考える際にいちいち1つ1つ試していくのは手間がかかる。そのため、loop処理で一気に計算をおこない結果を比較したい。データテキトーに以下のデータで考える。 > df # A tibble: 7 x 5 date value x1 x2_1…

2019-02-28

ggplot2覚書⑨ 回帰線

R 使い方メモ(ライブラリ) 書籍

引き続き「Rグラフィッククックブック」。 Rグラフィックスクックブック ―ggplot2によるグラフ作成のレシピ集作者:Winston Chang発売日: 2013/11/30メディア: 大型本今回がとりあえずラスト。過去分 ggplot2覚書① 棒グラフ - まずは蝋の翼から。 ggplot2覚…

2019-02-27

ggplotで別々のデータを使った2軸グラフを使いたい

R 使い方メモ(ライブラリ) 使い方メモ(不便解決)

ggplot2で異なるグラフを重ねて、yの値が左右で異なるグラフを2軸グラフという。イメージ的には、下記の2グラフ(平均価格をpoint、平均カラット数を棒グラフ）を1画面に収めるイメージ(※棒グラフの数値テキストは、以降での値を確かめる用なので除く)。 ~ …

2019-02-25

週単位にまとめた時系列データで軸目盛を週初め日付ベースにしたい

R 使い方メモ(ライブラリ) 使い方メモ(不便解決)

事象表題通り。データとして、週初めの日付が入っているデータがある。その日付単位でplotをすると軸がdateゆえに目盛が週初め刻みではなく、通常通りの1日刻みとなる。そのため、下記グラフのように欲しい部分（週初め日付）とは別の日付が目盛に表示され…