2018年振り返り - まずは蝋の翼から。

お久しぶりのブログです。
仕事が次々と来て、ほそぼそと日々の勉強をするのに精一杯で書く余裕がなかったです。
最近やっと余裕が出てきたのと思うところがあった(今回の本題)のでできる限り再開させようかと思いました。
そのあたりも含めて去年の振り返りから再開します。

去年なにしていたか

1-3月

17年9月に転職をしたのですが、入れ替わりで前任者が辞めました。
そのため、ドベンチャーなので、私の職種であるデータ系の人・・・というか大枠でエンジニアの人が私1人になりました。
そのため、10月より開発っぽいことをやったり、既存不具合の調査をしたりしていたのですが圧倒的に時間が足りなかったです。
社内のシステム周りなど色々見えてきたこともあり、18年1月から抜本解決策を探したり、応急処置をしていました。
データサイエンス(DS)枠入社だったのですが、データ抽出依頼で通常業務時間の130%くらいを使っていました。
効率が悪いので、依頼を高速でこなすためにある程度パターン化をおこない、依頼対応の隙間にそのためのSQLをちまちま作りまくってました。
また、DBの仕様書/設計書がなかったのでそのあたりも調査しながら作ってました。

簡単なものをデータ抽出するための社内用BIがRailsで作られていたがこちらも仕様書/設計書がなかった。頻繁に問題が起きるが誰も仕様がわからない。大枠でのエンジニア枠で、社内ではまだ適正があったので読むためにRailsの勉強を軽くした。

4-6月

Railsは社外エンジニアの人(SES)が入ったりで結局読む以外が使わなかった。
相変わらず、ほぼパターン化内のデータ抽出（大量）とパターン化外のデータ抽出（そこそこ）で時間を浪費。
DBがDWH/DMT化されておらず、ほぼローデータからSQLを書く必要があったため

パターン化外のときにSQLが複雑になる
SQLが時間かかる

という問題が起きていた。DWH/DMTを作る時間のが根本的な解決策だがその時間もなかった。
しかしそんなことも言ってられない。慣れてきたこともあり、抽出依頼が通常業務時間の110%くらいにおさまってきたので+20%くらいを使ってDWH/DMTの設計をちまちまおこなう。

7-9月

開発枠で2人入社したため、ときどき起こる不具合の調査などはその人たちがおこなうことになったので前よりかは30%くらいリソースが空く。

また、DS枠でも2人入社。片方は開発出身なので、データサイエンス枠だったが、開発陣が手がけていた不具合だらけの社内BIの開発に持っていかれた。それと、ちまちま取り掛かっていたDWH/DMTも設計は完成したが開発は開発部が担当。
どうせならこの部分も軽く噛みたかったが他業務があり、開発陣に混じってやるにはペースが合わなかったので結局やれず。
空いたリソースはもうひとりのデータサイエンス枠の人の教育があったので結局日々の仕事量は変わらず。

開発出身DSが、ソフトスキル面でも優秀かつ能動的なため、KPTなどの手法や心理的安全性などのエンジニア的な考えなど色々と学びが多かった。

10-12月

開発部に持っていかれていたDS1人が（ほぼ）返却される。また、もうひとりのDSの教育もほぼ終わり教育するリソースも解消。
やっとチームとして動きだす。

また、DWHが完成することでローデータからの抽出がなくなり前述の問題が解決。
解決することで、Re:dashに抽出用クエリを起きやすくなったのでひたすら抽出用SQLをパターン化して置きまくった。
そのため、抽出依頼の多くをなくすことができた（年末にパターン化完了なのでこの期自体は相変わらず抽出にリソースさかれていただが）。

さらに、前から副業でやってもらっていた人がDSとして入社。
この人は結構ガチ目なDS(計量経済学博士出身)。
社内DSは、抽出依頼が多すぎてデータサイエンスを全くおこなえていなかったのでサイエンスっぽいことはこの人がもともと副業でちまちまやっていた。ガチ目な人なので、抽出依頼ごときにリソース割かせるのはもったいないので入社後もその人にはサイエンスっぽいことをやってもらう。
私含む他のDSは、基本的なことの自己学習＆軽く案件はしたけども...くらいだったのでこの人のおかげでかなり勉強になっている。