年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。

昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。

収集している情報

上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithubへのリンクも貼っておきます。

Fitbitの歩数や体重のデータ
- syou6162/fitbit_logger
- syou6162/fitbit_weight_logger
Slackの発言ログ
- syou6162/slack_logger
NasneのHDDの残り容量や録画した番組の情報
- syou6162/nasne_record_history
- syou6162/nasne_hdd_free_volume_size
国債の金利
- syou6162/interest_rate
株価情報
- syou6162/yahoo_finance
使用しているアプリケーションの名前やWindow名のログ
- syou6162/window_name_logger
マシンのload average
- syou6162/uptime
位置情報や移動手段を記録しているMovesのログ
- syou6162/moves_logger
zshのコマンド履歴
- syou6162/zsh_history_to_json
twitterの発言履歴(自分のものと登録しているリストのもの)
毎月の給与明細
毎日の株式市場のニュース
京都の毎日の天気
toggleでのタスクのログ
moneyforwardのログ
gitのcommitログ(リポジトリ名やブランチ、commit時刻、言語名など)
毎時の自分の気分(Pebbleからワンクリックで投稿できるようなアプリを自分で作った)

以上のような自分の毎日に関連する情報が溜め込み可視化できるようにしていて、可視化した情報をPhamtomJSでスクリーンショットを取ってメールで自分に送り付けています。

syou6162/kibana_screenshot

実現方法

このようなライフログの収集および可視化は、以下のツールを用いて行なっています。

データの収集: 上に書いたようなapiを叩いたり、スクレイピングを行なうスクリプトで取ってきます
- 基本的には自宅のmac miniでやっていますが、外部にサーバーとして公開するのは面倒なので、ところどころデータをdropboxで同期
データの格納方法: ElasticSearchに投入しています。時系列で可視化したいので、時刻に関するところだけ簡単にMappingを書いています
データの可視化: Kibanaを使って可視化しています。基本的にelasticseachにデータを入れておけば驚くほど簡単に可視化できるのでkibana様々です

データから分かった知見(?)

人が見て面白いと思うかは分からないですが、自分としては面白いと思った知見だったり気付きをいくつか書いてみます。

gitのcommitログやtoggleのタスクログから「この時期はこういう仕事をしていたな」というのが数値として分かる
- 思ったよりできていないな、ということも客観的に(知りたくなくても)分かる
自分の投資している銘柄が急落した際に株式市場で何が起こったかニュースと照し合わせることができて便利
- こういう事象が起こるとこういう業種は株価がどう動くか、というのが勉強できる
毎月どれくらい貯金できていて、一年でどれくらい溜まりそうというのが分かる
今年の京都は暖冬だけど、標準偏差を見ると寒暖差はむしろ大きいので風邪に注意する必要があることが分かる
追いきれなかったslackやtwitterの祭りをkibanaで後からゆっくりと眺めることができる

自分のそのときどきの気分も時系列で取得してあるので、fitbitの歩数や作業している内容、位置情報などから自分の気分を予測する(L1)回帰モデルを作ると、自分はどういうときに幸せな感じかが変数の係数を見ると分かると思うので、やってみると面白いような気がしています。まだやっていないですが。言語処理屋、機械学習屋としてはeat your own dog foodっぽい感じかもしれないですね。

預金やload average関係は異常検知の機械学習モデルを作って、携帯にアラートを飛ばせるようにしておくのもいいかもしてません。とにかくデータがあるので、色々料理のしようがあります。