https://twitter.com/ccc_privacy_bot

作った経緯

1. Tカードが個人情報を提携企業に提供開始
   • 痛いニュース(ﾉ∀`) : Ｔカード、11月1日より個人情報を「第三者提供」へ　希望しない人の停止手続き受付開始 - ライブドアブログ
   • ツタヤTカード、勝手に個人情報を第三者へ提供？規約改定炎上騒動の真相　CCCに聞く | ビジネスジャーナル
2. 個人情報提供の中止はいつでもできるが、「提供先企業は随時増える」「提供先企業が増えてもCCCからは通知は来ない」「新規企業は何もしないとデフォルトで個人情報提供する設定」というユーザフレンドリーじゃない仕様

   • 

3. 毎日PDFをチェックしにいくほど暇じゃないのでボット作るか

という感じ

ボット自体は半月くらい前にはできてたのですが、2回目以降のCCCの更新が取得できるまで公開を控えていました。

ボットでやっていること

• 30分に1回、提供先企業一覧のPDFをダウンロードできるページにいく
  • http://qa.tsite.jp/faq/show/2512
• PDFをダウンロードして提供先企業一覧を取得
  • スクレイピングだけでいけると思ったらPDFで提供されていたのでparseするのが大変だったｗ
• 新着があればボットでつぶやく

技術的な話

ソースコード

https://github.com/sue445/ccc_privacy_crawler

使ってる技術

• ruby 2.1.5
• padrino
• Heroku

Herokuでも無料で1日1回以上cronを動かす方法

Herokuで30分に1回ボットを動かしているというと有料の Heroku Scheduler*1を思い浮かべると思いますが、このボットでは sidekiq-cronで自前でcron処理を行いwebのDynoを落とすことで無料でも30分に1回の定期実行を実現しています。webのDynoを落とすとURLでアクセスできなくなりますが、ボットということで割り切ってますｗ

sidekiqが立ち上がっている時はDynoはずっと立ち上がったままですが、1 Dynoをずっと動かす分には無料枠で大丈夫です。