Webスクレイピングで、ニュースまとめサイトや、キュレーションアプリが作成できる『Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例』

2015/5/10 Ruby・Ruby on Rails, ビッグデータ・分析

--この記事は約 5 分で読めます。--

こんにちは、きるいっとです。

いま話題のKindle IT技術書の人気本セール情報です！

本日は、ただいまセール中の「Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例」を紹介します。

『Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例』

Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例

05/10 現在、お値段、~~¥3,218~~ → ¥2,980(7%OFF) となっています。

本書の概要

この本のおおまかな説明

Webクローラーの作り方をディープに解説！

Webから目的の情報を収集するクローラープログラムの作り方を解説。

Rubyライブラリを駆使して、巡回・解析機能を作成します。TwitterやFacebookのデータ収集や、株価や企業情報の収集など、さまざまな処理に対応したサンプルスクリプトを多数掲載しています。

こんなITエンジニアにおすすめ

Rubyでクローラーを作ってみたい人

内容の紹介

●目次
Chapter 1 10分クローラーの作成
Chapter 2 クローラー作成の基礎
Chapter 3 収集したデータを分析する
Chapter 4 高度な利用方法
Chapter 5 目的別クローラーの作成
Chapter 6 クローラーの運用

Google、Twitter、Facebookからのデータ収集、iTunes Store、Google Playのランキング情報、企業・株価情報・為替情報・金融指標の取得、SEOやマネジメントに役立つ情報の収集etc…データ収集効率を劇的にアップするクローラー技術をディープに解説。

この本を読んでほしい人

rubyの基礎知識がある人

本書の感想とおすすめの理由

近年ではビッグデータの有効利用がさけばれていますが、ビッグデータの収集方法として「Webスクレイピング」が注目されています。インターネット上に存在する膨大なページからビッグデータに相当するデータを収集する事を指します。

ツイッターのつぶやきデータの収集等が有名な例としてあげられると思います。

本書では、この「Webスクレイピング」を実現するために「クローラー」を作成するとの流れになっています。本書を読む事で・「クローラー」の概要と作成する上で基本となる考え方・「クローラー」作成に必要なライブラリの利用方法と生データの解析方法(形態素解析を含む自然言語処理)の概要・より実用的な「クローラー」に育てて行くための考え方・目的別「クローラー」の作成方法・「クローラー」の運用方法等の知識が学べます。

利用しているライブラリは「nokogiri」、「anemone」となっています。

Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例を読んでよかったところ

この本に書かれている技術を使えば、ちょっとした検索エンジンのようなものが作れたり、RSSの自作もできます。サイト巡回のボットや、まとめサイトのようなものも作ることができます。

最近流行りのニュースまとめサイトや、アプリと組み合わせればニュースアプリを作るのにも役に立つと思います。特定のテーマや分野に特化したポータルサイトを作る際にも良いと思います。実際、この本でも、実例として「amazonのサイトをクロールして、ベストセラーランキングの情報をごっそり持ってくる方法」なども紹介されていたりします。これを使って自分のサイトのバナー部分に貼ったりすれば、「amazonに見に行かなくてもウチのサイト見れば最新情報わかるよ」ってなサイトが作れるわけです。

このきるいっとのサイトでも、本書の内容を参考にして、Amazonのベストセラー情報等をクロールしています。とっても役に立ちました。おすすめですよ！