続Pythonによるwebスクレイピング入門

Transcript

• 1. 続PythonによるWeb スクレイピング入門 関根裕紀
• 2. 自己紹介 • 関根裕紀（せきね ひろのり） • アライドアーキテクツ株式会社 • ソフトウェア・エンジニア • マーケティングを支援するサービスの開発 • 新卒メンバー、若手メンバーの教育支援 • Twitter: @checkpoint
• 3. Pythonとの関わり • PyCon JP スタッフ (2014, 2015) • Pythonエンジニア養成読本（Web開発） • スピーカー • AWDD • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015
• 4. Pythonもくもく会（毎月）
• 5. アジェンダ • Webスクレイピングとは？ • PythonでのWebスクレイピング • Webスクレイピングのサンプル紹介
• 6. Webスクレイピングとは？ Webスクレイピングとは、WebサイトからWebページのHTMLデータを収 集して、特定のデータを抽出、整形し直すことである。 Webスクレイピングを行うことで、Webページを対象として、あたかも Web APIを利用しているかのようにデータを効率的に取得・収集すること が可能になる。用途の例としては、部分的にコンテンツを取り出して携帯 電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といっ た使い方あある。Webスクレイピングは様々な手段で実現可能であるが、 PHPやPerlといったスクリプト言語を使用して行われることが多い。 ( http://www.sophia-it.com/content/Webスクレイピング ) IT用語辞典より
• 7. Webスクレイピング • WebサイトからHTMLのデータを収集 • 特定のデータを抽出、加工 • 抽出したデータを再利用 • クローリング + スクレイピング
• 8. クローリング • 英語の意味は、[はう、ゆっくり進む] • Webページのリンクの内容をたどる • Webページの内容をダウンロードして収集 • クローラー、スパイダーと呼ばれる
• 9. スクレイピング • 英語の意味は、[ 削ること ] • ページの内容から必要な情報を抽出すること
• 10. 用途 • 検索エンジン • 価格比較 • 気象データの監視 • サイトの変更検出 • Webサイトの情報解析、研究（比較、分類、統計など） • マッシュアップ
• 11. 方法（１） • Webサービス、アプリケーション • Yahoo! Pipes（ https://pipes.yahoo.com/ ) • kimono ( https://www.kimonolabs.com/ ) • import.io ( https://import.io/ )
• 12. 方法（２） • Ruby • Nokogiri • Mechanize • Perl • Web::Scraper • JavaScript • CasperJS
• 13. Pythonでのスクレイピング • 標準ライブラリ • BeautifulSoup • pyquery • Scrapy • その他
• 14. Python バッテリー付属言語
• 15. 標準ライブラリ • Pythonの標準ライブラリは充実している • ネットワーク、正規表現、etc • Pythonの処理系だけあれば良い • 簡単なスクレイピングであれば十分実用的
• 16. サンプル
• 17. Beautiful Soup • 2004年位から存在するライブラリ • HTMLやXMLからデータを抽出して取得できる • 複数のパーサーに対応、パーサーを指定できる • 最新バーションはBeautiful Soup 4系 • Python 2.7、Python 3.2に対応
• 18. サンプル
• 19. 実行結果
• 20. pyquery • jQuery風にHTML/XML操作が可能 • パーサーにはlxmlを使用 • JQuery風のセレクタを利用できる
• 21. サンプル
• 22. 実行結果
• 23. Scrapy Scarpyは速くて、ハイレベルなスクレイピング クローラーのフレームワーク。Webサイトのク ロールと、構造化されたデータを取り出すのに 使用する。幅広い目的に使用できる。データマ イニングから、モニタリング、自動テストなど
• 24. Scrapy
• 25. Scrapyの特徴 • クローリング、スクレイピングフレームワーク • シンプル、拡張性がある • バッテリー付属 • ドキュメント、テストが充実 • コミュニティが活発 • Python2.7のみ対応
• 26. Scrapyの主な機能 • Webページからの情報抽出 • Robots.txtのパース • ドメイン、IPアドレス単位のクロール間隔調整 • 並行処理 • エラー時のリトライ（回数を設定） http://orangain.hatenablog.com/entry/scrapy
• 27. Scrapyのアーキテクチャ https://scrapy.readthedocs.org/en/latest/topics/architecture.html
• 28. コンポーネント • Scrapy Engine • Scheduler • Downloader • Spiders • Item Pipeline • Downloader middlewares • Spider middlewares
• 29. Scrapy Engine • コンポーネント間のデータフローを制御する • 特定のアクションが発生したら、イベントを 起こす
• 30. Spider • ユーザーが作成するカスタムクラス • 取得したいURL、抽出する項目を記述する • ダウンロードしてコンテンツをスクレイピン グして、Itemを作成する
• 31. Scheduler • EngineからRequestを受け取り、スケジュー リングする
• 32. Downloader • 実際にWebページを取得する。 • Downloader middlewaresで処理を差し込む 事ができる。（キャッシュなど）
• 33. Item Pipeline • スパイダーによって抽出されたアイテムを出力 • データのクレンジング、検証 • 永続化（JSON、File、DB、Mail）など
• 34. 手順 • Scrapyプロジェクトの作成 • 抽出するアイテムの定義 • アイテムの抽出とクローリングのためのSpiderを作成 • 抽出したアイテムのパイプライン処理の作成 • 基本はSpiderとItem部分を書いていく
• 35. サンプル
• 36. プロジェクトの作成 $ scrapy startproject scrapy_sample
• 37. 抽出するItem定義 $ vi items.py
• 38. Spider作成 $ vi spiders/mininova.py
• 39. 実行 $ scrapy crawl mininova -o scraped_data.json
• 40. サンプル紹介 • Airbnbの物件情報をスクレイピング • 京都、沖縄（任意の場所） • 6/27 - 6/28（この期間で宿泊可能な物件） • 20000円以内 • 価格の分布図を表示（Web画面）
• 41. 物件情報
• 42. ライブラリ - Scraping • requests (HttpClient) • Beautiful Soup (Scraping) • SqlAlchemy ( O/R Mapper)
• 43. ライブラリ - Web • Bottle ( Web Application Framework) • Highcharts ( Graph Library) • SqlAlchemy ( O/R Mapper)
• 44. Bottle • 軽量なWebアプリケーションフレームワーク • ルーティング • テンプレートエンジン • HTTPユーティリティ • ビルトインのサーバー
• 45. HelloWorld
• 46. SQLAlchemy • データベースやSQLに関連する機能を提供す るライブラリ • O/Rマッパーは提供される機能のうちの1つ
• 47. モデルの定義
• 48. レコード作成、検索
• 49. デモ
• 50. デモ
• 51. ソースコード（モデルの定義）
• 52. ソースコード（スクレイピング）
• 53. ソースコード（クローリング）
• 54. ソースコード（Web）
• 55. ソースコード（Web）
• 56. ソースコード（Web）
• 57. まとめ • Pythonでスクレイピングを行う場合、色々な アプローチがある。 • 標準のライブラリから、フレームワークまで 選択肢は沢山ある。 • 実際の要件に合わせて使用すれば良い。
• 58. 参考資料 • http://scrapy.org ( Scrapy ) • http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe • https://github.com/gawel/pyquery/ ( pyquery ) • http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup ) • http://orangain.hatenablog.com/entry/scrapy • http://akiniwa.hatenablog.jp/entry/2013/04/15/001411 • http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 ) • http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/ slideshow/embed_code/36143026 • http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
• 59. 宣伝 • PyCon JP 2015（ https://pycon.jp/2015/ ） • 10月9日(金) - 10月12日(月) • トークセッションの募集中 • チュートリアル講師も募集中
• 60. ご静聴ありがとうございました