スクレイピングと Python 2015/11/22 関根裕紀 PyCon mini Hiroshima
自己紹介 • 関根裕紀（せきね ひろのり） • 株式会社SQUEEZE • Twitter: @checkpoint
業務でのPython • ホームシェア（民泊）などの物件の管理、ま たそれに伴う各種オペレーションを一元的に 管理するクラウドサービス を提供(Mister Suite) • 実際の業務ではDjango、Scrapyを使用 • エンジニア積極採...
Pythonとの関わり（１） • PyCon JP 2014 スタッフ • PyCon JP 2015 プログラムチーム副座長 • Pythonもくもく会（主催）
Pythonとの関わり（２） • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015 • PyCon mini Hiroshima (Today!!) • Pythonエンジニア養成読本（共...
アジェンダ • Webスクレイピングとは？ • PythonでのWebスクレイピング • Webスクレイピングのサンプル紹介
Webスクレイピングとは？ Webスクレイピングとは、WebサイトからWebページのHTMLデータを収 集して、特定のデータを抽出、整形し直すことである。 Webスクレイピングを行うことで、Webページを対象として、あたかも Web APIを利...
Webスクレイピング • WebサイトからHTMLのデータを収集 • 特定のデータを抽出、加工 • 抽出したデータを再利用 • クローリング + スクレイピング
クローリング • 英語の意味は、[はう、ゆっくり進む] • Webページのリンクの内容をたどる • Webページの内容をダウンロードして収集 • クローラー、スパイダーと呼ばれる
スクレイピング • 英語の意味は、[ 削ること ] • ページの内容から必要な情報を抽出
用途 • 検索エンジン • 価格比較 • 気象データの監視 • サイトの変更検出 • Webサイトの情報解析、研究（比較、分類、統計）
Webサービスを使用 • kimono ( https://www.kimonolabs.com/ ) • import.io ( https://import.io/ )
プログラミング • wget, cURL • Ruby ( Nokogiri、Mechanize） • Perl（Web::Scraper)
Pythonでのスクレイピング • 標準ライブラリ • BeautifulSoup • pyquery • Scrapy • その他
バッテリー付属言語 Python
標準ライブラリ • Pythonの標準ライブラリはとても充実 • ネットワーク、正規表現、etc • Pythonの処理系だけあれば良い • 簡単なスクレイピングであれば十分実用的
サンプル
サンプル(requests版）
Beautiful Soup • 2004年位から存在するライブラリ • HTMLやXMLからデータを抽出して取得 • 最新バーションはBeautiful Soup 4系 • Python 2.7、Python 3.2に対応
サンプル
pyquery • jQuery風にHTML/XML操作が可能 • パーサーにはlxmlを使用（高速） • JQuery風のセレクタを利用できる
サンプル
Selenium • Webブラウザのオートメーションツール • 実際にブラウザを操作してコンテンツを取得 • PhantomJS（ヘッドレスブラウザ）と連携可 • JavaScript（Ajax）を利用しているサイトの コンテンツも簡単に取得...
サンプル
Scrapy Scarpyは速くて、ハイレベルなスクレイピング クローラーのフレームワーク。Webサイトのク ロールと、構造化されたデータを取り出すのに 使用する。幅広い目的に使用できる。データマ イニングから、モニタリング、自動テストなど
Scrapy
Scrapyの特徴 • クローリング、スクレイピングフレームワーク • Djangoに影響されている（Middlewareなど） • スクレイピングに必要な機能がそろっている • ドキュメントが充実している • Python2.7のみ対応（3に...
Scrapyの主な機能 • ダウンロード、抽出、保存 • ダウンロードしたドキュメントのキャッシュ • 強力なコマンドラインシェル • Robots.txtのパース • 非同期、並行ダウンロード（Twistedを使用） • ドメイン、IPアドレ...
Scrapyのアーキテクチャ https://scrapy.readthedocs.org/en/latest/topics/architecture.html
コンポーネント • Scrapy Engine • Scheduler • Downloader • Spiders • Item Pipeline • Downloader middlewares • Spider middlewares
Scrapy Engine • コンポーネント間のデータフローを制御する • 特定のアクションが発生したら、イベントを 起こす
Spider • ユーザーが作成するカスタムクラス • 取得したいURL、抽出する項目を記述する • ダウンロードしてコンテンツをスクレイピン グして、Itemを作成する
Scheduler • EngineからRequestを受け取り、スケジュー リングする
Downloader • 実際にWebページを取得する。 • Downloader middlewaresで処理を差し込む 事ができる。（キャッシュなど） • Ajaxのコンテンツは、Seleniumでダウンロー ドさせたりなど、処理の変更も可...
Item Pipeline • スパイダーによって抽出されたアイテムを出力 • データのクレンジング、検証 • 永続化（JSON、File、DB、Mail）など
開発手順 • Scrapyプロジェクトの作成 • Spiderを作成（リンク抽出、ダウンロード） • Itemパイプラインでデータを保存
プロジェクトの作成 $ scrapy startproject scrapy_sample
サンプル
Spider作成（公式サイトより）
実行 $ scrapy crawl dmoz_spider -o scraped_data.json
サンプル紹介 • Airbnbの物件情報をスクレイピング • 京都、沖縄（任意の場所） • 6/27 - 6/28（この期間で宿泊可能な物件） • 20000円以内 • 価格の分布図を表示（Web画面）
物件情報
ライブラリ - Scraping • requests (HttpClient) • Beautiful Soup (Scraping) • SqlAlchemy ( O/R Mapper)
ライブラリ - Web • Bottle ( Web Application Framework) • Highcharts ( Graph Library) • SqlAlchemy ( O/R Mapper)
Bottle • 軽量なWebアプリケーションフレームワーク • ルーティング • テンプレートエンジン • HTTPユーティリティ • ビルトインのサーバー
HelloWorld
SQLAlchemy • データベースやSQLに関連する機能を提供す るライブラリ • O/Rマッパーは提供される機能のうちの1つ
モデルの定義
レコード作成、検索
デモ
デモ
ソースコード（モデルの定義）
ソースコード（スクレイピング）
ソースコード（クローリング）
ソースコード（Web）
ソースコード（Web）
ソースコード（Web）
まとめ • Pythonでスクレイピングを行う場合、色々な アプローチがある。 • 標準のライブラリから、フレームワークまで 選択肢は沢山ある。 • 実際の要件に合わせて使用すれば良い。
参考資料 • http://scrapy.org ( Scrapy ) • http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe • https://github....
ご静聴ありがとうございました
スクレイピングとPython
Upcoming SlideShare
Loading in...5
×

スクレイピングとPython

114
 -1

Published on

PyCon mini Hiroshima
2015/11/22
スクレイピングとPython

Published in: Technology
0 Comments
1 Like
Statistics
Notes
no profile picture user

  • Be the first to comment

No Downloads
Views
Total Views
114
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

スクレイピングとPython

  1. 1. スクレイピングと Python 2015/11/22 関根裕紀 PyCon mini Hiroshima
  2. 2. 自己紹介 • 関根裕紀（せきね ひろのり） • 株式会社SQUEEZE • Twitter: @checkpoint
  3. 3. 業務でのPython • ホームシェア（民泊）などの物件の管理、ま たそれに伴う各種オペレーションを一元的に 管理するクラウドサービス を提供(Mister Suite) • 実際の業務ではDjango、Scrapyを使用 • エンジニア積極採用中！
  4. 4. Pythonとの関わり（１） • PyCon JP 2014 スタッフ • PyCon JP 2015 プログラムチーム副座長 • Pythonもくもく会（主催）
  5. 5. Pythonとの関わり（２） • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015 • PyCon mini Hiroshima (Today!!) • Pythonエンジニア養成読本（共著）
  6. 6. アジェンダ • Webスクレイピングとは？ • PythonでのWebスクレイピング • Webスクレイピングのサンプル紹介
  7. 7. Webスクレイピングとは？ Webスクレイピングとは、WebサイトからWebページのHTMLデータを収 集して、特定のデータを抽出、整形し直すことである。 Webスクレイピングを行うことで、Webページを対象として、あたかも Web APIを利用しているかのようにデータを効率的に取得・収集すること が可能になる。用途の例としては、部分的にコンテンツを取り出して携帯 電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といっ た使い方あある。Webスクレイピングは様々な手段で実現可能であるが、 PHPやPerlといったスクリプト言語を使用して行われることが多い。 ( http://www.sophia-it.com/content/Webスクレイピング ) IT用語辞典より
  8. 8. Webスクレイピング • WebサイトからHTMLのデータを収集 • 特定のデータを抽出、加工 • 抽出したデータを再利用 • クローリング + スクレイピング
  9. 9. クローリング • 英語の意味は、[はう、ゆっくり進む] • Webページのリンクの内容をたどる • Webページの内容をダウンロードして収集 • クローラー、スパイダーと呼ばれる
  10. 10. スクレイピング • 英語の意味は、[ 削ること ] • ページの内容から必要な情報を抽出
  11. 11. 用途 • 検索エンジン • 価格比較 • 気象データの監視 • サイトの変更検出 • Webサイトの情報解析、研究（比較、分類、統計）
  12. 12. Webサービスを使用 • kimono ( https://www.kimonolabs.com/ ) • import.io ( https://import.io/ )
  13. 13. プログラミング • wget, cURL • Ruby ( Nokogiri、Mechanize） • Perl（Web::Scraper)
  14. 14. Pythonでのスクレイピング • 標準ライブラリ • BeautifulSoup • pyquery • Scrapy • その他
  15. 15. バッテリー付属言語 Python
  16. 16. 標準ライブラリ • Pythonの標準ライブラリはとても充実 • ネットワーク、正規表現、etc • Pythonの処理系だけあれば良い • 簡単なスクレイピングであれば十分実用的
  17. 17. サンプル
  18. 18. サンプル(requests版）
  19. 19. Beautiful Soup • 2004年位から存在するライブラリ • HTMLやXMLからデータを抽出して取得 • 最新バーションはBeautiful Soup 4系 • Python 2.7、Python 3.2に対応
  20. 20. サンプル
  21. 21. pyquery • jQuery風にHTML/XML操作が可能 • パーサーにはlxmlを使用（高速） • JQuery風のセレクタを利用できる
  22. 22. サンプル
  23. 23. Selenium • Webブラウザのオートメーションツール • 実際にブラウザを操作してコンテンツを取得 • PhantomJS（ヘッドレスブラウザ）と連携可 • JavaScript（Ajax）を利用しているサイトの コンテンツも簡単に取得できる
  24. 24. サンプル
  25. 25. Scrapy Scarpyは速くて、ハイレベルなスクレイピング クローラーのフレームワーク。Webサイトのク ロールと、構造化されたデータを取り出すのに 使用する。幅広い目的に使用できる。データマ イニングから、モニタリング、自動テストなど
  26. 26. Scrapy
  27. 27. Scrapyの特徴 • クローリング、スクレイピングフレームワーク • Djangoに影響されている（Middlewareなど） • スクレイピングに必要な機能がそろっている • ドキュメントが充実している • Python2.7のみ対応（3にも対応するらしい）
  28. 28. Scrapyの主な機能 • ダウンロード、抽出、保存 • ダウンロードしたドキュメントのキャッシュ • 強力なコマンドラインシェル • Robots.txtのパース • 非同期、並行ダウンロード（Twistedを使用） • ドメイン、IPアドレス単位のクロール間隔調整 • エラー時のリトライ • ログ出力
  29. 29. Scrapyのアーキテクチャ https://scrapy.readthedocs.org/en/latest/topics/architecture.html
  30. 30. コンポーネント • Scrapy Engine • Scheduler • Downloader • Spiders • Item Pipeline • Downloader middlewares • Spider middlewares
  31. 31. Scrapy Engine • コンポーネント間のデータフローを制御する • 特定のアクションが発生したら、イベントを 起こす
  32. 32. Spider • ユーザーが作成するカスタムクラス • 取得したいURL、抽出する項目を記述する • ダウンロードしてコンテンツをスクレイピン グして、Itemを作成する
  33. 33. Scheduler • EngineからRequestを受け取り、スケジュー リングする
  34. 34. Downloader • 実際にWebページを取得する。 • Downloader middlewaresで処理を差し込む 事ができる。（キャッシュなど） • Ajaxのコンテンツは、Seleniumでダウンロー ドさせたりなど、処理の変更も可能。
  35. 35. Item Pipeline • スパイダーによって抽出されたアイテムを出力 • データのクレンジング、検証 • 永続化（JSON、File、DB、Mail）など
  36. 36. 開発手順 • Scrapyプロジェクトの作成 • Spiderを作成（リンク抽出、ダウンロード） • Itemパイプラインでデータを保存
  37. 37. プロジェクトの作成 $ scrapy startproject scrapy_sample
  38. 38. サンプル
  39. 39. Spider作成（公式サイトより）
  40. 40. 実行 $ scrapy crawl dmoz_spider -o scraped_data.json
  41. 41. サンプル紹介 • Airbnbの物件情報をスクレイピング • 京都、沖縄（任意の場所） • 6/27 - 6/28（この期間で宿泊可能な物件） • 20000円以内 • 価格の分布図を表示（Web画面）
  42. 42. 物件情報
  43. 43. ライブラリ - Scraping • requests (HttpClient) • Beautiful Soup (Scraping) • SqlAlchemy ( O/R Mapper)
  44. 44. ライブラリ - Web • Bottle ( Web Application Framework) • Highcharts ( Graph Library) • SqlAlchemy ( O/R Mapper)
  45. 45. Bottle • 軽量なWebアプリケーションフレームワーク • ルーティング • テンプレートエンジン • HTTPユーティリティ • ビルトインのサーバー
  46. 46. HelloWorld
  47. 47. SQLAlchemy • データベースやSQLに関連する機能を提供す るライブラリ • O/Rマッパーは提供される機能のうちの1つ
  48. 48. モデルの定義
  49. 49. レコード作成、検索
  50. 50. デモ
  51. 51. デモ
  52. 52. ソースコード（モデルの定義）
  53. 53. ソースコード（スクレイピング）
  54. 54. ソースコード（クローリング）
  55. 55. ソースコード（Web）
  56. 56. ソースコード（Web）
  57. 57. ソースコード（Web）
  58. 58. まとめ • Pythonでスクレイピングを行う場合、色々な アプローチがある。 • 標準のライブラリから、フレームワークまで 選択肢は沢山ある。 • 実際の要件に合わせて使用すれば良い。
  59. 59. 参考資料 • http://scrapy.org ( Scrapy ) • http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe • https://github.com/gawel/pyquery/ ( pyquery ) • http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup ) • http://orangain.hatenablog.com/entry/scrapy • http://akiniwa.hatenablog.jp/entry/2013/04/15/001411 • http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 ) • http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/ slideshow/embed_code/36143026 • http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
  60. 60. ご静聴ありがとうございました

  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×