Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス

on

  • 51 views

AWSを利用してスクレイピングの悩みを解決するチップス

AWSを利用してスクレイピングの悩みを解決するチップス
クローラー／スクレイピングにAWSを利用しようという話

Statistics

Views

Total Views
51
Views on SlideShare
51
Embed Views
0

Actions

Likes
3
Downloads
0
Comments
0

1 Embed 0

https://twitter.com 34

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス Presentation Transcript

  • 1. 第3回Webスクレイピング勉強会@東京 ! AWSを利用して スクレイピングの悩みを 解決するチップス ２０１4年10月26日 @dkfj 佐々木拓郎
  • 2. ✦ プロフィール ‣ Webシステムを得意とするSIerで勤務 ‣ 最近の仕事はAWS事業の推進・モバイルアプリ開発 ‣ Webスクレイピングして、データマイニングするのが趣味 ★ ソーシャル・ネットワーク ‣ blog: http://blog.takuros.net/ ‣ twitter: @dkfj ‣ Facebook: takuro.sasaki ‣ SlideShare: http://www.slideshare.net/takurosasaki/ @dkfj 自己紹介：　佐々木拓郎
  • 3. 主にJAWSUG大阪で活動していました （AWS勉強会）
  • 4. 宣伝！！ クローラー/スクレイピング本を書きました。 「Rubyによるクローラー開発技法」 ご大層な名前ですが、初中級者向けです。 http://bit.ly/crawler_book
  • 5. 予想に反して、売上げ好調です。 発売２ヶ月経過で、増刷２回。 Amazonの幾つかのカテゴリで、 ランキング１位継続中。
  • 6. 大量のデータを集める際に、 困ることベスト３
  • 7. データ収集の課題 • クローリング（巡回）に時間が掛かる • IPアドレス制限 • データの保存方法
  • 8. クローリング（巡回）に時間がかかる • 収集先が膨大 　（対象サイト数×ページ数。何百～何千万件というケースも） • 収集するデータが大きい 　（画像系であれば、その傾向が顕著）
  • 9. IPアドレス制限 • 単位時間あたりで規定の回数を超えるとブロックされる 　（1分間あたり200回など。最近は、リスト型アカウントハッキングの影響で厳しめに） • IPアドレスをトリガーにされる場合が多い 　（Google BAN） !
  • 10. データの保存方法 • 収集してきたデータを長期間に渡って保存するのは難しい • データ量、端末の変更、整理 　（容量の問題、端末を入れ替えた際にデータ紛失）
  • 11. AWSを使うと、解決できるよ
  • 12. 　Amazon Web Services（AWS）とは、Amazon.com によ り提供される各種遠隔コンピューティングサービス（ウェブサー ビス）である。 　2006年7月に公開され、Amazon Web Services は他のウェ ブサイトやクライアントサイドアプリケーションに対しオンライ ンサービスをち提ょ供っしてとい理る解。でこれきらなのいサー。ビ。ス。 の多くはエンドユー ザに直接公開されているものではなく、他の開発者が使用可能な 機能を提供するものである。 　Amazon Web Services の各種サービスはHTTPを通じ、 REST および SOAP プロトコルを使用してアクセスされる。費用 は実際の使用量に応じて決定される。 ウィキペディアより
  • 13. AWSを三行で説明すると • Amazonが提供するクラウドサービス • 仮想コンピュータ（EC2）とストレージサービス（S3)を 中心に、数十のサービスを提供 • 基本的には従量課金なので、使った分だけの支払い
  • 14. コンピュータ処理 Amazon EC2 AWSのサービス一覧 ストレージ Amazon S3, Glaicer Amazon EBS データベース Amazon RDS, DynamoDB Amazon Simple DB Elasticache, Redshift コンテンツ配信 Amazon CloudFront メッセージ Amazon SNS Amazon SQS 分散処理 Elastic MapReduce メール配信 Amazon SES ワークホース Amazon Mechanical Turk 認証＆請求 AWS IAM Identity Federation Consolidated Billing モニタリング Amazon CloudWatch スケーリング Auto Scale ネットワーク＆ルーティング Amazon VPC ELB, Route53 AWS DirectConnect ライブラリ＆SDKs Java, PHP, .NET, Python, Ruby Webインターフェース Management Console IDEプラグイン Eclipse, Visual Studio デプロイと自動化 Elastic Beanstalk CloudFormation OpsWorks この辺りを 使います
  • 15. Amazon Elastic Compute Cloud（Amazon EC2） 仮想コンピュータサービス • AWSの中核サービス • インスタンスサイズごとに価格設定。１ 時間単位の課金 • パブリックIPが自動的に付与。 　（一定の条件あり） • １時間あたり、$0.013（≒1.4円）から 　スポットインスタンスを利用すれば、$0.0031（≒0.3円）
  • 16. Amazon Simple Storage Service（Amazon S3） オンラインストレージ・サービス • AWSのもう１つの中核サービス • 月々$0.0300 /GB。 • 1TB保存で、3000円強。 • 容量無制限。（お金があれば） • 他にもAPIリクエスト料も必要。 • 99.999999999%の堅牢性
  • 17. Amazon Simple Queue Service（Amazon SQS） プル型のキュー・サービス • 最古のAWSサービス 　（2004年サービス開始） • 疎結合アーキテクチャの肝 　（サービス間連携に大活躍） • 低コスト 　（月間無料枠＆非常に低価格な従量課金制） 参照：Amazon Simple Queue Service（SQS）の使い方 http://d.hatena.ne.jp/dkfj/20130205/1360076804
  • 18. デモ
  • 19. ユースケース
  • 20. EC2を単純に並べる • 複数のリソース、IPアドレスを同時に利用できる • 1台×10時間でも、10台×1時間でも料金は同じ ! AWSでスポットインスタンスの活用 $0.0031×50台≒約16円
  • 21. EC2の処理結果をS3に集約する • EC2が集めたデータを、S3に保存する • 集計結果をデータベースに保存するのもあり
  • 22. SQSを利用して、ジョブ制御 • 複数台のEC2をコントロールするのは、面倒くさい • EC2内のプログラムは、SQSから指令を受けるよう作る • キューをコントロールすることで、EC2を操作できる
  • 23. 注意点
  • 24. 巡回先サイトに配慮する • 1秒ルール • 同一サイトを対象にする場合は、多重度をあげない • Robots.txtの尊重 • 動的サイトの場合は、特に注意 　（動的サイトで中小システムであれば、秒あたりの処理件数は20～30件くらい）
  • 25. まとめ ! ‣ AWSは、個人でも使える ‣ クローラー作成／スクレイピングとの相性よし ‣ 取得先サイトに迷惑をかけないように
  • 26. ご清聴ありがとうございました 後日の質問は、@dkfjまで