Rubyでクローラー作成(mechanize, hpricot)

何度も同じようなプログラムを作成しているような気がしますが、久々のRubyでクローラー作成。なんでこんなに何度も書くのかというと結構チェックしたいサイトが多く、仕事でも頼まれるためです。

今回はきっちりクラスらしく作りました。結構汎用的になっているのではないかと思います。簡単なスクリプトです。
ソースはこれまで通りクリエイティブコモンズで。

#!/usr/bin/ruby -Ks
require 'hpricot'
require 'mechanize'
require 'kconv'
$KCODE = 's'

class Crawler
  def initialize(wait_time, internal, ngwords)
    @agent = WWW::Mechanize.new
    @wait_time = wait_time
    @internal = internal
    @ngwords = ngwords
    @links = []
  end

  def http_connect(url)
    print "OK\n"
    @page = @agent.get(url)
  end

  def crawl(root)
    @page = @agent.get(root)
    @page.links.with.href(%r{}).each{|link|
      if link.href =~ /^http/
        url = link.href
      else
        %r|http://([^/]*)/| =~ root
        url = 'http://' + $1 + '/' + link.href
      end
      @links << url.sub(/#.*$/,'')
    }
    @links.uniq!.delete(root)
    puts @links
    @links.each{|link|
      begin
        print link if $DEBUG
        next unless access_test?(link)
        http_connect(link)
        sleep @wait_time
      rescue => ex
        puts ex.message
      end
    }
  end

 private
  def access_test?(link)
    unless %r|#{@internal}| =~ link
      print "External Link.\n"
      return false
    end
    @ngwords.each{|ng|
      if /#{ng}/ =~ link
        print "NG Word\n"
        return false
      end
    }
    true
  end
end

かなり以下のサイト参考になります。何度も読ませて頂きました。

【参考サイト】

• RubyScraping - FrontPage
• Greenbear Diary - RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize , HikiReload