【エクセルVBAでIE操作】WEBページのテーブル要素を自動で取得する方法

2015/10/21 2016/12/3 Excel・VBA活用術

photo credit: Shinkansen via photopin (license)

みなさん、こんにちは！
JR東日本さんにはかなりお世話になっています、タカハシ(@ntakahashi0505)です。

初心者向けエクセルVBAでIEを操作するシリーズです。今回はだいぶ本格的なWEBスクレイピングをしていきますよ。

前回はこちらの記事で

【エクセルVBAでIE操作】hタグなどの要素をタグ名でGetする

エクセルVBAでIEを操作する初心者向けのシリーズの6回目です。今回はタグ名で要素をゴソっと取得するgetElementsByTagNameの使い方です。様々なHTML要素を簡単に取得できます。

tonari-it.com

getElementsByTagNameを使って、特定のHTML要素をタグ名で取得する方法についてお伝えしました。

今回はこれをさらに応用してWEB上の「表」つまり、テーブル要素を取得していきたいと思います。

なにせ、WEBスクレイピングで欲しいのはデータの場合が圧倒的に多いですよね？そしてそのデータは「表」つまりテーブル要素にまとまっている場合が多いわけです。

その方法を知ってしまえば、WEBスクレイピングはかなり制覇したといっても良いのでは？！

ということで早速いってみましょう！

目次 [閉じる]

1 前回のおさらい
2 HTMLのテーブル要素の仕組み
3 getElementsByTagNameを使ってテーブル内のデータを取得する
4 新幹線の運行状況をイミディエイトウィンドウに出力
5 まとめ
6 連載目次：エクセルVBAをIEを操作してWEBスクレイピング
7 連載目次：データ一覧から請求書を自動で作る

前回のおさらい

前回のプログラムはこちらです。

開いたページのヘッダー要素h1～h3をそれぞれ取得してイミディエイトウィンドウに表示するという内容でした。

Sub testIE2()
 
Dim objIE As InternetExplorer 'IEオブジェクトを準備
Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット
 
objIE.Visible = True 'IEを表示
objIE.navigate "http://tonari-it.com/ie-setting-navigate/" 'IEでURLを開く
 
Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち
 
    DoEvents
 
Loop
 
Dim htmlDoc As HTMLDocument 'HTMLドキュメントオブジェクトを準備
Set htmlDoc = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット
 
Dim colH1, colH2, colH3 As IHTMLElementCollection 'IHTMLエレメントコレクションを準備
Set colH1 = htmlDoc.getElementsByTagName("h1") 'HTMLドキュメント内のh1要素をコレクションとしてGet
Set colH2 = htmlDoc.getElementsByTagName("h2") 'HTMLドキュメント内のh2要素をコレクションとしてGet
Set colH3 = htmlDoc.getElementsByTagName("h3") 'HTMLドキュメント内のh3要素をコレクションとしてGet
 
Dim el As IHTMLElement
 
Debug.Print "■h1"
For Each el In colH1
 
    Debug.Print el.innerText
    
Next el
 
Debug.Print "■h2"
For Each el In colH2
 
    Debug.Print el.innerText
    
Next el
 
Debug.Print "■h3"
For Each el In colH3
 
    Debug.Print el.innerText
    
Next el
 
End Sub

Sub testIE2()

Dim objIE As InternetExplorer 'IEオブジェクトを準備

Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

objIE.Visible = True 'IEを表示

objIE.navigate "http://tonari-it.com/ie-setting-navigate/" 'IEでURLを開く

Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

DoEvents

Loop

Dim htmlDoc As HTMLDocument 'HTMLドキュメントオブジェクトを準備

Set htmlDoc = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット

Dim colH1, colH2, colH3 As IHTMLElementCollection 'IHTMLエレメントコレクションを準備

Set colH1 = htmlDoc.getElementsByTagName("h1") 'HTMLドキュメント内のh1要素をコレクションとしてGet

Set colH2 = htmlDoc.getElementsByTagName("h2") 'HTMLドキュメント内のh2要素をコレクションとしてGet

Set colH3 = htmlDoc.getElementsByTagName("h3") 'HTMLドキュメント内のh3要素をコレクションとしてGet

Dim el As IHTMLElement

Debug.Print "■h1"

For Each el In colH1

Debug.Print el.innerText

Next el

Debug.Print "■h2"

For Each el In colH2

Debug.Print el.innerText

Next el

Debug.Print "■h3"

For Each el In colH3

Debug.Print el.innerText

Next el

End Sub

getElementsByTagNameでタグ名（h1～h3）を指定することで、該当のHTML要素をコレクションとして取得することができます。

今回はgetElementsByTagNameを使用してテーブル要素をガッツリつかんでいきたいと思います。

HTMLのテーブル要素の仕組み

今回はまたJR東日本さんのページにお手伝い頂きます。このページです。

新幹線の運行情報

JR東日本管轄の新幹線の運行状況のお知らせページですが、運行状況はテーブルで表現されています。

現在は全て平常運転ですね。

なんで、東海道新幹線がないんだ！？って思われるかも知れませんが、お察しください。JR東日本の新幹線はこの５本なのです。

さて、この表がHTMLではどのように表現されているかを見てみましょう。Google ChromeでHTMLソースを見る場合は ctrl + u でしたね。

HTMLでの表はテーブルタグ<table>～<table>内に記載をします。

このページにはtableタグは1セットのみなのですが、そのtableタグ内はけっこう色々な要素が含まれていてわりとボリュームがありますね。

よく見ますと

このように、同じような構造のtrという要素が５つ分で成り立っているようです。

１つ目のtr要素の中には、thという要素があって「東北新幹線」、tdという要素の中にさらにimg要素があってそのalt属性に「平常運転」、あと「 」が挟まっているtdという要素がもう一つ。

    <tr>
      
      <th class="text-tit-xlarge">東北新幹線</th>
      <td class="acess_i"><img src="/train_info/img/icon_acess03-01.png" width="160" height="40" alt="平常運転"></td>
      <td colspan="2"> </td>
          
    </tr>

<tr>

<th class="text-tit-xlarge">東北新幹線</th>

</tr>

２つ目以降もその構造は全く同じですね。

実際に表に照らし合わせると

とこのようになっています。つまりテーブル要素は「table>tr>thまたはtd」という入れ子の構造でできあがっているということになります。

それぞれのタグの役割をまとめますと

table：一つの票を定義する。このタグ内行数分のtr要素を記述。
tr：表の横一行を定義する。このタグ内に列数分のthやtd要素を記述。Table Rowの略。
th：表の見出しセルを定義する。このタグ内に見出しのテキストなどを記述。Table Headerの略。
td：表の値セルを定義する。このタグ内にテキストや数字などを記述。Table Dataの略。

です。WEBスクレイピングする場合はこれらのタグの役割をよーく理解する必要がありますので、バシっと覚えてしまいましょう。

getElementsByTagNameを使ってテーブル内のデータを取得する

これでテーブルの構造は把握できましたので、エクセルVBAでそれぞれの要素を取得していきましょう。

この表は新幹線名、運行状況、詳細という３つの列で成り立っています。

ですから、5つあるtr要素それぞれについて

新幹線名：th要素のテキスト
運行状況：1つ目のtd要素の中のimg要素のalt属性
詳細：2つ目のtd要素のテキスト

を取得すればよいということになります。

For Each～Nextで取得したtr要素全てについて繰り返す

プログラムの流れとしては、このページ全体のHTMLドキュメントからtrタグをコレクションとして取得して、そのコレクション内のtr要素一つ一つについて繰り返す、という流れになりますから

Dim colTR As IHTMLElementCollection 'IHTMLエレメントコレクションを準備
Set colTR = htmlDoc.getElementsByTagName("tr") 'HTMLドキュメント内のtr要素をコレクションとしてGet

Dim el As IHTMLElement
For Each el In colTR

    'el内の新幹線名、運行状況、詳細を取得する処理

Next el

Dim colTR As IHTMLElementCollection 'IHTMLエレメントコレクションを準備

Set colTR = htmlDoc.getElementsByTagName("tr") 'HTMLドキュメント内のtr要素をコレクションとしてGet

Dim el As IHTMLElement

For Each el In colTR

'el内の新幹線名、運行状況、詳細を取得する処理

Next el

というFor Each～Nextの繰り返し処理になります。

th要素をコレクションとして取得しその中のテキストを取り出す

tr要素それぞれについて、各要素を取り出していきます。

まず新幹線名ですが、thタグの中にあります。

手順としては

tr要素の中からth要素をコレクションとして取得
その1番目のth要素（といっても要素数は1つしかありませんが）からテキストを取り出す

という手順になります。

thコレクションを格納するオブジェクト変数をcolTHとします。要素内のテキストを取得するにはinnerTextを使いますから

Set colTH = el.getElementsByTagName("th")
Debug.Print colTH(0).innerText

1 2	Set colTH = el.getElementsByTagName("th") Debug.Print colTH(0).innerText

とすればOKです。コレクション内の要素には登場順に0から採番されますから、colTH(0)はコレクションcolTHの1番目の要素という意味でしたね。

これで新幹線名はGet完了です。

td要素をコレクションとして取得してimgタグのalt属性を取り出す

次が少し難しそうですね。

先ほどの例を参考にすると手順としては

tr要素の中からtd要素をコレクションとして取得
その1番目の要素からimg要素をコレクションとして取得
取得したimg要素からalt属性を取得

としても良いのですが、実は

tr要素の中からimg要素をコレクションとして取得
その1番目のimg要素（といっても要素数は1つしかありませんが）からalt属性を取り出す

というように、わざわざtdをつかまなくてもその下のimgを直接取りに行っちゃってもOKです。

imgコレクションを格納するオブジェクト変数をcolImgとします。要素内の属性を取得するにはそのまま属性名altで取り出せますから

Set colImg = el.getElementsByTagName("img")
Debug.Print colImg(0).alt

1 2	Set colImg = el.getElementsByTagName("img") Debug.Print colImg(0).alt

とします。これで運行状況も取得できました。

td要素をコレクションとして取得してその2番目の要素のテキストを取り出す

運行状況が正常ですと詳細が全く表示されないのでつまらないと言えばつまらないのですが、平和で何よりです。

何も表示はされていないのですがHTMLソース内には「&nbsp」と記載されています。これは何かと言いますと「半角スペース」なのですが、実はいわゆる普通の半角スペースとは異なる特別な半角スペースなんですって。

今回に限ってはそんなにプログラムに影響があるわけではないので、特に気にせずに進めますね。

で、この詳細情報の取得に関しては、これまでの例に倣えば簡単ですね。

手順としては

tr要素の中からtd要素をコレクションとして取得
その2番目のtd要素からテキストを取り出す

という手順になります。

tdコレクションを格納するオブジェクト変数をcolTDとしますと

Set colTD = el.getElementsByTagName("td")
Debug.Print colTD(1).innerText

1 2	Set colTD = el.getElementsByTagName("td") Debug.Print colTD(1).innerText

とすればOKですね。コレクション要素は0から採番されますから、2番目の要素が欲しいときはcolTD(1)で取得できます。

新幹線の運行状況をイミディエイトウィンドウに出力

以上をまとめますと、こんなプログラムになります。

Sub testIE3()

'Dim ws As Worksheet 'ワークシートオブジェクトを準備
'Set ws = ActiveWorkbook.Worksheets(1) 'Sheet1をセット

Dim objIE As InternetExplorer 'IEオブジェクトを準備
Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

objIE.Visible = True 'IEを表示
objIE.navigate "http://traininfo.jreast.co.jp/train_info/shinkansen.aspx" 'IEでURLを開く

Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

    DoEvents

Loop

Dim htmlDoc As HTMLDocument 'HTMLドキュメントオブジェクトを準備
Set htmlDoc = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット

Dim colTR, colTH, colTD, colImg As IHTMLElementCollection 'IHTMLエレメントコレクションを準備
Set colTR = htmlDoc.getElementsByTagName("tr") 'HTMLドキュメント内のtr要素をコレクションとしてGet

Dim el As IHTMLElement
For Each el In colTR
    
    Set colTH = el.getElementsByTagName("th")
    Set colTD = el.getElementsByTagName("td")
    Set colImg = el.getElementsByTagName("img")
    
    Debug.Print colTH(0).innerText & "|" & colImg(0).alt & "|" & colTD(1).innerText

Next el

End Sub

Sub testIE3()

'Dim ws As Worksheet 'ワークシートオブジェクトを準備

'Set ws = ActiveWorkbook.Worksheets(1) 'Sheet1をセット

Dim objIE As InternetExplorer 'IEオブジェクトを準備

Set objIE = CreateObject("Internetexplorer.Application") '新しいIEオブジェクトを作成してセット

objIE.Visible = True 'IEを表示

objIE.navigate "http://traininfo.jreast.co.jp/train_info/shinkansen.aspx" 'IEでURLを開く

Do While objIE.Busy = True Or objIE.readyState < READYSTATE_COMPLETE '読み込み待ち

DoEvents

Loop

Dim htmlDoc As HTMLDocument 'HTMLドキュメントオブジェクトを準備

Set htmlDoc = objIE.document 'objIEで読み込まれているHTMLドキュメントをセット

Dim colTR, colTH, colTD, colImg As IHTMLElementCollection 'IHTMLエレメントコレクションを準備

Set colTR = htmlDoc.getElementsByTagName("tr") 'HTMLドキュメント内のtr要素をコレクションとしてGet

Dim el As IHTMLElement

For Each el In colTR

Set colTH = el.getElementsByTagName("th")

Set colTD = el.getElementsByTagName("td")

Set colImg = el.getElementsByTagName("img")

Debug.Print colTH(0).innerText & "|" & colImg(0).alt & "|" & colTD(1).innerText

Next el

End Sub

これを実行すると

とイミディエイトウィンドウに出力されます。なんか、いい感じに役立ちそうになってきました。

まとめ

HTMLでのテーブルの記述の仕組みについて触れつつ、WEB上のテーブル要素内のデータを取得する方法についてお伝えしてきました。

WEBスクレイピングにおいて、テーブル要素内のデータを取得したいというニーズはかなりありますので、今回のテクニックが役立つ機会も多いものと期待しています。

次回以降、さらに凝った取得の仕方についてお伝えできればと思います。

【エクセルVBAでIE操作】IEで検索窓にキーワードを入力して送信する方法

初心者向けエクセルVBAでIEを操作するシリーズです。今回はIEを操作してWEBページ内の検索窓に任意のキーワードを入力して送信する方法をお伝えします。GoogleChromeの検証機能も活用しますよ！

tonari-it.com

どうぞお楽しみに！

連載目次：エクセルVBAをIEを操作してWEBスクレイピング

IEを操作してWEBページのデータを取得して、エクセルのデータとして取り込む、つまりWEBスクレイピングをエクセルVBAで実現します。各種WEBページを課題として様々なデータの取得の仕方を解説していきたいと思います。

連載目次：データ一覧から請求書を自動で作る

お仕事において特定のデータ一覧から必要な情報を抽出するということは頻繁にありうると思います。ここではデータ一覧から請求書を作るということを目標に、実務で使えるスキルをまっすぐに身に着けることを目的としています。

この記事を書いた人
最新の記事

タカハシノリアキ

代表取締役：株式会社プランノーツ

1976年こどもの日生まれ。東京在住。→詳しいプロフィールはコチラ ★お仕事のご依頼・ご相談はお気軽にどうぞ！→お問い合わせはコチラ ★フォロー頂ければ嬉しいです。

a より:

2016-06-10 1:13 PM

確認なのですが。

新幹線の運行状況をイミディエイトウィンドウに出力
以上をまとめますと、こんなプログラムになります。

~

下の行の表示は正常なのでしょうか？

追伸。
VBAの学習にて参考にさせて頂き、非常に助かっています。

返信
- タカハシノリアキより:
  
  2016-06-10 2:57 PM
  
  プログラムの箇所の表示が崩れてしまっていましたね…。
  ご指摘ありがとうございます。
  
  修正を致しました！
  
  返信
a より:

2016-06-10 7:17 PM

迅速なご対応ありがとうございます　m(_ _)m
今後も、VBAの参考にさせて頂きます！！

返信
t より:

2016-06-18 4:44 PM

たいへん　わかりやすく　非常に助かっております。
初歩的なことなのですが、エクセルシートに一覧を書き出すことができず、四苦八苦しております。イミディウインドウに出力されたものをどのようにエクセルシートに書き出すか、ご教授くだされば幸いです。

返信
- タカハシノリアキより:
  
  2016-06-19 10:11 AM
  
  いつもご覧いただきましてありがとうございます。
  
  ご質問の件は、こちらの記事をご参考頂ければと思います。
  https://tonari-it.com/excel-vba-invoice/
  
  またその他お知りになりたいことがあった場合は、以下に記事まとめページを作成しておりますので、合わせてご覧いただければ幸いです。
  
  【保存版】初心者がエクセルVBAを実務で使えるようになるための完全マニュアル
  これを見れば初心者がエクセルVBAをマスターして実務で使えるようになる「まとめ記事」です。皆さんがエクセルVBAを段階を追って身に着けるまでのお供としてマニュアル的にご活用頂ければと思います。
  tonari-it.com
  
  今後も弊ブログをどうそよろしくお願いいたします。
  
  返信
しんかずまより:

2017-06-30 5:13 PM

Set htmlDoc = objIE.document ‘objIEで読み込まれているHTMLドキュメントをセット
「型が一致しません」と表示されます。

返信
- タカハシノリアキより:
  
  2017-07-01 11:20 AM
  
  しんかずまさん
  
  コメントありがとうございます。
  
  そのエラーメッセージはその他の通り、変数の型と代入する値（またはSetするオブジェクト）の型が異なっている場合に出ます。
  変数htmlDocがHTMLDocument型で宣言されているかご確認いただくのが良いかと思います。
  
  返信
  - しんかずまより:
    
    2017-07-01 5:31 PM
    
    タカハシ様
    早速のご回答ありがとうごぜいます。
    ブログに掲載されているサンプルプログラムを実行した結果、「型が一致しません」と出ます。宣言も正しいと思います。
    自作のプログラムで同じ現象が起きましたので、ぐぐってここに辿り着きました。
    1年ほど前は、この書き方でうまく処理できましたが、環境が変わったせいか、うまくいきません。
    書籍も参考にしましたが、書籍のサンプルプログラムで「型が一致しません」とでます。
    現在の環境は、Win7 ACCESS2013 です。
    何かご存知でしたら、ご教授下さい。
    
    返信

前回のおさらい

HTMLのテーブル要素の仕組み

getElementsByTagNameを使ってテーブル内のデータを取得する

For Each～Nextで取得したtr要素全てについて繰り返す

th要素をコレクションとして取得しその中のテキストを取り出す

td要素をコレクションとして取得してimgタグのalt属性を取り出す

td要素をコレクションとして取得してその2番目の要素のテキストを取り出す

新幹線の運行状況をイミディエイトウィンドウに出力

まとめ

連載目次：エクセルVBAをIEを操作してWEBスクレイピング

連載目次：データ一覧から請求書を自動で作る

タカハシノリアキ

最新記事 by タカハシノリアキ (全て見る)

コメント