Java URLConnectionクラスを使ってサイトからHTMLを取得（ダウンロード）する

ブラウザは、インターネットのサイトにアクセスして、HTMLや画像等のコンテンツをもらって、表示しています。
ただし、ほとんどの場合、欲しいのは文章だったり、しかも、ページが跨ったりしていると、自分でいちいちアクセスするのは面倒です。
フリーソフト等でも、指定したサイトを回って自動でダウンロードしてくれるWeb巡回ソフトがあったりします。
今回はインターネットのサイトにアクセスして、HTMLを取得してみます。

インターネットのサイトからHTMLを取得するサンプル

「http://www.example.com」のページをUTF-8形式で取得します。
取得したコンテンツ（HTML）は、標準出力してみます。

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;

public class HtmlDownloadTest {
	public static void main(String[] args) {
		try {
			//ダウンロードする対象のURLと文字コード
			String url = "http://www.example.com";
			String charset = "UTF-8";

			//HTMLを取得
			HtmlDownloadTest downloader = new HtmlDownloadTest();
			List<String> contents = downloader.read(url, charset);

			//取得したHTMLを出力
			for(String str : contents) {
				System.out.println(str);
			}
		}catch(Exception e) {
			e.printStackTrace();
		}
	}

	public List<String> read(String url,String charset) throws Exception {
		InputStream is = null;
		InputStreamReader isr = null;
		BufferedReader br = null;
		try {
			URLConnection conn = new URL(url).openConnection();
			is = conn.getInputStream();
			isr = new InputStreamReader(is,charset);
			br = new BufferedReader(isr);

			ArrayList<String> lineList = new ArrayList<String>();
			String line = null;
			while((line = br.readLine()) != null) {
				lineList.add(line);
			}
			return lineList;
		}finally {
			try {
				br.close();
			}catch(Exception e) {
			}
			try {
				isr.close();
			}catch(Exception e) {
			}
			try {
				is.close();
			}catch(Exception e) {
			}
		}
	}
}

import java.io.BufferedReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.net.URL;

import java.net.URLConnection;

import java.util.ArrayList;

import java.util.List;

public class HtmlDownloadTest {

public static void main(String[] args) {

try {

//ダウンロードする対象のURLと文字コード

String url = "http://www.example.com";

String charset = "UTF-8";

//HTMLを取得

HtmlDownloadTest downloader = new HtmlDownloadTest();

List<String> contents = downloader.read(url, charset);

//取得したHTMLを出力

for(String str : contents) {

System.out.println(str);

}

}catch(Exception e) {

e.printStackTrace();

}

public List<String> read(String url,String charset) throws Exception {

InputStream is = null;

InputStreamReader isr = null;

BufferedReader br = null;

try {

URLConnection conn = new URL(url).openConnection();

is = conn.getInputStream();

isr = new InputStreamReader(is,charset);

br = new BufferedReader(isr);

ArrayList<String> lineList = new ArrayList<String>();

String line = null;

while((line = br.readLine()) != null) {

lineList.add(line);

}

return lineList;

}finally {

try {

br.close();

}catch(Exception e) {

}

try {

isr.close();

}catch(Exception e) {

}

try {

is.close();

}catch(Exception e) {

}

実行結果

「http://www.example.com」のページが標準出力されます。

<!doctype html>
<html>
<head>
	<title>Example Domain</title>
	～～（中略）～～
</body>
</html>

<!doctype html>

<html>

<head>

<title>Example Domain</title>

～～（中略）～～

</body>

</html>

サンプルの解説

URLConnectionを使うことで、サイトからの入力ストリームを取得することができます。
このサンプルで取得したHTMLを、ファイルへ保存することで、HTMLをひたすらダウンロードするアプリケーションを作成することができます♪
でも、このサイトはダウンロードせずブラウザで見てくださいｗ

取得したHTMLをファイルへ保存するには・・？

基本的なファイルの読み書き方法は、こちらを見てください。

Java 文字コードを指定して、テキストファイルの入出力を行う

2017.12.31

UTF-8 BOM付きでファイルを書きこむ方法は、こちらを見てください。

Java UTF-8のテキストファイルをBOM付きで作成する

2018.02.26

Java URLConnectionクラスを使ってサイトからHTMLを取得（ダウンロード）する

インターネットのサイトからHTMLを取得するサンプル

実行結果

サンプルの解説

取得したHTMLをファイルへ保存するには・・？

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Java GET/POSTで送られてきたすべてのパラメータを取得する

Java HttpSessionを使って、ユーザー情報を残す

Java HttpSessionのユーザー情報をクリアする

Java Barcode4Jを使って、JANのバーコード画像を作成する

サイト内検索

カテゴリー

インターネットのサイトからHTMLを取得するサンプル

実行結果

サンプルの解説

取得したHTMLをファイルへ保存するには・・？

RECOMMENDこちらの記事も人気です。

Java Base64クラスを使って、文字列のエンコードとデコードを行う

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Java GET/POSTで送られてきたすべてのパラメータを取得する

Java HttpSessionを使って、ユーザー情報を残す

Java HttpSessionのユーザー情報をクリアする

Java Barcode4Jを使って、JANのバーコード画像を作成する

サイト内検索

カテゴリー

タグ