gzipファイルです。安全を確認の上こちらをタップしダウンロードしてください。

元のURL: https://data.commoncrawl.org:443/crawl-data/CC-MAIN-2016-36/robotstxt.paths.gz
ウェブ魚拓では内容に責任を負いません。