Opendata@tokyowebmining

1. オープンデータの現状と未来 1 Saturday, April 18, 15

2. 目次 • オープンデータの概要 • 日本のオープンデータの現状 • オープンデータの模範的あり方 • 日本はどうすれば… 2 Saturday, April 18, 15

3. 作品の一部ではなく全てが、複製のための適正な価格あるいはインターネットによる無償ダウンロードにより提供されてなければなりません。また、作品は、変更可能で便利な形式で提供されなければいけません。 http://opendeﬁnition.org/od/1.1/ja/ オープンの定義 3 Saturday, April 18, 15

4. http://5stardata.info/ja/ OL: Open Licence RE: machine REadable OF: Open Format URI: RDF Standard (Indentifeied Resource) LD: Linked RDF オープンデータの形式 4 Saturday, April 18, 15

5. データライフサイクル 5 Saturday, April 18, 15

6. データライフサイクル未集計 5 Saturday, April 18, 15

7. データライフサイクル未集計集計済 5 Saturday, April 18, 15

8. データライフサイクル未集計集計済インサイト 5 Saturday, April 18, 15

9. データライフサイクル未集計集計済インサイト 5 Saturday, April 18, 15

10. データライフサイクル未集計集計済インサイト - POS - サービスログ * サーバーログ * アドログ * 検索ログ - センサデータ * 気象 * 震度 * GIS… - マーケットデータ * 証券取引所，FX… 5 Saturday, April 18, 15

11. データライフサイクル未集計集計済インサイト - POS - サービスログ * サーバーログ * アドログ * 検索ログ - センサデータ * 気象 * 震度 * GIS… - マーケットデータ * 証券取引所，FX… ETL 5 Saturday, April 18, 15

12. データライフサイクル未集計集計済インサイト ETL 5 Saturday, April 18, 15

13. データライフサイクル未集計集計済インサイト Extract/Transform/Load ETL 5 Saturday, April 18, 15

14. データライフサイクル未集計集計済インサイト Extract/Transform/Load - Hadoop (HDFS+YARN) - tez - spark - prestdb - impala - MPPDB - teradata - netiza - vertica - paraccel - redshift - ETLサービス - TresureData - BigQuery ETL 5 Saturday, April 18, 15

17. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 5 Saturday, April 18, 15

18. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 統計 5 Saturday, April 18, 15

19. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 統計可視化 5 Saturday, April 18, 15

20. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 統計可視化レポート 5 Saturday, April 18, 15

21. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 統計可視化レポート 5 Saturday, April 18, 15

22. データライフサイクル未集計集計済インサイト Extract/Transform/Load MLETL 統計可視化レポートオープンデータ 5 Saturday, April 18, 15

23. open closed 官公国官公地方民間営利民間非営利時系列 GIS 分布主要その他今回の対象データ 6 Saturday, April 18, 15

24. ゆきゆきてオープンデータ的な http://www.kantei.go.jp/jp/singi/it2/densi/dai4/sankou8.pdf G8オープンデータ憲章電子行政オープンデータ戦略 http://www.kantei.go.jp/jp/singi/it2/pdf/120704_siryou2.pdf 世界最先端 IT 国家創造宣言 http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf 7 Saturday, April 18, 15

25. ゆきゆきてオープンデータ的な http://www.kantei.go.jp/jp/singi/it2/densi/dai4/sankou8.pdf G8オープンデータ憲章電子行政オープンデータ戦略 http://www.kantei.go.jp/jp/singi/it2/pdf/120704_siryou2.pdf 世界最先端 IT 国家創造宣言 http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf 政府自ら積極的に公共データを公開すること機械判読可能な形式で公開すること営利目的、非営利目的を問わず活用を促進すること取組可能な公共データから速やかに公開等の具体的な取組に着手し、成果を確実に蓄積していくこと 7 Saturday, April 18, 15

27. ゆきゆきてオープンデータ的な http://www.kantei.go.jp/jp/singi/it2/densi/dai4/sankou8.pdf G8オープンデータ憲章電子行政オープンデータ戦略 http://www.kantei.go.jp/jp/singi/it2/pdf/120704_siryou2.pdf 世界最先端 IT 国家創造宣言 http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf2014 年度及び 2015 年度の２年間を集中取組期間と位置づけ、 2015 年度末には、他の先進国と同水準の公開内容を実現する。 7 Saturday, April 18, 15

29. Global Open Data Index http://index.okfn.org/place/ 8 Saturday, April 18, 15

30. 例：月例経済報告 9 Saturday, April 18, 15

31. 例：月例経済報告 GDP, 消費総合指数，家計調査，毎月勤労統計，消費者物価指数，労働力調査，日銀短観，鉱工業指数，貿易統計… 9 Saturday, April 18, 15

32. 例：月例経済報告国の施策決定の第一位の根拠 GDP, 消費総合指数，家計調査，毎月勤労統計，消費者物価指数，労働力調査，日銀短観，鉱工業指数，貿易統計… 9 Saturday, April 18, 15

33. 例：月例経済報告国の施策決定の第一位の根拠消費者物価指数 → 年金，家賃，賃金，日銀金融政策.... GDP, 消費総合指数，家計調査，毎月勤労統計，消費者物価指数，労働力調査，日銀短観，鉱工業指数，貿易統計… 9 Saturday, April 18, 15

34. e-Stat 総務省系データカタログ経産省系行政機関各自独自オープンデータの公開先 10 Saturday, April 18, 15

35. 帝京大学藤谷道夫訳 11 OPENDATA INFERNO Saturday, April 18, 15

36. 憂いの国にいかんとするものはわれをくぐれ永劫の呵責に遭わんとするものはわれをくぐれ破滅の人に伍せんとするものはわれをくぐれ正義は高き主を動かし，神意は，最上智は，最初の愛は，われを作るわが前に創られしものは無し，ただ無窮あり，われは無窮に続くものなりわれを過ぎんとするものは一切の望みを捨てよ 12 地獄の門 Saturday, April 18, 15

37. 師よ、私の理解を絶するこのサイトは何ですか？苦しみにかくも打ちのめされているように見えるこのデータはどんなデータなのですか？ 13 打ちのめされたデータ Saturday, April 18, 15

38. 14 E-STAT INFERNO Saturday, April 18, 15

39. 15 検索… Saturday, April 18, 15

40. 15 検索… Saturday, April 18, 15

41. 検索が激遅い… 15 検索… Saturday, April 18, 15

42. 16 ブラウズ… Saturday, April 18, 15

43. 16 ブラウズ… Saturday, April 18, 15

44. ブラウズがおかしい… 16 ブラウズ… Saturday, April 18, 15

45. • Java Strutsによるイニシエの実装 • ブラウズがおかしいのは，アクションサーブレットによるページの動的生成のため • 検索が遅いのは，まともな検索エンジンを使ってないから E-STATの実装 Saturday, April 18, 15

46. 18 E-STAT API Saturday, April 18, 15

47. E-STAT APIの謎コード 19 Saturday, April 18, 15

52. E-STAT APIは… 20 Saturday, April 18, 15

55. E-STAT APIは… 20 e-Stat APIは RDBダンプダウンローダー Saturday, April 18, 15

56. E-STAT APIの致命的欠点 Saturday, April 18, 15

57. E-STAT APIの致命的欠点 • e-StatにあるほとんどのデータがAPIからとれない Saturday, April 18, 15

58. E-STATの致命的欠点 22 Saturday, April 18, 15

62. そもそも，e-Statにない重要経済統計がありすぎ E-STATの致命的欠点 22 Saturday, April 18, 15

63. DATACATALOG INFERNO Saturday, April 18, 15

64. DC: 登録されているデータが… Saturday, April 18, 15

65. DC: 本質 Saturday, April 18, 15

66. DC: 本質 • データカタログサイトの基本はファイルリポジトリ • 乱雑なものを乱雑なまま Saturday, April 18, 15

67. DC: 実装 • PythonのDMSであるCKANを利用 • data.gov/data.gov.ukのコピー • CKANというよりG-CAN(Garbge Can)に… Saturday, April 18, 15

68. 27 EXCEL INFERNO Saturday, April 18, 15

69. 27 EXCEL INFERNO Saturday, April 18, 15

70. EXCEL INFERNO-1 28 Saturday, April 18, 15

77. • オープンデータを配布する仕組みがまずい • すぐに使えるデータを公開しない • 統計の観測のやり方にいろいろ問題 J-OPENDATA INFERNO Saturday, April 18, 15

78. WORLD BANK DATA Saturday, April 18, 15

79. • Indicators - Countries の時系列 • GDP, 失業率, 起業率, 死亡率, 有病率, 教育参加率 • 大陸別，国別 WORLD BANK DATAの属性 Saturday, April 18, 15

80. WORLDBANK • 強力なデータブラウザ • 合理的なREST API • API Query Explorer • 数多くの3rd Party SDK / アプリケーション Saturday, April 18, 15

81. QUANDLE Saturday, April 18, 15

82. オープンデータの正しい出し方 • API • API First • GET/POST/PUT/DELETEが合理的 • キレイなURL • API Query Explorer / SDK • 網羅的にデータを探索できるデータブラウザ 35 Saturday, April 18, 15

83. じゃあ，具体的に… どうすれば… 36 Saturday, April 18, 15

Opendata@tokyowebmining

Yuta Kashino

Transcript