Watson Explorerを使ったテキストマイニング

1. Watson Explorerを使ったテキストマイニング株式会社エクサテクノロジーイノベーション部堀扶 tasuku-hori@exa-corp.co.jp

6. Watson Explorer Watson Explorer(WEX): 2つの製品を融合 • Watson Explorer Foundational Components(Vivisimo) • Watson Explorer Analytical Components (OmniFind/TAKUMI) 2004 OmniFindv8.2 1998 TAKUMI 検索技術分析技術 2007 Vivisimo Velocity 2012 Content Analytics with Enterprise Search V3.0 2015 V11 検索技術 Watson Developer Cloud 概要 ©2016 EXA CORPORATION 6

7. WEX Foundational Components(Vivisimo) • IBMが買収したVivisimo社は「エンタープライズサーチ」の会社 • 買収後InfoSphereというブランドで販売 • 検索機能のカスタマイズ範囲がOmniFindより多い • 自動でインデックスを作成してくれる • Fast Indexing：指定した項目で検索できる • オートコンプリート機能：ユーザ独自の辞書を作成できる • メタデータ活用：XPathで切り出した項目で検索できる • スポットライト機能：特定のキーワード検索された場合のみ表示可能に • Application Builderによる360度ビューアプリの構築が可能 • 360度ビューによる、切り口を固定した分析は可能 Watson APIをコールできる 2012 All Edition/x86-64 2012 R2 All Edition/x86-64 RHEL Server6/x86-64 RHEL Server7/x86-64 概要 ©2016 EXA CORPORATION 7

8. WEX Analytical Components (OmniFind) • 検索機能と分析機能を併せ持つ • テキストマイニングは基本OmniFind側を使う • 分析対象の切り口はVivisimoより柔軟性がある • 日本語文書も分析できる • 分析機能のベース(TAKMI)は和光で開発 • UIも比較的日本人向けの設計 • ソリューションパッケージ追加可能 • エンタープライズ検索コレクション • ソーシャル検索、ドメイン適応検索* • コンテンツ分析コレクション • AlchemyLanguageAPI*、AlchemyVisionAPI、RDFエンティティ抽出,ソーシャル分析、市場分析*、自動車の早期段階での品質障害*、小売店VoC分析*、電気通信事業者VoC分析* *英語のみ 2012 All Edition/x86-64 2012 R2 All Edition/x86-64 RHEL Server7/x86-64/p/z RHEL Server6.4/x86-64/z SLES 12/x86-64/z SLES 11/x86-64/z 6.1/p 7.1/p 概要 ©2016 EXA CORPORATION 8

9. テキストマイニング • 非構造化データから新たな法則性や傾向を導き出すこと • 非構造化データ：文章などの関係モデルで定義できないデータ • 実は方法論や手法はない • 非構造データの形態素解析やN-gramモデルなどの高速検索技術以外明確な手法がない • 業種特化で分析 • 大まかな手法はある（多くが多変量解析の応用） • 対象データの収集 • 単語の分割、同義語の統一や専門用語の辞書化 • KKD(カン・経験・度胸)による仮説を定義 • 仮説を元に複数の切り口を定義、組み合わせて統計化 • 法則性が見つかるまで適当な手順に戻って繰り返す繰り返す概要 ©2016 EXA CORPORATION 9

10. WEXデモ構成 Analytical Components 単一ノード構成 Foundational Components 単一ノード構成 4仮想CPU メモリ:16GB HDD:120GB Windows Server 2012 R2 DC Edition 4仮想CPU メモリ:16GB HDD:120GB Windows Server 2012R2 DC Edition エクサ社内新開発環境 (CloudStack) クライアントPC Tech119 HTML Tech119 HTML インターネット試行テキストマイニングであるため Analytical Componentsノード側を使用 ©2016 EXA CORPORATION 10 社内の技術的な質疑応答メール

12. IBMは何故”Watson”とつけたのか？ • Watson Explorerに搭載されている人工知能はAlchemyのみ • Analytical Componentの好意・非好意分析 • Analytical Componentの英語版のみ一部ソリューションパッケージ • Alchemy は MITライセンスのOpen Sourceバージョンも存在する • Watson Developer Cloudライセンス付きだから？ • そもそも75日間のみまとめ ©2016 EXA CORPORATION 12

13. IBMはWEXを2つのEditionで販売 • Enterprise Edition • Foundational Componentsのみ • $275K • Advanced Edition • Foundational Components + Analytical Components • $500K + 対象データ容量ごと料金(分析の場合は検索の約10倍) まとめテキストマイニングをしたいなら、 Advanced Editionを買わなくてはならない。 ©2016 EXA CORPORATION 13 まさか往年のガンプラの抱き合わせ商法？！

15. “Watson”を冠するIBMプロダクト • Watson Developer Cloud • Watson API、Bluemix上のサービスにもなっている • 日本語化および販売はソフトバンク社より提供 • Watson Analytics • 定形データ中心の分析SaaS、元ネタはCognos • Watson Explorer • Watson Advisors • Engagement Advisor(コンシュルジュ), Discovery Advisor(仮説検証).. • Watson Knowledge Studio • 推論付きの知識ベース • Watson for Oncology • 癌専門医支援（症状から病名予測） • Watson for Clinical Trial Matching • 癌臨床試験適合の可能性を識別汎用的用途特化ソフトウェアジャパン2016 堀が撮影 ※おそらく個別要件に合わせてWatsonをカスタマイズ・学習させて提供まとめ ©2016 EXA CORPORATION 15 Watson IoT Platformなどサイト上に紹介のないプロダクトも.. サイト「IBM Watson」に記載されているプロダクト

16. 推測①『コーパス』作成にWEXを • 金融業コールセンタプロジェクトでは実際にWEXも使用 • 回答率を上げるためのコーパス（学習データ）作成が難しい • 試行を繰り返してよりよいコーパスを導き出す必要がある • 照会用DBや社内情報などからより良いコーパスを作成、適用する • WEXを使ってコーパス作成を支援オペレータ顧客回答問い合わせ問い合わせ (音声自動認識) 確信度の高い順に回答・参考資料リンクを提供終了後に評価を入力（学習データ）照会用DB Watson 保守担当 WEX コーパス適用まとめ ©2016 EXA CORPORATION 16 では、IBMは何故WEXを押していたのか

17. 推測②回答率の高い顧客応対基盤へ • Analytical Componentsのソリューションパッケージ化 • 業種特化したソリューションパッケージとして別売りするのでは • Watson APIではなく個別実装するかもしれない • ソフトバンク社のリソースとは別なのでIBM側のカスタマイズ自由度が高い • Foundational Componentsの360°ビュー機能をコールセンタメンバ向け画面として適用 • 360°ビューによるマッシュアップ開発 • Watson Developer Cloud を継続利用するユーザになってもらい、毎月売上が立つお客様に.. まとめ ©2016 EXA CORPORATION 17 では、IBMは何故WEXを押していたのかコールセンタ

23. Salesforce.comもAI企業を買収 ©2016 EXA CORPORATION 23 まとめ http://japan.zdnet.com/article/35080670/https://www.salesforce.com/blog/2016/06/ai-salesforce-customer-success-platform.html SalesforceもCRM基盤にAIを搭載しようとしている？！

24. まとめ WEXをコグニティブコンピューティングへの『楔』として使う • まず検索、次に分析、使い方が見つかればSI • Watson Explorerをコグニティブなシステムの基盤として使う • コーパスの設計支援に • システムのUIとして • Watson Developer Cloud と連携させる • 過去に成功したユースケースの再販 • カスタム開発中心 • 個別案件ごとにカスタム化したWatson ©2016 EXA CORPORATION 24 まとめくさびのでは

26. イメージマックデータセンサデータシステム構成図:マクドナルド栄養素分析 ©2016 EXA CORPORATION 26 温度・湿度センサ Arduino YUN DHT/PubSubClient MQTT Watson IoT Platform Node-Red Node.js runtime HTML5/CSS3 JDBC Watson Explorer Foundational Component Engine REST Watson Explorer Foundational Component Application Builder HTTP 【参考】360°ビュー RoR runtime おまけ Twitter API REST Cloudant NoSQL REST マックデータ Watson Developer Cloud Mush up! PostgreSQL

27. 参考資料 • 「Watsonとの対話」渡辺謙＋IBM Watson CM動画リンク • 現在も放送中のWatson CMのYoutube動画 • NHKサイエンスZERO「人工知能の大革命!ディープラーニング」動画リンク • ディープラーニングを取り上げたNHKの番組、ただし有料 • Watson Summit2016 A3-1 セッション動画リンク • IBM担当者によるWEX概要紹介動画、資料ファイルを参照したい場合は要ログイン • Creating and Configuring Watson Explorer Application Builder Applications Knowledge Centerリンク • Application Builderをインストールして使う方法が記述、ただし英語 • IBMのWatsonが実戦デビュー、三井住友銀行とみずほ銀行で年明けにも記事リンク • ITProの記事リンクです、無料です ©2016 EXA CORPORATION 27 おまけ

Watson Explorerを使ったテキストマイニング

Hori Tasuku

Watson Explorerを使ったテキストマイニング