日本における利用品質メトリクスの過去、現在、そして未来

日本における利用品質メトリクスの過去、現在、そして未来

1. 1. 日本における利用品質メトリクスの 過去、現在、そして未来 2015.10.07 元 ソニー（株） UX測研 NPO法人 人間中心設計推進機構（HCD-Net) 上智大学 非常勤講師 伊藤潤 itojun@measuring-UX.com HCD-Net認定 人間中心設計専門家 ソシオメディア UX戦略フォーラム 2015 Fall メトリクスの探求
2. 2. ITOJUN2015.10.072 自己紹介：Usability に関わり 25年… ビジネス 学ぶ / 教える 啓蒙 ソニー（株） Human Interface Society HCD-Net 1990 1990 ヒューマンインタ フェースラボ 社内異動 1998 主査 任命 1993〜 事例を学会で継続的に発表 2000 2004 クリエイティブセンター 2009 ソフトウェア設計技術 センター 2009 Distinguished Engineer 2002 書籍 ユーザビリティ テスティング執筆 講習会実施 2002〜2010 HI学会理事 2011〜 HI学会評議員 2004年 HCD-Net設立し理事に 2010 2014 退社 2015 UX測研 開業 2010〜 上智大学 非常勤講師 2014 HCDライブラリ3巻執筆 2010年 人間中心設計専門家認定 2015 副理事長 HCD専門資格認定センター長
3. 3. ITOJUN2015.10.073 現場で気づく 要求定義 プロト作成 評価 ①発売された 商品の評価 -どうやって評価する？- Usabilityに関わり25年… をHCDプロセスに当てはめる ISO 9241-210が示す人間中心設計（HCD)プロセス
4. 4. ITOJUN2015.10.074 現場で気づく 要求定義 プロト作成 評価 ②UI基本仕様策定 -こう設計してよ！- ③コンセプト評価＆提案 -こんな価値！- ④ユーザリサーチ -生活のここに着目！- Usabilityに関わり25年… をHCDプロセスに当てはめる ISO 9241-210が示す人間中心設計（HCD)プロセス
5. 5. ITOJUN2015.10.075 現場で気づく 要求定義 プロト作成 評価 ⑤HCD的な商品開発 支える仕組みづくり -全PjがHCD遂行するには？- Usabilityに関わり25年… をHCDプロセスに当てはめる ISO 9241-210が示す人間中心設計（HCD)プロセス
6. 6. ITOJUN2015.10.076 1. 過去 主要な活動を振り返る 2. 現在 今進行中の活動など、ご紹介 3. 未来 決意表明 アジェンダ
7. 7. ITOJUN2015.10.077 1. 過去 2000 2010 2014HMI品質ﾒﾄﾘｸｽ 1999NEM 2001WUS 2006CIF 2008ヒット商品打率 2013品質目標値 2012HMI品質ﾒﾄﾘｸｽ 2008UXスケール 2009UIコール4分類
8. 8. ITOJUN2015.10.078 利用品質とは (SQuaREシリーズ ISO 25010) 特定の利用者の使用する製品が、特定の利用状況において 有効性，生産性，安全性及び満足度に関して特定の目標を達成するための 利用者ニーズを満たす程度 お客様が製品を使うときに感じる品質(利用品質)と、製品品質とは分けて考えること Software Product and System Quality Requirements, Measurement and Evaluation (SQuaRE) 利用品質モデル システム/ソフトウェア製品の品質モデル つながる世界のソフトウェア品質ガイド（IPA 2014）
9. 9. ITOJUN2015.10.079 1999 NEM 鱗原ら(Ueye’s Design)・黒須（放送大学) システムを良く知る開発者と、一般ユーザーとの所要時間比に着目 ・経験則上、4.5倍以上あったら、重篤なユーザビリティ課題が存在 ・ Novice Expert ration Method(NEM) Human Interface Symposium 1999
10. 10. ITOJUN2015.10.0710 2001 WUS 中川ら(IID) 善方ら(富士通) ７つの評価軸で、ウェブサイトの使いやすさ傾向がわかる ・対象サイトについて21項目のアンケートを150名に実施。 ・質問に5段階で回答した結果を、評価軸ごとに得点化 ・ Website Usability Scale (WUS) ①内容の信頼性 ②役立ち感 ③操作のわかりやすさ ④構成のわかりやすさ ⑤見やすさ ⑥反応のよさ ⑦好感度 <http://u-site.jp/hcd-research/methods/wus/>, Human Interface Symposium 2001
11. 11. ITOJUN2015.10.0711 2006 CIF(ANSI NCITS 354-2001) 中野ら(リコー) 尾上ら(インターソフト) 有効性、効率性、満足度でユーザビリティを数値化 ・社内プロセスに定義。競合他社との比較や過去モデルとの比較が可能に ・開発部署と評価部署が、同じ認識のもと議論できるようになった ・ Common Industry Format for Usability Test Reports (CIF) Human Interface Symposium 2006 タスク 達成率 タスク 達成時間
12. 12. ITOJUN2015.10.0712 2006 低コストCIF 松井ら(JVCケンウッド) 有効性、効率性、満足度でユーザビリティを数値化 競合他社との定量的比較を導入可能な低コストで実施することが目標 • 達成時間を最速操作時間で正規化し、認知付加時間 • 達成度は主観評価を用いて、後処理の手間を省く • 満足度を多要素で把握できる Human Interface Symposium 2006 達成確信度
13. 13. ITOJUN2015.10.0713 2008 ヒット商品打率 梅澤(マーケティングコンセプトハウス) 発売商品のヒット率は、数打つから下がる ・ 10年以上継続し企業利益に貢献した商品を成功商品と定義。23社を調査 ・成功商品の定義や判断基準がないなど、本気足りない企業体質を指摘 ・新市場創造型商品に特化する重要性と意識改革の処方箋など記載 ヒット商品打率 梅澤伸嘉 同文館出版（2008）
14. 14. ITOJUN2015.10.0714 2008 UXスケール指標 宇多村ら(富士通デザイン) マグニチュード推定法で数値化、スケール指標も整備 ・全体的なユーザビリティを1次元で把握できるのが特徴 ・既存の様々な商品の使いやすさ用いた指標を整備し開発目標を共有可能に ・利用前の予想と使用後の実感の双方を測定可能 雑誌FUJITSU 2008-11月号 (VOL.59, NO.6)
15. 15. ITOJUN2015.10.0715 2009 UIコール4分類 伊藤潤ら(ソニー＊) ＊当時 製品の使い方問合わせコールを分類、UI要因を抽出し活用促進 ・電話応対しているコミュニケータが分類判断が可能 ・ユーザインタフェースやユーザビリティの知見を得やすい分類 ・特定の製品カテゴリーではなく、製品共通の分類として利用が可能 ・UI設計の各プロセスに関わっている組織や部署に対応付けしやすい分類 Human Interface Symposium 2009
16. 16. ITOJUN2015.10.0716 2012 HMI品質ﾒﾄﾘｸｽ(1) 鱗原ら (Ueye’s Design) 平沢(小樽商大) 製品のUI（HMI)品質を対象にメトリクスを開発 ・製品品質自体の使いやすさを測定するメトリクスを提唱 ・製品のUI品質の診断や開発仕様のチェックが可能になる HCD研究発表会2012 ・画面スクロールなど システム都合の操作を 間接操作と定義。 ・間接操作数の少ない A銀行ATMのUIの方が 使いやすい。
17. 17. ITOJUN2015.10.0717 2013 達成時間の品質目標値を定義 伊藤潤(ソニー＊) ＊当時 品質目標値を定義し、使いやすさの品質管理を全社規模で実施 ・タスク達成時間に着目し、お客様の我慢限界時間を元に品質基準を定義 ・リリース判定基準の一つに、ユーザーテストで測定した達成時間を用いる ・従来からある品質ガバナンスの仕組みが、使いやすさも扱えるようになる ＃SUSも参考値として調査、目標達成状況との相関が高く意義を再認識 HCDベストプラクティスアウォード2014 受賞説明ポスター
18. 18. ITOJUN2015.10.0718 2014 HMI品質ﾒﾄﾘｸｽ(2) 鱗原・山中(Ueye’s Design) 画面のビジュアルデザイン中心に74個開発、開発時に活用 ・開発責任者がHMI品質状況を把握できるようHMI品質メトリクスで数値化 ・総合スコアで全体把握可能、個別評価結果から具体的な問題を把握できる ・開発時にエンジニアが参照/理解しやすいガイドラインを整備 <http://sec.ipa.go.jp/seminar/20140624.html> 画面遷移 操作フロー 機能数/ 情報量 画面 レイアウト 機能の 有無 グラフィック ・文言
19. 19. ITOJUN2015.10.0719 紹介事例を分類する 品質 モデル 製品品質 ー ● ● 利用品質 ● ● ● ー ● ● ● 品質 基準 相対値 ● ● ー ● ● ● 絶対値 ● ー ● ● 2000 2010 2014HMI品質ﾒﾄﾘｸｽ 1999NEM 2001WUS 2006CIF 2008ヒット商品打率 2013品質目標値 2012HMI品質ﾒﾄﾘｸｽ 2008UXスケール 2009UIコール4分類
20. 20. ITOJUN2015.10.0720 2. 現在 1. 利用品質メトリクスSIGの活動紹介 2. 階層構造で考えてみよう 3. 経営指標の向上と、CX/UX改善活動を橋渡すメトリクス
21. 21. ITOJUN2015.10.0721 2.1.1. HCD-Net 研究事業部 利用品質メトリクスSIG SIG活動のゴール ■ゴール：利用品質による競争を促す、ビジネス環境づくり （行政、業界への働きかけ、各企業へフレームワーク提供） １）要求定義とサービス/UIを関連させる ２）開発にダイレクトに使えるメトリクスを作る ・シンプルなメトリクスを目指す（測定環境の想定含む） ・実際に使って貰えるよう現場感覚を大切に ３）経営指標と関係を示せる指標体系を構築 ・投資価値のある活動と示せることを目指す ■留意点 ■2013年発足の３年間Pj 成果を省庁などに報告予定
22. 22. ITOJUN2015.10.0722 2.1.2. メトリクスのレイヤーを５層で定義 経営レイヤー プロダクトレイヤー UI システムレイヤー 経営品質 サービス品質 UI品質 売上 ROI ソフトウエアレイヤー システム品質 ソフトウエア品質 △ × × ○ ○ サービスレイヤー ↓参考事例 連 携 ・バ ト ン 可 能 な メ ト リ ク ス の 抽 出 品質作り込みガイド 上位の３階層が検討対象 利用品質
23. 23. ITOJUN2015.10.0723 2.1.3. 活動体制 以下幹事と本領域に関心ある約60名の登録メンバーが中核 一般からの参加も可能なオープンな体制 ・主査 平沢尚毅（小樽商科大学） ・サービス(体験価値)品質 伊藤潤（人間中心設計推進機構） ・UI品質 山口恒久（株式会社明電舎） ・サービス〜UI ブリッジング 早川誠二(人間中心設計よろず相談) ・経営品質 篠原 稔和 (ソシオメディア株式会社) ・SIG担当事務局 鱗原晴彦 (株式会社U’eyes Design)
24. 24. ITOJUN2015.10.0724 2.1.4. FY2014は多様な活動を実施 ①自主研究 ②ソフトウェア品質③他社事例④先進事例を学ぶ HCD研究会2015 春 発表ポスターより
25. 25. ITOJUN2015.10.0725 2.1.5. FY2015活動状況 政府総務省統計局提供アプリを題材に メトリクス導出のワークショップ3回を実施 ・統計局のタブレット向けGISアプリ 「マップde統計」を題材に選んだ ・非機能要求定義として、UI品質のメトリクスを導出する手法と 階層構造で利用品質メトリクスを捉える考え方を発見 -結果はまとめて年度末に報告- ・第1回：エキスパートレビューを実施し課題出し(7/22） ・第2回：UI品質に関するメトリクスを導出（8/25） ・第3回：UI品質メトリクス＆サービス品質メトリクスを実測 (9/28)
26. 26. ITOJUN2015.10.0726 2.2.1. 階層構造で考えるとは UX/UIと経営指標との関係を示しやすくなることを狙って提案 ・利用品質と構造化シナリオを対応付け ・利用品質の上位に経営指標を配置した階層体系を提案 レイヤー名 メトリクス例 主観 客観 経営指標 ポジティブ ブランド印象 売上、ROI ネガティブ サポートコスト 経営（顧客ロイヤリティ） NPS 利用品質 サービス (体験価値) バリュー SUS アクティビティ 課題達成時間 UI品質 インタラクション フィードバック表 示の応答時間 2015.08.28 SW企業経営者向けUI/UXセミナー（U2System Koria） ; 2015.09.04 UIシンポジウム2015
27. 27. ITOJUN2015.10.0727 参考. 構造化シナリオ Value（価値）-Activity（活動）-Interaction（操作） ３つの異なる層でコトをとらえる 丸善出版 (2012/7/13) Why What How
28. 28. ITOJUN2015.10.0728 参考. 構造化シナリオと利用品質との対応 Value（価値）-Activity（活動）-Interaction（操作）のシナリオ例 ←サービス品質 （体験価値） ↓UI品質
29. 29. ITOJUN2015.10.0729 2.2.2. 事例をあてはめてみる①：ネットサービス対応機器 ネットサービスを気軽に楽しめる（ﾊﾞﾘｭｰ）準備も簡単（ｱｸﾃｨﾋﾞﾃｨ） HCDベストプラクティスアウォード2014 受賞説明ポスター
30. 30. ITOJUN2015.10.0730 2.2.2. 事例をあてはめてみる①：ネットサービス対応機器 ネットサービスを気軽に楽しめる（ﾊﾞﾘｭｰ）準備も簡単（ｱｸﾃｨﾋﾞﾃｨ） レイヤー名 シナリオ メトリクス案 経営指標 ポジティブ 売上 ネガティブ コンタクトセンターへの問い 合わせ不要 市場サポートコスト 経営（顧客ロイヤリティ） 利用品質 サービス品質 (体験価値) バリュー 流行りだした魅力的ネット ワークサービスを楽しめる 利用頻度 アクティビティ 購入後、簡単な設定ですぐ に使える。 楽しみたいときすぐ使える 準備操作所要時間 起動時間 UI品質 インタラクション テレビやラジオ的な操作で わかりやすい 迷った回数
31. 31. ITOJUN2015.10.0731 2.2.3. 事例をあてはめてみる②：炊飯器 比類なくおいしいご飯（ﾊﾞﾘｭｰ）が手際よく（ｱｸﾃｨﾋﾞﾃｨ）炊ける
32. 32. ITOJUN2015.10.0732 2.2.3. 事例をあてはめてみる②：炊飯器(Panasonic) 比類なくおいしいご飯（バリュー）が手際よく（アクティビティ）炊ける
33. 33. ITOJUN2015.10.0733 2.2.3. 事例をあてはめてみる②：炊飯器(Panasonic) 仮説：バリューやアクティビティのメトリクスなら 売上との関連づけが可能になるのではないか? レイヤー名 シナリオ メトリクス案 経営指標 ポジティブ インバウンド需要で 売上3倍 売上 ネガティブ 経営（顧客ロイヤリティ） 利用品質 サービス品質 (体験価値) バリュー 比類なくおいしいご飯が炊 ける 美味しさ指数?（主観) アクティビティ 寝る前にセットしておけば翌 朝には炊けているので 朝時 間が有効に使える ご飯を炊く設定の 操作達成時間 UI品質 インタラクション 蓋が軽いタッチで楽に開け られた 蓋の押下力
34. 34. ITOJUN2015.10.0734 2.2.4. 事例をあてはめてみる③：家計管理アプリ(Intuit) 家計管理計画や確定申告（バリュー）を手間なく（アクティビティ）実現
35. 35. ITOJUN2015.10.0735 2.2.4. 事例をあてはめてみる③：家計管理アプリ(Intuit) 家計管理計画や確定申告（バリュー）を手間なく（アクティビティ）実現 HBR Jan.-Feb. 2015 ; Intuit’s CEO on Building a Design-Driven Company Quicken personal finance software has required users to key in a lot of data. By 2009 Mint had found a great solution to this. …, eliminating data entry and showing you a pie-chart view of your finances in minutes. Now we measure the lag using the phrase “time to pie” —the number of minutes between when you begin using a program and when you get the first payoff.
36. 36. ITOJUN2015.10.0736 2.2.4. 事例をあてはめてみる③：家計管理アプリ(Intuit) 仮説：バリューやアクティビティのメトリクスなら 売上との関連づけが可能になるのではないか? レイヤー名 メトリクス例 経営指標 ポジティブ 売上 ネガティブ 経営（顧客ロイヤリティ）利用品質 サービス (体験価値) バリュー アクティビティ “Time to Pie” 使い始めてからPieチャー ト表示までの操作時間 UI品質 インタラクション HBR Jan.-Feb. 2015 ; Intuit’s CEO on Building a Design-Driven Company
37. 37. ITOJUN2015.10.0737 2.2.5. 過去事例を分類してみよう 経営 ★ ● ロイヤリティ 利 用 品 質 バリュー ● ● ｱｸﾃｲﾋﾞﾃｨ ● ★ ● ★ ｲﾝﾀﾗｸｼｮﾝ ★ ● ★ ★ 2000 2010 2014HMI品質ﾒﾄﾘｸｽ 1999NEM 2001WUS 2006CIF 2008ヒット商品打率 2013品質目標値 2012HMI品質ﾒﾄﾘｸｽ 2008UXスケール 2009UIコール4分類 ●：主観 ★：客観
38. 38. ITOJUN2015.10.0738 2.3. 経営指標と、CX/UX改善を橋渡すメトリクス CX/UX改善活動 コスト⇒経営上必須の投資へと意識改革 経営 ロイヤリティ 利 用 品 質 バリュー ｱｸﾃｲﾋﾞﾃｨ ｲﾝﾀﾗｸｼｮﾝ
39. 39. ITOJUN2015.10.0739 3. 未来 経営層へのUX戦略の重要性啓蒙を UXメトリクス視点で推進 1. 開発手法をさらに進化＆適用範囲や対象の拡張 2. 新しいコミュニティとの共創を目指す 3. 利用品質メトリクスの普及・啓蒙
40. 40. ITOJUN2015.10.0740 3.1.1. 利用品質〜経営指標 橋渡しの仕組みを解明 利用品質向上に投資価値ありと説得できるフレームワーク構築 1. 経営指標と利用品質のメトリクスを関連する/しない事例収集し記述 2. 橋渡しできる/できない理由を分析 3. 橋渡しの仕組みやルールを抽出、説明の説得力をあげる 4. 意識的な制御を実現 レイヤー名 経営指標 ポジティブ ネガティブ 経営（顧客ロイヤリティ） 利用品質 サービス品質 (体験価値) バリュー アクティビティ UI品質 インタラクション
41. 41. ITOJUN2015.10.0741 3.1.2. 使いやすさの数値基準を品質目標以外に拡張 基準設定における３つの考え方… 橋渡し実現のヒント ①品質目標  市場での使いやすさ問題発生を防ぐ  ユーザーの期待値の変化で見直しが必要 ②設計目標  競合と比較してトップを維持・獲得するため  改善効果把握・競合把握のもと継続的な見直しが必要 ③開発目標  新技術採用などで実現、差別化要因としてアピール可能 例：Quicken VS Mint  競合も簡単には追いつけない ①品質目標 ②設計目標 ③開発目標 対象商品での結果 競合商品の結果 user１ user ２ user ３ ユーザーが操作に要する時間⇒ user１ user ２ user ３ User’soperationtime⇒
42. 42. ITOJUN2015.10.0742 3.1.3. 戦略的な基準設定が持つ可能性  利用品質向上の意義を変える ・品質維持の活動は、コスト要因と思われがち ・使いやすさの数値目標ならば、魅力品質まで視野に入ってくる  差別化可能な魅力要員は売上向上につながることが期待できる  魅力品質実現のための投資は意味あることが経営層にも理解できる  競合との数値的、一次元的な比較結果は、経営層にとっても有効  エンジニアが抱く利用品質向上の動機を変える ・質的改善の動機づけの源は、“顧客への共感” なので強くない ・量的改善の動機づけの源は、“技術者/開発者魂”すごく強いし、負けない
43. 43. ITOJUN2015.10.0743 3.2. 新しいコミュニティとの共創を目指す 以下動きと利用品質メトリクスは相性良さそうだが縁がない…  今までユーザーテストでしか測定できなかったメトリクスが自動獲得可能？  UX測定して事業判断するのが当たり前の文化になってきている？ ・アクセス解析やビッグデータ活用 ・LEAN Start Upにおける、データ解析フェーズ ⇒⇒ この機会活用して仲間に入れてください、よろしくお願いします！
44. 44. ITOJUN2015.10.0744 3.3. 利用品質メトリクスの利活用を普及・啓蒙 手法化の目途がたち、教育・共有・実務導入可能な状況に ・HCD-Net利用品質メトリクスSIGでまとめている知財を利用し ワークショップなど実施 ＃教育・啓蒙 ・多くのコミュニティを巻き込み/巻き込まれながら活動を拡げたい ・UX/UI数値化の可能性を信じ、自ら独立開業した動機づけの一つ 実務の場への声掛けをお待ちしております ＃Business [業務内容]
45. 45. ITOJUN2015.10.0745 ありがとうございました 質問やコメントなどお待ちしております 伊藤潤 itojun@measuring-UX.com