アジャイルメトリクス実践ガイド

アジャイルメトリクス実践ガイド

1. 1. 伊藤 宏幸 アジャイル メトリクス 実践ガイド 2017年1月6日2017年01月12日
2. 2. 自己紹介 2 伊藤 宏幸（The Hiro） @hageyahhoo ヤフー株式会社 • アジャイルコーチ • 自動化コーチ • 黒帯（アジャイル開発プロセス）
3. 3. 3 昨今の アジャイル界における メトリクスの動向
4. 4. RSGT 2016 4 僕らのおれおれメトリクス / We metrics in our own way! https://regionalscrumgatheringrtoky2016.sched.org/ スクラムとメトリクスとテストを活用する チームの事例 Technology-Driven Development
5. 5. Agile2016 5 Measuring DevOps: the Key Metrics that Matter https://agile2016.sched.org/ Pin the Tail on the Metric Virtuous Metrics - Most metrics are the devil. Be an angel. Start Your Engines! Accelerating DevOps Performance using Lean Metrics Data Driven Coaching - Safely turning team data into coaching insights
6. 6. 海外のアジャイル普及状況調査 6 VersionOne Scrum Alliance 「どんなメトリクスを取っていますか？」 という質問が普通にある！
7. 7. 7 アジャイルの文脈において、 メトリクスの取得・活用は、 もはや一般的なことと なりつつある。
8. 8. 8 世界の最新の メトリクスの動向
9. 9. （例）DevOpsのメトリクス 9 開発・CI QA デプロイ リリース 運用 開発の リード・タイム 非稼働時間 デプロイの リード・タイム リリース頻度 MTTR 欠陥・ビルド失敗・シス テムダウンに 伴う再作業 検出・見逃した欠陥の 割合、および 欠陥の影響度合い デプロイ頻度と かかる時間 リリース毎の 時間とコストの割合 システムダウン時の コストと頻度の割合 非稼働時間 MTTD (検知にかかる時間) （システム）変更の 成功率 （リリース成功の） 予測可能性 営業時間後の 緊急呼び出しの頻度 進行中の作業と 技術負債 MTTR 性能と利用時間の 割合 サイクル・タイム Wallgren Anders, Measuring DevOps: the Key Metrics that Matter, Agile2016
10. 10. （例）DevOpsのメトリクス 10 開発・CI QA デプロイ リリース 運用 開発の リード・タイム 非稼働時間 デプロイの リード・タイム リリース頻度 MTTR 欠陥・ビルド失敗・シス テムダウンに 伴う再作業 検出・見逃した欠陥の 割合、および 欠陥の影響度合い デプロイ頻度と かかる時間 リリース毎の 時間とコストの割合 システムダウン時の コストと頻度の割合 非稼働時間 MTTD (検知にかかる時間) （システム）変更の 成功率 （リリース成功の） 予測可能性 営業時間後の 緊急呼び出しの頻度 進行中の作業と 技術負債 MTTR 性能と利用時間の 割合 サイクル・タイム Wallgren Anders, Measuring DevOps: the Key Metrics that Matter, Agile2016
11. 11. メトリクスの改善策 11 開発・CI QA デプロイ リリース 運用 Trunkベースの開発・ Git-flow テスト自動化 全てを自動化すること リリースパイプライン をモデル化し、再利用 性・予測可能性・見える 化を保証すること すべての成果物を バージョン管理する こと 環境構築の セルフサービス形式の 自動化 本番環境に合致した テスト環境を 構築すること 最初のデプロイは 本番環境に対しては 行わないこと ツール・プロセス・ 環境の全てを 合致させること システムと アプリケーションの ヘルスチェック *-as-code 環境構築の セルフサービス形式の 自動化 継続的デリバリー によるデプロイ頻度・ 信頼性の改善 見える化 環境構築の セルフサービス形式の 自動化 品質の作り込み 継続的デリバリー （CD） 成果物を バージョン管理する こと 運営費・設備投資を 抑えるために、共有 インフラを使うこと セキュリティの 作り込み *-as-code Wallgren Anders, Measuring DevOps: the Key Metrics that Matter, Agile2016
12. 12. メトリクスの改善策 12 開発・CI QA デプロイ リリース 運用 Trunkベースの開発・ Git-flow テスト自動化 全てを自動化すること リリースパイプライン をモデル化し、再利用 性・予測可能性・見える 化を保証すること すべての成果物を バージョン管理する こと 環境構築の セルフサービス形式の 自動化 本番環境に合致した テスト環境を 構築すること 最初のデプロイは 本番環境に対しては 行わないこと ツール・プロセス・ 環境の全てを 合致させること システムと アプリケーションの ヘルスチェック *-as-code 環境構築の セルフサービス形式の 自動化 継続的デリバリー によるデプロイ頻度・ 信頼性の改善 見える化 環境構築の セルフサービス形式の 自動化 品質の作り込み 継続的デリバリー （CD） 成果物を バージョン管理する こと 運営費・設備投資を 抑えるために、共有 インフラを使うこと セキュリティの 作り込み *-as-code Wallgren Anders, Measuring DevOps: the Key Metrics that Matter, Agile2016
13. 13. 13 メトリクスとアクションの 共通化・標準化が進み、 プラクティスとして 一般化しつつある。
14. 14. 14 皆さんは、 メトリクスを 活用できていますか？ さて、
15. 15. よくある質問 15 • メトリクスって何？ • メトリクスの取り方がよく分からない • 何をどう取れば良いのか？ • 実務でどう活用すれば良いのか？ 写真：アフロ
16. 16. 今回のテーマ 16 • メトリクスとは何か？ • プロダクト開発で必要なメトリクスとは？ • メトリクスをどうやって活用すべきか？ 写真：アフロ
17. 17. アジェンダ 17 1. メトリクスの基礎 2. プロダクト開発の現場で必要なメトリクス 3. メトリクスの実践的活用法 4. 結論
18. 18. 1. メトリクスの基礎
19. 19. http://e-words.jp/w/%E3%83%A1%E3%83%88%E3%83%AA%E3%82%AF%E3%82%B9.html メトリクスとは何か？ 19 ソフトウェア開発で、ソースコードの品質を 数値化して定量的に評価することや、 その際の評価手法や基準などの体系のことを 「ソフトウェアメトリクス」という。 写真：アフロ
20. 20. 理論的背景 20 Empirical Software Engineering （経験的ソフトウェア工学） • 2005年頃に興った学問。 • メールの件名・宛先などから、 メトリクスの取得を行う。 写真：アフロ
21. 21. 「経験的」とは？ 21 仮説設定と検証を繰り返すことにより、 課題と改善策を自力で徐々に見つけていくこと を指す。 経験主義とは、すなわち仮説検証と改善である。 アジャイルやスクラムは、 この経験主義的アプローチの側面が強い。
22. 22. 22 測定できないものは 制御できない。 by トム・デマルコ
23. 23. 23 取得のポイント & 活用のポイント
24. 24. 24 1) 取得のポイント
25. 25. 基本：事実をベースとする 25 野中『「精密に誤るよりも、漠然と正しくありたい」ためのソフトウェアメトリクス活用法』SQiP2016 写真：アフロ
26. 26. 「厳密性」よりも「有用性」を 26 「精密に誤るよりも、漠然と正しくありたい」 “I’d rather be vaguely right than precisely wrong.” by ジョン・メイナード・ケインズ メトリクスが事実に基づいている必要はあるが 厳密である必要はない。 → 意思決定の役に立つ、 「漠然と正しい」情報を集めているか？ 野中『「精密に誤るよりも、漠然と正しくありたい」ためのソフトウェアメトリクス活用法』SQiP2016
27. 27. 基本メトリクスと導出メトリクス(1) 27 導出メトリクス： 複数の基本メトリクスを組み合わせたもの 基本メトリクスのみでは、 有益な情報を得られないことが多い。 複数の基本メトリクスを組み合わせることで、 本当の課題に焦点を当てる。 野中『「精密に誤るよりも、漠然と正しくありたい」ためのソフトウェアメトリクス活用法』SQiP2016
28. 28. 基本メトリクスと導出メトリクス(2) 28 （例）リリースした機能数 機能数の背景にある意味・効果・課題は？ 以下のような指標も合わせて取得・分析する。 （＝導出メトリクス） • 機能ごとの利用者数 • 機能ごとの売り上げ • 新規利用者の増加数
29. 29. 29 2) 活用のポイント
30. 30. ポイント 30 • 考えることのプラスになる情報を得る。 • 現状の問題はどこにあるのか？ • 改善施策の成果はどうだったか？ • 数値の変化に意味を見い出す。 • 変化が見える情報であれば、 役に立ちうるということ。 • データをもとに、アクションを考える。 • データがあると、話が早い。 • 特に自分たちのデータとなると、 より効果がある。
31. 31. 適切なものがなければ創ろう 31 基本的に仮説検証に活用するため、 従来にないものを創造して使うことが多くなる。 写真：アフロ
32. 32. 「時間」を絡めて考えてみよう 32 • 「回転率」など、生産管理の考え方に近い 情報を出せるようになる。 • 経営層には、生産管理の話が通じやすいので、 結果として協力を得て施策を進めやすくなる。 写真：アフロ
33. 33. メトリクスの取得・活用手順 33 • メトリクスを仕込む。 • 数値の変化から、問題を見つける。 • メトリクスをもとに、アクションを取る。 • アクションを取った後の数値の変化を見る。 • 上記を繰り返す。 写真：アフロ
34. 34. 2. プロダクト開発の 現場で必要な メトリクス
35. 35. この章のポイント 35 • POにとって必要な メトリクス • SM・開発チームに とって必要な メトリクス
36. 36. プロダクトオーナーの定義 36 プロダクトオーナーは、 開発チームの作業と プロダクトの価値の最大化 に責任を持つ。 （『スクラムガイド』5ページ） http://www.scrumguides.org/docs/scrumguide/v2016/2016-Scrum- Guide-Japanese.pdf
37. 37. スクラムマスターの定義 37 スクラムマスターは、 スクラムの理解と成立 に責任を持つ。 （『スクラムガイド』6ページ） http://www.scrumguides.org/docs/scrumguide/v2016/2016-Scrum- Guide-Japanese.pdf
38. 38. メトリクスの種類 38 • プロセスメトリクス • プロダクトメトリクス 野中『「精密に誤るよりも、漠然と正しくありたい」ためのソフトウェアメトリクス活用法』SQiP2016
39. 39. プロセスメトリクス 39 開発作業などのプロセスから 取得するメトリクス 【具体的な計測対象】 • 時間 • 工数 • イベント（開発中のバグ発見数など）
40. 40. プロダクトメトリクス 40 プロダクトそのものから 取得するメトリクス 【具体例】 • プロダクトの改修のしやすさ • プロダクトのバグの量（品質） • プロダクトが提供できる「体験」
41. 41. 役割とメトリクスの相関 41 • PO • プロセスメトリクス • プロダクトメトリクス • SM・開発チーム • プロセスメトリクス
42. 42. 42 ステークホルダー マネジメントと メトリクス さらに押えておきたいポイント
43. 43. ステークホルダーをめぐる課題 43 • 必要な時に、必要な意思決定が得られない • そもそも必要な時に話せない • プロダクト開発に協力してくれない • プロダクト開発に横槍を入れてくる 写真：アフロ
44. 44. 44 プロダクト開発を成功させるためには、 ステークホルダーマネジメントは不可欠。 そこでメトリクスが役に立つ。 写真：アフロ
45. 45. 具体的な事例 45 スマホアプリの新規開発 • 既存プロダクトで流用できるものがあった。 • テスト自動化は実施していない。 • CI/CDも実施していない。 • プロダクト開発チームと、 チーム外のステークホルダーとがバラバラで、 一体感がない。
46. 46. アクション実施前 46 13.5h/週 回帰テスト・設定 3回/週 機能追加／修正頻度 4.0h*3回 回帰テスト実行時間 0.5h*3回 端末設定時間
47. 47. 実施したアクション 47 1. プログラムの追加・修正の 有無をチェックする 3. メンバー・ステークホルダーの端末に、最新 版アプリを自動的にインストールする 2. 以下を実施する • コンパイル • ビルド • 単体テスト
48. 48. アクション実施後 48 15min/週 回帰テスト・設定 3回/週 機能追加／修正頻度 3min*3回 回帰テスト実行時間 2min*3回 端末設定時間
49. 49. アクション実施前 49 13.5h/週 回帰テスト・設定 3回/週 機能追加／修正頻度 4.0h*3回 回帰テスト実行時間 0.5h*3回 端末設定時間
50. 50. ステークホルダーの反応 50 自動化ってすごくいいね！ 他にも時間がかかっているところを、 もっと自動化しちゃってください！ 写真：アフロ
51. 51. ふりかえり 51 • 時間がかかっているところを計測して 見つけ出し、そこに改善を施した。 • テスト自動化 • CI/CD • かゆいところに手を届けた。 • 最新版アプリの自動インストール • チーム内外全員のプラスになるアクションを実施 した。
52. 52. メトリクスのポイント 52 • ステークホルダーが欲するモノを 見つけやすくなる。 → 欲するモノを提供しやすくなる。 • プロダクト開発チームとステークホルダー との距離を縮められる。 → お互いの協働につながる。 • ステークホルダーからの評価が高くなる。
53. 53. 53 メトリクスで 「仲間」になろう！ 写真：アフロ ステークホルダーとメトリクス
54. 54. 3. メトリクスの 実践的活用法
55. 55. 55 コードカバレッジの 社内事例
56. 56. （ユニット）テストの自動化を推進するため、 コードカバレッジを取得してみた。 最初のアクション 56 写真：アフロ
57. 57. 数値の変化とその分析例 57 何か問題が 起きている！ →アクション！ テストが 着実に 増えている 伸びが悪い →アクション？
58. 58. 58 順調だと思っていた ある日のこと 写真：アフロ
59. 59. ある日のメンバーからの報告 59 コードカバレッジ60%突破！ もう少しで80%にできます。 ほとんど修正のない、簡単にテストを 追加できるプログラムがあるので、 引き続きここにテストを追加していこうと 思います♪ by 大泉 洋
60. 60. 60 写真：アフロ ちょっと待てやオイコラ！
61. 61. 発覚した問題 61 • テストではなく、コードカバレッジの向上が 目標化してしまっていた • （ユニット）テストの価値が 理解されていないことが分かった 写真：アフロ < そうじゃないー！
62. 62. 何が問題だったか？ 62 • コードカバレッジという 基本メトリクスしか見ていなかったため、 本質的問題を見落としてしまった。 • テスト自動化の目的とメリットに 直結する他のメトリクスを、 メンバーに提供できていなかった。 （アクションを取れていなかった） • コードカバレッジを、 支援先部署の評価基準に 「誤った」形で使われてしまった。
63. 63. 実施したアクション 63 • Pull Requestのレビューコメント数や テストスクリプトの行数の増減など 導出メトリクスを取得するようにした。 • 改めて、（ユニット）テストの自動化の 目的とメリットを説明し、 一連のアクションの理解を促した。 • コードカバレッジを、 評価基準に使わないよう説得した。
64. 64. アクションの効果 64 支援先のテスト自動化への態度が変わってきた。 • コードのレビュー会を、自発的に開始した。 • テストのルールを、 自発的に策定・運用し始めた。 • 他のサービスにもテスト自動化を広げ始めた。 写真：アフロ
65. 65. 次のメトリクス&アクション 65 • コードのレビュー会の効果の計測 • 静的コード解析 • Pull Request の生存期間 • 策定したルールの有効性の計測 • リードタイム • 他サービスのテスト自動化状況の計測 • コードカバレッジなどの導出メトリクス
66. 66. 66 現在も絶賛改善中！ 写真：アフロ
67. 67. 4. 結論
68. 68. 68 アジャイルの文脈において、 メトリクスの取得・活用は、 もはや一般的なことと なりつつある。 アジャイルとメトリクス
69. 69. 69 メトリクスとアクションの 共通化・標準化が進み、 プラクティスとして 一般化しつつある。 世界のメトリクスの動向
70. 70. メトリクスの種類(1) 70 • 基本メトリクス • 導出メトリクス
71. 71. メトリクスの種類(2) 71 • プロセスメトリクス • プロダクトメトリクス
72. 72. （参考）メトリクスの例 (1) 72 機能追加・修正頻度 割り込み率 残タスク数 タスクの完了率 バグの件数 デグレの頻度 テストの実行時間 テスト網羅率
73. 73. （参考）メトリクスの例 (2) 73
74. 74. （参考）メトリクスの取得元 74 • プロジェクト追跡システム（JIRAなど） • ソース管理ツール（GitHubなど） • CI/CDサーバー • アプリケーション監視ツール • BIツール 写真：アフロ
75. 75. （参考）チームとメトリクス 75 メトリクスを計測している組織は、 測定していない組織よりも 自己評価が高いことが裏付けられている。 写真：アフロ 野中『「精密に誤るよりも、漠然と正しくありたい」ためのソフトウェアメトリクス活用法』SQiP2016
76. 76. 問診票 76 • 自身の課題を理解していますか？ • ユーザーの求めるものを理解していますか？ • ユーザーの行動を把握していますか？ • 何を成しているかを把握していますか？ • 自身の成果と価値を把握していますか？ 写真：アフロ
77. 77. （重要！）メトリクスの原則 77 • 計測するものはゴールに直結すべき • ゴールにつなげる戦略を導き出す道具 • 会話を促すものであるべき • 行動につながるものであるべき • 計測するものは少なくすべき • チーム・プロダクトを成長させるために 使用すべき
78. 78. 結論 78 彼を知り己れを知れば 百戦して殆うからず。
79. 79. メトリクスでYeaOh!な現場を 79 Photo by 笹木笹木/ CC BY-SA ３.0