ゲームエンジン開発を支える技術

1. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ゲームエンジン開発を支える技術 CIの使い方とWebサービスの提供株式会社カプコン是松匡亮 / 齊藤俊介

2. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. はじめに •題材 • カプコンで開発を進めている新しいゲームエンジンの開発環境 •新しいゲームエンジンの資料 • 『いまどきのゲーム制作環境』- 市山裕介/是松匡亮 • https://cedil.cesa.or.jp/cedil_sessions/view/1303

3. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIの運用とWEBサービス第一部

4. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 第一部 / アジェンダ •導入 •CIの運用紹介 •見てもらえるCIへ •Webサービスの提供

5. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CI(継続的インテグレーション)の必要性導入

6. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 困っていたこと •出社して仕事を始めようとしたらビルドエラー •ビルドは通るが起動しない •起動するがバグでゲームが始まらないこれらが当たり前のように発生

7. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CI黎明期 •深夜に自動ビルドをするbatを作成 • エラーの検出は1日1回 • 実行テストは行わない • PCは1台のみ •実施前よりもビルドが通りやすくなった

8. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CI黎明期 • 要求 • 日中も頻繁にビルドを行う • 全プラットフォームの全ビルド構成 • 実行テストを行う • テストに合格したものは配布する • ビルド履歴を確認できる • 自作をするには要求が多すぎる

9. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIツール •Jenkinsを採用 • https://jenkins-ci.org/ •採用理由 • プラグインによる機能拡張が容易 • 日本語の情報が入手しやすい • SlideShare, Qiita, ブログ, ... • 当時やりたかったことが簡単にできた

10. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. コミットから配布まで CIの運用紹介

11. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. コミット / 全体像 Repository CIDevelopers

12. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. コミット / リポジトリへの送信 Repository CIDevelopers

13. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. コミット / CIの起床 Repository CIDevelopers

14. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. コミット / 構成 •svnを採用 • post-commitスクリプトを利用することが可能 • gitの場合はpost-updateが適切 •post-commitスクリプトでJenkinsを起床 • 現場で採用しているスクリプトは附録ページにあります wget http://jenkins/job/BuildEngine/buildWithParameters?BRANCH_NAME=trunk

15. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 全体像 Repository CI Developers Server

16. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / ビルドの実行 Repository CI Developers Server

17. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / ビルドの実行 • リポジトリから指定されたブランチをビルド • 開発者と同じ.slnをビルド • 複数台のスレーブPCが並行してビルドを行う • 複数のプラットフォーム • x64, PlatformA, PlatformB, ... • プラットフォームごとにすべての構成 • Debug, DebugOpt, Profile, QA, Ship • タイトルの要請に応じたカスタム構成 • レンダリングモジュールの差し替え, 社外貸出, etc.

18. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い Repository CI Developers Server

19. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 成功時 Repository CI Developers Server

20. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 成功時 •ビルドしたバイナリをNAS上に配置 •バイナリのMD5とリビジョンをサーバーに登録 • バイナリのMD5 とリビジョンの相互参照が可能 • ‘dev’属性としてマーク •テストに移行

21. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 成功時 / 実装 •バイナリのコピーはrobocopy •バイナリのファイルパスや属性は phpで受け口を作り、情報をMongoDBに格納 •phpへの送信はC#のコマンドラインツールを実装 • System.Web.WebClientクラスで10行程度

22. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 失敗時 Repository CI Developers Server

23. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 失敗時 •開発者にエラーを通知 • メールによる通知は廃止 • リアルタイム性を重視 • チャットに流す • Skype for Business, IRC, Slack, ...

24. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ビルド / 結果の取り扱い / 失敗時 / 実装 •エラー監視プロセスをJenkinsのジョブに登録 • 業務時間の開始から終了までの間、毎日実行 • 情報取得はJenkins Remote access APIを利用 • チャットツールへの通知は Lync APIを利用 CI DevelopersWatch dog

25. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 全体像 CI ServerServer Developers

26. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / テストの実行 CI ServerServer Developers

27. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / テストの実行 •事前に定義されている動作テストを実行 • 起動, ゲームの実行, メモリリークテスト • スクリプトビルドの互換性テスト • API変更はObsolete属性による移行期間設置をルール化 •内製テストスイート • エンジンの挙動を非侵入的にテスト • テスト結果はJUnit形式で出力

28. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 結果の取り扱い CI ServerServer Developers

29. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 結果の取り扱い / 成功時 CI ServerServer Developers

30. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 結果の取り扱い / 成功時 •サーバー上の属性を格上げ • ‘dev’から’stable’へ •シンボルサーバーに登録 • .dmpのデバッグ時にローカルシンボルが不要になる • “symstore”で検索 •配信開始

31. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 結果の取り扱い / 失敗時 CI ServerServer Developers

32. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. テスト / 結果の取り扱い / 失敗時 •開発者にエラーを通知 • ビルド失敗時と同様

33. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 配布 / 全体像 Server Users

34. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 配布 •‘ブランチ名+構成+属性’で管理 • ‘trunk__81f16f39_00000000_stable’ •ユーザーはクライアントツールを通じて取得 • 取得する構成はタイトルごとに定義される •参考 • アップデートは1日あたり15回 • trunkへのコミットは20回

35. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. まとめ Repository CI Server UsersDevelopers

36. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 遭遇した問題と解決した方法見てもらえるCIへ

37. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CI導入の先にあったもの •現場の歓迎する声 • 手動のデプロイが不要に • 従来は動作テストとリリースが手動 • エンジンのビルドはエンジンチーム任せ • 従来はタイトル開発者が自席でエンジンをビルド •新たな問題 • チャットに情報を流しても対処されるまでが長い

38. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 観察していてわかったこと •「どこを見たらよいのかわからない」 • 普段のビルドツールとは見た目が違うので戸惑う • “Jenkins”というだけで身構えてしまう人もいる •Jenkinsのページは開いてくれている • 対処が遅いのではなく、失敗理由がわかりづらい •スレーブPCやビルドツールの問題も発生する • 「Jenkinsよくわからない」に拍車を掛けてしまった

39. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの • Jenkins上の情報をまとめたページ • 構成ごとに配布中バージョンビルド中バージョンコミットログを表示

40. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの • Jenkins上の情報をまとめたページ • 構成ごとに配布中バージョンビルド中バージョンコミットログを表示

41. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの / ビルドエラー時 • エラーと警告を表示 • 異常だと一目でわかる • ログをパースして関連する行のみを表示 • 誰にでも理解できる • Visual Studioと同じ

42. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの / テストエラー時 • ビルドエラーと見た目を統一 • よくあるテスト失敗の場合は解決策も提示

43. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの / CIエラー時 • CI側の問題は別枠扱い • 迷わずCI担当者を呼んでもらえるように • CI担当者いなくてもビルドフローをリセット可能 • 時間のロスと引き換え

44. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 出来上がったもの / 実装 •Jenkins の Remote access API を活用 • ほとんどの情報をJSON形式で取得可能 • php で json_decode() するだけ •CIエラーか否かの判定はログのパースで行う •svnコミットログは php 内で参照 • Svn::log()

45. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 得られた効果 •狙い通り • すぐにエラーを直してもらえるようになった •CI担当者としてのメリット • Jenkinsを明確に意識させる必要がなくなった • Jenkins側を複雑なジョブ構成をしても困らない • Jenkins上の様々なデータを集約可能 • ビルドフロー上は関連のないジョブの状態をまとめて表示

46. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. まとめ •Jenkinsの標準UIは万人受けしない • 慣れてもらうまでの時間が長い • シンプルなUIは受け入れられやすい •エラーを放置したい人はいない • できるだけ早くエラー内容を確認できる手段が重要

47. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 欲しい情報へのアクセスを手軽に Webサービスの提供

48. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. Webサービスのススメ •Webサービス化は業務効率を高める • 人の問題 • Webブラウザを立ち上げることに抵抗がない人が多い • デジタルネイティブ世代 • デバイスの問題 • WebはデバイスやOSを選ばない • スマートフォン、タブレット端末、PC •ビルド状態の確認以外にも様々なページを運用

49. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / 動機 •通知メールを後から探すのが大変 • 関係のないメールまで結果に含まれてしまう • 探す人の検索能力に依存する •検索機能をエンジンチームから提供 • 不要な情報が入り込む余地が無い

50. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / Webページ

51. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / Webページ

52. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / 実装 •フォームからPOSTされた内容をメール送信した直後にMongoDBへ登録 •表示と検索には DataTables を採用 • サーバーはMongoDBの格納データを全部返す • Webブラウザ内でフィルタリング • 5,000+件の更新内容でもストレスなく検索可能

53. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / 効果 •概ね好評 • タイトル開発者に多く利用されている •チャットツールで引用されるようになった • 以前：「○○さんがメールを送信されていたような」 • 現在：「http://.../ で報告されていますよ」

54. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 更新情報 / 今後の課題 •SVNとの連携が薄い • 「このリビジョンについては告知がされていない」という問題の検出ができない

55. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュレポート / 動機 •クラッシュ時のメール通知を行っていた • 数十件のメールが毎日のように届く • 同じ箇所でクラッシュしたメールも大量に届く • 過去のクラッシュ情報の検索と追跡が困難 • 修正状況を確認することができない •レポート送信者にフィードバックがない • 「報告したあの件はどうなったのか」

56. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュレポート / Webページ

60. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュレポート / 実装 • メールの代わりにサーバーへ情報をPOST • サーバーはMongoDBに書き込み • 同一案件があればマージ • スタックトレースを比較 • WebページはMongoDBの内容を表示 • 基本は更新情報のページと同じ • 修正状況の更新があれば報告者にメール通知 • 「調査を開始しました」、「修正されました」

61. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュレポート / 効果 •同一案件のマージは非常に強力 • 開発者も修正する気になる • 再発案件の検出も可能に •進捗の通知メールは利用者を安心させる • メール通知の時は送りっぱなしだった • クラッシュレポートを送信するモチベーションに

62. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュレポート / 今後の課題 •案件マージの限界 • 似ている案件をマージすることができない • スレッドごとスタックトレースは異なる • 異なるプラットフォームのマージが困難

63. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. その他 / 動機 •世の中のサービスは便利なものが多い • SlideShare, wandbox, Shadertoy, ... • 社内からアップロードはできない •社内にも欲しい • 開発中エンジンの機能紹介もスライドでやりたい • 異なるコンパイラで挙動を確認したい • シェーダーも書きたい

64. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. その他 / Webページ

67. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. その他 / 効果 •思っていたよりも多くの利用者 • UIに不自由があっても使ってもらえる • アウトプットの場を求めている人が多かった •情報のアウトプットに抵抗感のない人が多い • スマートデバイスとSNSが浸透したことのメリット？ • 純粋に研究を行いたい人にも好評

68. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 第一部のまとめ •CIを導入することで手動作業を廃止 • 安定した環境を利用者に提供 •見てもらえるCIは専用のWebページから • Jenkinsの情報を開発者フレンドリーな形へ •社内Webサービスでやりたいことを形にする • 開発者のアウトプットしたい気持ちを無駄にしない

69. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジン採用タイトルをサポートするCI 第二部

70. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. アジェンダ 1.複数構成のデプロイ 2.エンジンに依存するツールの自動更新 3.CIマシンでのダンプ解析 4.自動プロファイル 5.エンジン開発者と利用者のビルドエラーフロー

71. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 複数構成のデプロイ CIの運用紹介

72. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 基本のCIビルドパイプラインのおさらいエンジン開発者 CI Build Test エンジン利用者トランクにコミットエンジン配布

73. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 複数構成の必要性 CI Build Test エンジン利用者A 全部の機能が入ったマスターのエンジンが欲しいエンジン利用者B XXXミドルウェアはいらないから除外して欲しいエンジン利用者C セキュリティの都合でネットワーク系の機能を全て除外して欲しい

74. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ブランチでの提供エンジン利用者A 全部の機能が入ったマスターのエンジンが欲しいエンジン利用者B XXXミドルウェアはいらないから除外して欲しいエンジン利用者C セキュリティの都合でネットワーク系の機能を全て除外して欲しい CI Build Test エンジン開発者トランクコミット各ブランチコミット

75. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIでの提供エンジン利用者A 全部の機能が入ったマスターのエンジンが欲しいエンジン利用者B XXXミドルウェアはいらないから除外して欲しいエンジン利用者C セキュリティの都合でネットワーク系の機能を全て除外して欲しい CI Build Testエンジン開発者各構成用の変更を加え、各構成の数だけエンジンを生成トランクコミット

76. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 複数構成デプロイの主な処理 1. 必要な構成設定を作成 2. コミット時に構成の数だけCIのジョブを発行 3. 各CIジョブの最初でワークスペースのデータに対して構成設定の適応 4. 各CIジョブは各構成のエンジンをデプロイ

77. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 構成の切り分け方針 •基本はマクロでの各機能のON・OFF • .h .csproj .batなどのファイルを自動生成 •ソリューションから不要な設定の削除 • .sln .csprojから該当のビルド設定・参照設定を排除

78. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 構成設定の作成ツール

79. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIジョブの発行 CI Build Test Start Job エンジン開発者トランクコミット構成の数だけ下流ジョブを生成 Build Job A Build Job B Build Job C

80. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. デプロイまでのフロー CI Build Test Build Job A 取得した構成を元にソースコードの自動生成設定ファイルから不要な構成の削除 Test Job A エンジン利用者各ユーザーが望む構成でエンジンを配布

81. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジンに依存するツールの自動更新 CIの運用紹介

82. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジンに依存するツールエンジンツールエンジンコードを参照している依存関係にある

83. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. ツールの自動更新エンジン開発者 CI トランクにコミットツール依存しているコードが更新されたら自動的にツールをビルドしてコミット

84. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIマシンでのダンプ解析 CIの運用紹介

85. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. クラッシュ時のフローエンジンクラッシュエンジン開発者スタックトレースなどからクラッシュの概要を作成しサーバーに送信上記の処理に必要なDLL等が存在しない環境でエンジンが使用されることがある

86. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. CIでのダンプ解析エンジンクラッシュエンジン開発者 CI CI上でダンプファイルを解析して結果をJson形式で返すサーバーにダンプファイルをアップロード

87. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 自動プロファイル CIの運用紹介

88. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 多様なエンジン構成プラットフォームA プラットフォームB プラットフォームC Debug Release マスターエンジン XXXミドルウェアなしエンジンシーン A シーン B シーン C ネットワークなしエンジン Master

89. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 早期発見したい問題特定の構成・特定のシーンの処理速度がいつの間にか低下している・CIによる自動的なプロファイル

90. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 自動プロファイルのフロー CI エンジン内製プロファイラでのプロファイルプロファイルの結果をファイルサーバーと MongoDBに保存

91. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd.

92. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジン開発者と利用者のビルドエラーフロー CIの運用紹介

93. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジン開発者のビルドエラーフローエンジン開発者 CI トランクにコミット失敗を通知トランクはエラー状態修正されるまでビルドは通らずエンジンも配布されないビルドエラー

94. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジン開発者と利用者のデータ更新関係エンジン開発者エンジン利用者エンジンプログラマタイトルプログラマ正常なCIビルドフローをおこなったリビジョンのみ配布エラーが出たら解決されるまで全てのデータ更新が止まる CI アーティストビルドが通らない環境を配布されても困るここのデータ更新はいつでも素早く行いたい CIで更新を止めるのはイテレーション速度の低下につながる

95. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. エンジン利用者のビルドエラーフローエンジン利用者 CI トランクにコミット失敗を通知コミットそのものが取り消されるトランクは常にコンパイルが通る状態テスト等の厳密な動作チェックはせずイテレーション速度を重視ビルドエラー

96. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 第二部のまとめ・複数構成のデプロイマクロ定義での切り分けで自動化対応・利用者の更新をロックしないビルドエラーフロー

97. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. LICENSE • Microsoft Cloud and Enterprise Symbol Set Version 2.3 • https://www.microsoft.com/en-us/download/details.aspx?id=41937 • https://azure.microsoft.com/en-us/documentation/articles/architecture-overview/ • Jenkins Logo Artworks • Jenkins project (http://jenkins-ci.org/)

98. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. 附録本編で解説しきれなかったこと

99. Presented at Game Creators Conference 2016 CAPCOM Co., Ltd. post-commit スクリプト(CentOS 6.3で運用) REPOS="$1" REV="$2" # ----------------------------------------- # BRANCH NAME EXTRACTION. # ----------------------------------------- LOOKDIRS=`svnlook dirs-changed -r $REV $REPOS` LOOKFILES=`svnlook changed -r $REV $REPOS` MESSAGE=$(svnlook log $REPOS -r $REV) IFS=/ ary=($LOOKDIRS) if [[ $LOOKDIRS == trunk* ]] then branchName=${ary[0]} elif [[ ( $LOOKDIRS == branches/releases* ) ]] then ary2=($LOOKDIRSFILES) branchName=branches%2freleases%2f${ary2[2]} Fi # ------------------------------------------ # CANCEL BUILD TRIGGER IF MESSAGE SAYS SO. # ------------------------------------------ if [[ ( $MESSAGE == *[ignore]* ) ]] then branchName="" elif [[ ( $MESSAGE == *[docs]* ) ]] then branchName="" fi # ------------------------------------------ # INVOKE JENKINS. # ------------------------------------------ if [[ -n "$branchName" ]] # NOP then wget -O /dev/null http://jenkins.yours.com/job/BuildEngine/build?token=startBuild&BRANCH_NAME=$branchName Fi

ゲームエンジン開発を支える技術

CAPCOM R&D

ゲームエンジン開発を支える技術