JenkinsとAnsibleを用いたサーバー運用効率化のススメ_"8a1"20141205発表資料

1. JenkinsとAnsibleを用いたサーバー運用効率化のススメ APC勉強会

2. アジェンダ・Jenkins導入・コードの統一化・Jenkinsによるビルド・テスト・Jenkinsによる分析・導入の実例

4. Jenkins導入 Jenkinsおさらい(主な使用用途) ・コンパイルやテストを自動的に行なってくれる。・コンパイル、テスト失敗などを通知してくれる。・いろいろな分析結果を出してくれる

5. Jenkins導入インストール各OSでのインストール方法公式サイト http://jenkins-ci.org/ 対応OSが多いので余ってるサーバや開発者PCにも入れられます。

6. Jenkins導入インストール例 wget -q -O - http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add - deb http://pkg.jenkins-ci.org/debian binary/ sudo apt-get update sudo apt-get install jenkins sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo sudo rpm --import http://pkg.jenkins-ci.org/redhat/jenkins-ci.org.key yum install jenkins Ubuntu/Debian Red Hat/Fedora/CentOS 公式サイトより

7. Jenkins導入インストール例 choco install jenkins brew install jenkins Windows (Chocolatey使用) OSX (Homebrew使用) 公式ではないが下記のパッケージ管理ソフトでも入れられる Jenkinsは週1くらいの頻度で最新版が出るのでパッケージ管理の方が更新が楽

8. Jenkins導入インストール例 Webブラウザからでもインストールできます! https://wiki.jenkins-ci.org/display/JA/Meet+Jenkins#MeetJenkins- TestDrive

9. Jenkins導入インストール例デフォルト設定では http://localhost:8080 後は設定でポートやパスを変えたり、 Webサーバからリバースプロキシさせたり

11. コードの統一化こんなことありませんか？・コミットする度に改行コードが変わってたりスペースがタブに、タブがスペースに（スペースも2だったり4だったり）最後に改行が入ったり入らなかったり・文字コードが統一されてなかったり・{}や, && ||の位置が統一されていない。修正の度にフォーマットが変わる。実際の修正と関係ないところが履歴として残って差分が見づらい。何故か？・開発者それぞれの好き嫌い・使っているOSやエディタ、エディタ設定が違うから

12. コードの統一化コーディング規約どうすれば・開発者それぞれの好き嫌い開発前に話し合って統一しておこう。コーディング規約は作るのが大変ならそれそれの言語標準・水晶のものや公開されてるものをそのまま流用するなど。簡単でもいいので何かしか決めておくと後でもめにくい好き嫌いはあるけど仕事だから・・・簡単な構文チェックならツールを使おう

13. コードの統一化コーディング規約 JavaならCheck Style Rubyならruby-lint PHPならphpling JavaScriptならjslint、jshint などなど Jenkinsで定期的に出力する。既存プロダクトが大量の警告を出すようなら一気に片を付けずに少しずつ減らすように＆増やさないように注意して無理なくコーディングしていく。減らすのが難しい問題に関しては除外設定を適宜行う

14. コードの統一化テキストエディタやIDE設定どうすれば・使っているOSやエディタ、エディタ設定が違うから開発者全員の開発環境をすべて統一しよう！それで全て解決！だけど・・・やっぱり使い慣れた環境で開発したい →ではどうするか

15. コードの統一化テキストエディタやIDE設定 SCMの設定で解決できる問題もある Gitの場合・改行コード問題はgit configのcore.autocrlf、core.safecrlf SVNの場合・改行コード問題はsvn propsetのsvn:eol-style とりあえずの解決策 SCMに各エディタの設定ファイルも入れておく →みんなが同じエディタならそれで解決 →バラバラのエディタが使いたければ各エディタの設定を全部入れる？ →設定を変えるとき全エディタ分変えないといけない →各エディタの設定が同じであるか管理するのが大変

16. コードの統一化テキストエディタやIDE設定 EditorConfigを使おう http://editorconfig.org/ ・ルートディレクトリに.editorconfigというファイルを入れ、それに設定を書いておけば良い。・Emacs,Vim,SublimeText,Atom,VisualStudio, IntelliJ等のJetBrains製IDEなどのエディタで対応。 (各エディタでEditorConfig対応Pluginを入れる必要があります。) ※Eclipse系はまだない？これで各々好きなエディタが使える！一々プロダクトごとにスタイルを覚えなくてもエディタが勝手にやってくれる！ ※コード規約までは面倒を見てくれません。

18. Jenkinsによるビルド・テスト Jenkinsビルドのながれ 1.ビルド対象の設定ソース取得先のSCMまたはファイルの場所を指定 2.ビルドトリガー設定・一定の時間間隔でビルド(crontab的な設定が可能) ・SCMをポーリングし変更があればビルド・WebUIから実行または、APIを叩いて実行など 3.ビルド設定ここがメイン！（後述） 4.ビルド後の設定・結果をメールする（失敗のときだけなど）・結果を集計する・成果物を保存する、どこかへアップロードするなど

19. Jenkinsによるビルド・テスト JenkinsのビルドJenkinsは自動であれこれやってくれるがビルドが出来る状態にするのは開発者の仕事ソースがあるだけではビルドできないなにかしらビルドできる仕組みを入れる必要がある。ビルドの際は対応するPluginがあると便利 PluginがなくてもシェルスクリプトやMS-DOSでもできる。 Maven → Maven Plugin Grunt、Gulp→NodeJS plugin Bundle → Ruby Plugin 必要なコンパイラやビルドツールのインストール、パスの設定も必要。 Jenkinsを動かしているユーザで実行できるようにする必要がある。 ※インストールやパス設定はある程度jenkins上でもできる。なるべくそちらを使ったほうがパス関連の面倒が少ない。

20. Jenkinsによるビルド・テスト Jenkinsスレーブチーム共有のJenkins上でうまくビルドできない・・・俺のローカルではビルドできるのに！！！ →他の環境でもビルドできるように頑張る(でもおそらく大変) →自分のPCをスレーブ化してビルドしよう！

21. Jenkinsによるビルド・テスト Jenkinsスレーブチーム共有の Jenkins 俺のPC上のJenkins スレーブビルドしなさい結果でました

22. Jenkinsによるビルド・テスト Jenkinsスレーブ設定設定はとっても簡単 Jenkinsマスターから Jenkinsの管理＞ノードの管理＞新規ノードの作成スレーブ側はJreだけあればOK ・Jenkinsマスター(この場合はチーム共有Jenkins)からスレーブ側へssh 接続が可能な場合 sshの設定をノードに設定しておくだけ・Jenkinsマスターから直接接続できないが、スレーブ側からhttp接続可能な場合表示されたことをするだけ

23. Jenkinsによるビルド・テスト Jenkinsスレーブチーム共有のJenkins チームメンバーの開発PC (Windows) 検証用サーバ等(Linux) チームメンバーの開発PC (Mac) 検証用サーバ等(Windows Server) ジョブごとにビルドするスレーブを決めておけば Jenkinsマスターが勝手に選んでビルドさせるオフラインのスレーブがあっても他のスレーブを選んでくれる

25. Jenkinsによる分析テスト結果 Jenkinsは標準でJUnit結果の集計Pluginがある。 AntやMavenでtest実行するとJUnit結果がXMLで吐かれるのでそれが集計される。 ※JenkinsはJavaで作られているのでJavaにやさしい Java以外の言語でもJUnit結果のXMLフォーマットのレポートを出力できれば結果を取得できる。(そのようなライブラリがある) Pluginを入れれば他の形式も集計可能・NUnit Plugin ・TAP(Test Anything Protocol) Plugin など

26. Jenkinsによる分析テスト以外の分析・コードカバレッジ・未解決タスク(コード上のTODO、FIXMEなどの集計) ・

28. 導入の実例1 Webアプリケーション Java、Maven使用内容・コンパイル・テスト・CheckStyle ・FindBugs ・テストカバレッジ・未解決(TODO)タスク集計はじめはテストを書いていないプロダクトだったのでコードカバレッジ計測を導入。テストを書いていないクラスがどの程度残っているかの指標にして共通関数系を中心にテストを増やしていくようにしている

29. 導入の実例2 Webアプリケーション(UIなし、XML-RPC) Java、Maven使用内容・コンパイル・テスト・CheckStyle ・FindBugs ・テストカバレッジ・未解決(TODO)タスク集計このアプリケーション自体が多数の外部APIから情報を取得するので外部APIはダミーを作成。そのダミーが期待の値を返すかのテストもやってる。

30. 導入の実例3 Webアプリケーション Java、Maven使用フロント側にはGrunt使用内容・フロント側lessのコンパイル(Grunt) ・フロント側jsのテスト(Grunt) ・フロント側jsのcss,minify化(Grunt) ・Java側のwebappに配置(Grunt) ・Java側コンパイル、テスト(Maven) ・warファイル作成(Maven) ・検証用環境へデプロイ(ShellScript) 検証環境はCloudnのPaaSを使用(本番も同じ環境)。 PaaSにデプロイするツールもコードに含めShellScriptでデプロイ処理を実行している。 gitへpushするだけで検証環境へ上がってくれるので一度構築すると非常に楽

31. 導入の実例4 Webアプリケーション Node.js Grunt使用内容・sassのコンパイル(Grunt) ・クライアント・サーバのjsテスト(Grunt) ・フロント側jsのcss,minify化(Grunt) ・tar.gzに固める(Grunt) ・デプロイスクリプトと一緒にscpで検証サーバへアップロード・sshで検証サーバのデプロイスクリプトを叩く。こちらもgitへpushで検証環境へデプロイされる

32. 導入の実例5 Webアプリケーション Node.js Grunt使用本番サーバへデプロイ内容・検証サーバにあるtar.gzとデプロイスクリプトを本番サーバ達へコピー・sshで本番サーバのデプロイスクリプトを叩く。(必要なサーバ分) 検証環境で確認がとれたtar.gzを本番に上げるだけ。こちらは手動ビルド手動ビルドと言ってもWebUI上の「ビルド実行」を押すだけの簡単なお仕事

33. 導入の実例6 Webアプリケーション Node.js Grunt使用 vagrant ansible使用内容・vagrant upを叩いてビルド・テスト用の仮想環境作成・vagrantのプロビジョニングでansible-playbookを実行させ、必要な環境を構築する。・ビルドテスト実行・vagrant halt vagrantさえ動けばスレーブの環境に依存せずどこでも実行可能。ここで使う仮想環境は開発にもそのまま使える。初回vagrant up がものすごく時間がかかるという問題がある。

34. 導入の実例7 各サーバへ同じコマンドを打つだけ内容・ansible-playbookを叩いて各サーバで同じことをさせる。 Heart bleedやShell shockなどで地道に各サーバでアップデートコマンドを打つ日々を改善すべく作成必要なタスクを追加しSCMへコミット WebUI上の「ビルド実行」を押すだけの簡単なお仕事化に成功

35. 導入の実例例外別にjenkinsでなくてもいいけどこんな使い方もできるよというお話。内容・SCM上にコミットされたらメールを送る。とある理由で変更があったら通知が欲しいため設定。内容・バッチを定期実行 crontab代わりに使用。

36. 今後やってみたいこと今後やってみたいこと・UIのテストをやらせたい。 Seleniumの勉強会が今度あるらしい。・vagrant、ansibleではなくdockerを使ってみるとどうか。・Herokuへのデプロイ