TypetalkのSREの二橋です。今回は、Gossの紹介をしたいと思います。
TypetalkではサーバーのテストにServerspecを利用していました。機能的には申し分なかったのですが、サーバーの台数/環境/テストの項目が増えるにつれて、ツールの実行速度やメンテナンス性に改善が必要になりました。Gossに乗り換えることで問題が解消されました。
サーバーのテストとは？
サーバーのテストとは、サーバーの状態が意図したものになっているか検証するものです。例えば、以下のような項目を検証します。
- 意図したパッケージのバージョンがインストールされているか？
- 意図したサーバーと通信できるか？
- 意図したポートが待ち受けているか？
- 意図したユーザー/グループが存在するか？
- 意図したプロセスが動作しているか？
- 意図したファイルに指定した記述が存在するか？
Serverspecで困っていたこと
①テスト実行時間が長い
テスト対象のインスタンス数やテストの項目数の増加に伴い、テスト実行時間が長くなりストレスに感じてました。並行実行するなど工夫はしていたのですが、それでも満足のできる実行時間は出せていませんでした。
②テスト項目がぱっと見たときに分かりづらい
Serverspecでは、specファイルというものにテスト項目の定義をします。
制御文や変数などのプログラム要素が使えます。便利ではあるのですが、ぱっと見た時に冗長な部分がありテスト項目が分かりづらく感じていました。
③Rakefileのコーディングが面倒
Rakefileは実行するタスクの定義をするファイルで、投入されたコマンドと実行されるテスト対象の関連付けなどを行います。Typetalkでは、下記の要素を選択できるように、Rakefileをカスタマイズしていました。
- ターゲットの環境(本番環境/ステージング環境)
- 対象ホスト(指定した単体/全体)
- 実行方法(単一/並列)
ですが、本来はテスト項目であるspecの作成の方に時間を割きたいところです。
Gossとは？
GossはインフラのテストのためのGo言語製のOSSです。機能的にServerspecの代わりになるものです。ライセンスはApache License 2.0となってます。
Gossの特長
①テストの実行が爆速
テストの実行速度がとても早いです。理由としては、Serverspecはリモートに対して実行するのですが、Gossはローカルに対して実行するという違いが大きいと思います。また、Go言語という点も要因だと思います。
②テスト項目の可読性が高い
テスト項目の設定ファイルがYAMLなので、とてもシンプルで見やすいです。ひと目で何のテストを実行するのかが分かります。また、誰が書いても同じようなコードになります。
③Serverspecユーザーに優しい
実行結果をServerspecと同じ形式で出力することができるので、Serverspecユーザーは親しみやすいと思います。また、様々な出力形式をサポートしています。
④テスト自動生成機能がある
対象のサーバーの現在の設定を読み取って、テストを自動生成することもできます。使い始める方はまずはこの自動生成機能を使ってみて、不要なテストを削ったり必要なテストを足したりすると良いと思います。
Gossの短所
ローカルでしか実行できない
Gossはローカルでしか実行することができません。一方、Serverspecはsshを使ってリモートのサーバーに対して実行することができます。
Gossを使ってみよう
インストール方法
GoがInstallされていれば、下記のコマンドだけで最新のGossをインストールすることができます。
その他のインストール方法に関しては、公式のドキュメントを参照してください。
設定方法
Gossのドキュメントを参考にして、テスト項目をYAMLでファイルに定義します。例えば、下記のファイルはコメントに書いてあるようなテストが定義されています。
テスト項目の自動生成機能を使うと、テスト項目の作成が楽になります。例えば、sshdに関するテスト項目を自動生成する場合は下記のコマンドを実行します。
これにより自動生成されたファイルは、以下のようなものになります。これを不要な設定を削ったり、必要な設定を足したりすると良いと思います。
また、テスト項目数が増えてきてファイルの見通しが悪くなってきたら、ファイルを分割すると管理しやすくなります。下記のようにすることで、他の設定ファイルを読むことができるので、ファイルを分割することができます。
実行方法と実行結果
下記のコマンドでテストを実行することができます。これは全てのテストを成功した場合の例です。
テストに失敗すると、下記のように失敗したテストの内容と、Failedのカウントが増えます。
Serverspecとの比較
設定ファイル
GossはYAMLでテスト項目を定義します。ひと目でテスト項目の内容が分かり、良いですね。
Serverspecでは、下記のようなファイルになります。
実行速度
ServerspecとGossの実行にかかる時間を簡単に比較しました。10サーバーあたりで合計300の試験を、シリアル実行/パラレル実行した場合のそれぞれの時間を比較しています。GossはFabric経由でリモートサーバーの試験を実行しています。
結果としては、シリアル実行では90秒から15秒に、パラレル実行では60秒から3秒に短縮できました。
ちょっと工夫したこと
Ansible/Fabricに組み込んでリモート上でGossの実行を実現
前述したように、Gossはローカルに対してしか実行できません。この問題を解決するために、AnsibleやFabricに組み込んで、リモートのサーバーのGossを実行をできるようにしました。リモートホストの管理はAnsibleやFabricに任せて、サーバーのテストはGossに任せるという形です。元々AnsibleやFabricを使っているのであれば、Gossを組み込むだけで良いので簡単に実現できます。
テスト項目のプログラミングにはAnsibleでJinjaテンプレートを使用
Gossの設定ファイルでプログラミングが必要な箇所は、AnsibleでJinjaテンプレートを使いました。これにより、環境やサーバーに応じたテスト項目の分岐がAnsibleで管理/制御できて、サーバー上にはシンプルなテスト項目のGossファイルが配備されるようにしました。Gossでもプログラミングはできるのですが、このようにすることで実際のテスト内容が見やすくなり、テスト項目の変更時に差分が分かります。
さいごに
Serverspecは素晴らしいソフトウェアでこれまで長い間助けられました。この場を借りて関係各位に感謝を述べさせて頂きます。
本記事が私と同じ悩みを抱えている方々のお役に立てれば幸いです。
