製品品質と評価制度

時雨堂には自社製品の検証を専門に行う社員がいる。具体的な指示は特になく「自社製品の検証よろしく」しかお願いしていない。

朝会社に来てから夜帰るまで、特に何か言われることもない。負荷試験をしていたり、ロングラン試験をしかけたり、異常系の検証をしたり。つまり何をやってもいい。

成果報告も一切不要。コミットログをみて検証したり、ドキュメントを見て検証したり。ドキュメントはわかりにくい部分を修正。

ちなみに製品にバグを見つけた場合はパッチをチャットに貼ってくる。製品の修正は開発者がやれということらしい。

勘違いしてもらいたくないのが、担当している社員はコードはゴリゴリかけるし、AWS や GCP といったクラウドも使える。さらには社内ネットワークを構築したり、自社サーバの運用などもできる。

コードが書けないから検証を専門にしているとかではない。検証で利用する WebSocket クライアントは 1 から自作するくらいの勢い。

さて、時雨堂で今一番の稼ぎ頭である WebRTC SFU Sora というパッケージ製品はリリースしてから 2 年以上経過しているが、障害で落ちたという報告はない。サポートへの問い合わせはとても少ない。

この品質を達成できているのは検証をし続けてくれる社員がいるからというのは大きい。

ただ、このやりかたは正直、評価制度が無い時雨堂だから実現できているような気がしている。

検証を専門にする社員は成果がとても見にくい。別にバグを出した数を数えているわけでもない。ロングラン試験を評価するのは難しい。

では、テストツール開発やテストの自動化をするのを評価すればいいのかそれを正当に評価するのも難しいだろう。

そもそも検証の成果を見せるためのレポートを作るコストがとても無駄。

自分には検証する事を適正に評価する自信がない。