グーグルのクラウドサービスが人為的ミスで70分間ダウン

　Googleのクラウドサービスの一部で米国時間11月23日に障害が発生した。原因はネットワークエンジニアの人為的ミス。これにより、「europe-west1」リージョンの主に東欧と中東の顧客が、約70分間にわたり「Google Compute Engine」にアクセスできない状態が続いた。ただし障害の影響を受けたのはネットワークだけであり、同リージョンのGoogle Compute Engineのインスタンス自体に影響はなかった。

　障害は、既存のグローバルピアへの新規リンクを追加した際に発生した。正規の作業手順では、新規リンクの処理と安全性チェックは自動化システムで行うように定められていた。しかし今回は自動化システム自体が障害でダウンしていたため、ネットワークエンジニアが手動で新規リンクを追加した。すると、新規リンクは処理能力を大幅に超える範囲にまでアドバタイズされてしまい、大量のトラフィックが流入。わずか4分後に帯域が飽和し、トラフィックの大半がドロップされる状態に陥った。

　障害の発見に時間を要した原因もまた、自動化システムのダウンにあった。新規リンクの処理と安全性チェックは自動化システムが担当し、その間は通常のシステム監視機能が関与しない仕組みになっていた。しかしその自動化システムがダウンしていたため、通常のシステム監視機能に切り替わる61分後まで、障害は検出されず放置される事態となった。

　問題の再発を防止するため、Googleでは運用ポリシーの変更を予定している。今後は手動による新規リンクの追加が禁止されるとともに、新規リンクの追加は自動化システムが完全に機能している場合にのみ許可されるようになる。