パスワードを忘れた? アカウント作成
13640930 story
Google

Googleのクラウドサービスは機械的な判断で突然システムを止めることがある 11

ストーリー by headless
不審 部門より
hylom 曰く、

風力・太陽光発電プラントの監視システムをGoogle Cloud Platform(GCP)上で構築・運営していた企業が突然アカウントを一時停止され、システムを運用できなくなるというトラブルが発生したそうだ(Mediumの記事The Registerの記事)。

このシステムは、8か国にわたって設置された数百の設備を1か所で24時間/365日監視するという大規模なもので、状況に応じて発電量を調整するといったクリティカルな作業も行っていたという。

しかし、6月28日に全サイトがダウンしているとUptime Robotからの警告があり、Googleからは「potential suspicious activity (潜在的に疑わしい活動)」を検出したので全システムを停止したと知らせる電子メールが届く。その時点で既にクラウド上のアプリケーションやデータベースに接続できない状態になっており、カスタマーサービスチャットや電話連絡もできなかったそうだ。

Googleが検出した疑わしい活動はサービス料金の支払いに関するもので、クレジットカードと政府が発行したクレジットカード名義人の写真入り身分証明書の写真を3営業日以内にアップロードするよう求めていた。そこでシステムの運営担当者がカードの名義人に連絡を取って情報を送信したところ、20分後にはシステムが復帰したそうだ。このときはカード名義人のCFOにすぐに連絡が付いたため数時間のダウンタイムで済んだようだが、情報送付が遅れたらすべてのアプリケーションやデータを削除するとも記載されていたとのこと。

なお、これを報告しているユーザーによれば、AWSではサービスをブロックする前に警告し、ユーザーが事情を説明したり問題を解決したりする猶予を与える、より「人間的な」方法で決済に関する問題を解決するという。こういった問題が解決されない限り、今後新しいプロジェクトをGCPで構築することはないとも述べている。

関連リンク

  • by Anonymous Coward on 2018年07月07日 17時31分 (#3438999)

    いつまでたってもヲタクの遊びの延長線上だな

    ここに返信
    • by Anonymous Coward

      況してクリティカルミッションを也。

    • by Anonymous Coward

      この対応をGoogle社内で問題視しないのならビジネス用途では敬遠しちゃうね。

      GoogleはあんまGCP重視してないのかな。

  • by Anonymous Coward on 2018年07月07日 16時26分 (#3438983)

    >8か国にわたって設置された数百の設備を1か所で24時間/365日監視するという大規模なもの
    Google様にとっては、取るに足らないちっぽけな存在なのでしょう。いわんや我が社をや…。
    警告メールがGmailの迷惑メールフォルダーに入れられてました!とかいうオチはないよな?

    ここに返信
  • by Anonymous Coward on 2018年07月07日 16時29分 (#3438985)

    Googleの作法な気がする

    ここに返信
    • by Anonymous Coward

      確かにそうだけど、無料で使っている個人向けサービスだけでなく、それなりの金を負担している企業ユーザーに対しても同じスタンスなんだな。

      Google Cloud Platformは3日間停止したり、すべてのアプリケーションやデータを削除されても泣かない用途にしか使えないとなると、それでもいい用途で使うか、他のクラウドサービスも併用して、最悪、Google Cloud Platformが停止してもサービスがノンストップになるような仕組みを構築する必要があるな。

  • by Anonymous Coward on 2018年07月07日 17時27分 (#3438998)

    事故が起きなかったのは各サイトがローカルに制御・保護の機能を持っているからでしょうね。
    上位系が死んでも下位系だけで生き残れるみたいな感じで。
    #ご安全に。

    ここに返信
  • by Anonymous Coward on 2018年07月07日 18時22分 (#3439023)

    クラウドサービス自体を分散させるよね。
    マルチクラウドでしたっけ。

    ここに返信
  • by Anonymous Coward on 2018年07月07日 20時00分 (#3439067)

    のちの歴史書に記載されるので既知になるけど
    Google社はそう長くはないよ

    ここに返信
typodupeerror

「毎々お世話になっております。仕様書を頂きたく。」「拝承」 -- ある会社の日常

読み込み中...