いつもSkebをご利用いただき、誠にありがとうございます。

12月23日12時よりskeb.jpにアクセスできない大規模な障害が発生しておりましたが、12月24日07時に復旧いたしました。

お客さまの環境によってはプライバシーに関する警告が遅くとも12月26日07時00分まで表示される場合がございます。
skeb.jpのドメインに関して古い情報がキャッシュされていることが原因で、上記の時間までお待ちいただくか、Google Public DNS等のグローバルDNSサービスをお使いいただければ幸いです。

12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。

みなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。
本障害につきまして詳細をご報告させていただきます。

概要

日時: 12月23日12時22分〜12月24日7時00分 (JST)
ダウンタイム: 18時間38分
内容: skeb.jpにアクセスできない不具合
原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。
解決: Herokuの一切の利用を中止し、すべてのサーバとシステムを別のクラウドサービスに移管したことで復旧。
お客さまへの対応: 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分まで延長。

時系列

12月23日12時22分: skeb.jpにアクセスするとHerokuのエラーページが表示される。
12月23日12時27分: 社内で障害として認知。
12月23日12時30分: Twitterにて障害のお知らせをツイート。
12月23日12時31分: プログラムのヘルスチェックに問題がないことを確認。
12月23日12時32分: スケブ社とHerokuのエンタープライズ契約を締結しているHeroku日本代理店であるセールスフォース・ジャパンに連絡。Herokuのサポート窓口に直接連絡するように案内を受ける。
12月23日12時55分: Herokuのサポート窓口に連絡。
12月23日13時04分: Herokuのサポート窓口から応答がないため、セールスフォース・ジャパンに再度連絡し、同社が状況確認を行うように依頼。
12月23日13時14分: Herokuの復旧時期が未定のため、Herokuの一切の利用の中止を決定。別のクラウドサービスへの移管を開始。
12月23日14時19分: 納品期限延長の方針を決定し、記事とツイートにてお知らせ。
12月23日14時21分: Twitter上で「Skeb」という単語をツイートや検索した方に対して、障害情報のツイートが表示されるようにプロモツイートを設定。
12月23日15時14分: 新しいクラウドサービスにデータベースの移管が完了。
12月23日18時28分: セールスフォース・ジャパンより、同社もHerokuに連絡したが応答がない旨の連絡を受ける。
12月23日20時24分: 新しいクラウドサービスにステージング環境の構築が完了。
12月24日04時32分: 新しいクラウドサービスに本番環境の構築が完了。
12月24日04時55分: skeb.jpのドメインの接続先をHerokuから新しいクラウドサービスに切り替えを実施。
12月24日07時00分: すべての機能が動作することを確認。
12月24日13時00分: 障害が復旧したことを本記事とツイートにてお知らせ。

その他

• Herokuの制限によって海外に設置されていたSkebのサーバが、移管によって日本国内に設置されることになりました。日本国内からのアクセスが大幅に高速化されます。
• スケブ社ではエンジニアに対して開発環境の指定を行わず、各々がWindows、Mac、Ubuntuといった好みのOSを用いて開発しています。
  どのような環境でも開発ができるように、Skebのすべてのシステムはオフラインの仮想環境で動作するコンテナイメージを作成しています。
  今回このコンテナイメージがあったことで、事前準備なく1日未満でHerokuから新しいクラウドサービスに問題なく移管することができました。
• 今回の障害をきっかけに、2023年1月より、夜間に障害が発生し作業にあたった従業員に対し、深夜残業および休日出勤による法定割増賃金に加え、3万円の現金を支給する「障害対応手当」という制度を新設しました。
  今回の障害は制度新設前であったため、手当ではなく福利厚生の一環として、エンジニア4名に対し1人あたり3万円のAmazonギフト券を夜間直ちに支給しました。
• Skebでは月間約5億円の取引がございますが、今回の障害で1,500万円相当の取引の機会損失が発生しました。しかしながら、12月24日現在もHerokuから応答はなく、詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらず、このような対応は大変遺憾です。
• Skebが利用不可能となる事例は、サービスリリース日である2018年11月30日に発生したアクセス過多による障害を除き、事実上今回が初めての大規模障害となりました。
  クリスマスを目前に納品タイミングを調整されていたクリエイターの方々もいらっしゃいましたが、メールマガジンの配信システムも障害で停止していたことから、納品期限延長の告知がTwitterと記事のみとなってしまい、大きく混乱を招く事態となってしまいました。
  今後メールマガジンの配信は外部のサービスの利用も検討してまいります。

みなさまには多大なご迷惑をお掛けしましたこと、重ねてお詫び申し上げます。本当に申し訳ございませんでした。
今後ともSkebをよろしくお願いいたします。