2013年10月09日10:41
Ｐ・岡田斗司夫・注目さんの日記
クラウドシティの市民皆様へ
今回のサーバ負荷過剰（クラウドシティにアクセスできなかったり、動きが異常に重かった件）についての報告とお詫びです。
最初に、今回のサーバ負荷過剰について、(株)クラウドシティ代表取締役として、お詫びします。
有料サービスでありながら、あってはいけない事件を起こしてしまった、と深く反省しています。
まず、今回の事故の経緯から。
10月7日(月)のニコ生放送で、カーニバルの告知をはじめたときから、クラウドシティもカーニバルもアクセスしにくくなりました。
また、それ以前からもクラウドシティのアクセスがなんとなく重く感じていましたが、原因が僕には特定できませんでした。
10月8日(火)の夜になると、またアクセスができなくなりました。
FREEex内で対策班が結成し、彼らが原因をなんとか特定しました。
以後、お話するのは「おそらくこれが原因」であり、確証はありませんが、現在のところもっとも確度が高いと思います。
１．まず根本的な大ミスは、クラウドシティとカーニバルのサーバを同じにしたことです。
これに関しては、企画会議の時に僕は担当者に「本当に大丈夫？」と聞きましたが､担当者の「かなり余裕があるから大丈夫です」という意見に安易に同意してしまいました。
FREEexのメンバーは全員が「ほぼボランティア」です。
責任者はぼく一人しかいません。
僕が必要以上に慎重になって「サーバは別にしよう」と言い張るべきでした。
この件に関しては僕の責任であり、大ミスです。
申し訳ありませんでした。
２．サーバの負荷過剰の原因について。
これは「クラウドシティの改造」が元になっている可能性が高いです。現在、その原因の改造を一旦停止して様子を見ています。
原因の可能性が高い機能とは、「コメントがついた全ての日記をページを指定して取得する」というものです。この負荷が大きすぎてクラウドシティが遅くなり、その影響でカーニバルも重くなっていると推測されます。
カーニバルができる前からクラウドシティは重くなりつつありました。ただ、全体の負荷がギリギリだったため止まることまではなかったようです。
ということで、この機能を停止することで状況を切り分けています。
「コメントがついた全ての日記をページを指定して取得する」機能は、６月市長のJTさんの提案で実装した新機能です。
CCトップページの「全体の最新情報」を表示させるためのものです。
「最新コメントがついた日記」はもともと存在せず、クラウドシティに追加改造された機能です。
問題は、この機能は、トップページにアクセスしたすべての人のすべての日報をチェックして（いつまでさかのぼるという制限なしに）それを表示するということです。
その結果、誰かがトップページを開けるたびにデータベースの日報コメントをすべて読みに行き、該当部分を表示するプロセスを発生させます。
この機能はもともと高負荷をかけていたけど、目には見えない範囲の影響で済んでいました。
しかしカーニバル開催で、負荷が上乗せされたことで今回の事象が発生したようです。
メモリ負荷ログを見ると、その改造後はぎりぎりの状況で動いていたようでした。
この機能追加は６月市長のJTさんが企画・プログラムし、FREEexメンバーの検査・改造・承認で実装されました。
FREEex側での改造とは、制限無しの過去発言チェック機能です。
おそらく、この”FREEex側での改造”が過負荷の原因だと思われます。
クラウドシティのコメントは現在28万6千件あるのですが、クラウドシティのホーム画面を呼び出す際に毎回この全コメントを呼び出していました。
これがクラウドシティ本体及びCCCの圧迫をしていたおそれがあるのでテストとして緊急停止しました。
停止後は目に見えてアクセスが楽になったので、現在のところ、これを原因と考えています。
クラウドシティ運営プログラムの改造は、JTさんや追加改造をしたFREEexスタッフの責任ではありません。
すべて、僕の見ているところで、僕の承認の元で行われました。
したがって、この改造ももちろん、僕の責任です。
みんなの便利のためとはいえ、見積もりの甘い改造をしてしまって申し訳ありません。
現在の状況としては、「コメントがついた全ての日記をページを指定して取得する」機能の対象範囲を「今まで書き込まれた全ての日記」から、「最近書き込まれた日記」に限定させることで負荷を下げました。
この操作でクラウドシティが安定的に動くところまでは確認できました
ここから先は「以後、どうするか」という話です。
①カーニバルのサーバは、いまのところクラウドシティと切り離しません。
現状の対策で今のところ効果が出ている、というのが一点。もう一点の理由は「サーバ移転にはクラウド又はカーニバルを少なくとも数日、閉鎖する必要がある」からです。
現状の負荷低減対策で様子を見、次回には必ず新サーバーを利用することをお約束します。
②問題のあった「コメントがついた全ての日記をページを指定して取得する」機能を見直します。
以後、新しい事実や工事の見込みがあれば、またご報告します。
今回は、市民皆さんにご迷惑をかけて本当にすいませんでした。
そして、市民のだれ一人、当然言っても当たり前な「カネ払ってるんだからちゃんとしろよ」という要求を言われなかったことに、感謝と感動しています。
以後、注意して快適なSNSを運営することに、さらに努力します。
2013/10/09 10:38 (株)クラウドシティ代表取締役 岡田斗司夫
Ｐ・岡田斗司夫・注目さんの日記
クラウドシティの市民皆様へ
今回のサーバ負荷過剰（クラウドシティにアクセスできなかったり、動きが異常に重かった件）についての報告とお詫びです。
最初に、今回のサーバ負荷過剰について、(株)クラウドシティ代表取締役として、お詫びします。
有料サービスでありながら、あってはいけない事件を起こしてしまった、と深く反省しています。
まず、今回の事故の経緯から。
10月7日(月)のニコ生放送で、カーニバルの告知をはじめたときから、クラウドシティもカーニバルもアクセスしにくくなりました。
また、それ以前からもクラウドシティのアクセスがなんとなく重く感じていましたが、原因が僕には特定できませんでした。
10月8日(火)の夜になると、またアクセスができなくなりました。
FREEex内で対策班が結成し、彼らが原因をなんとか特定しました。
以後、お話するのは「おそらくこれが原因」であり、確証はありませんが、現在のところもっとも確度が高いと思います。
１．まず根本的な大ミスは、クラウドシティとカーニバルのサーバを同じにしたことです。
これに関しては、企画会議の時に僕は担当者に「本当に大丈夫？」と聞きましたが､担当者の「かなり余裕があるから大丈夫です」という意見に安易に同意してしまいました。
FREEexのメンバーは全員が「ほぼボランティア」です。
責任者はぼく一人しかいません。
僕が必要以上に慎重になって「サーバは別にしよう」と言い張るべきでした。
この件に関しては僕の責任であり、大ミスです。
申し訳ありませんでした。
２．サーバの負荷過剰の原因について。
これは「クラウドシティの改造」が元になっている可能性が高いです。現在、その原因の改造を一旦停止して様子を見ています。
原因の可能性が高い機能とは、「コメントがついた全ての日記をページを指定して取得する」というものです。この負荷が大きすぎてクラウドシティが遅くなり、その影響でカーニバルも重くなっていると推測されます。
カーニバルができる前からクラウドシティは重くなりつつありました。ただ、全体の負荷がギリギリだったため止まることまではなかったようです。
ということで、この機能を停止することで状況を切り分けています。
「コメントがついた全ての日記をページを指定して取得する」機能は、６月市長のJTさんの提案で実装した新機能です。
CCトップページの「全体の最新情報」を表示させるためのものです。
「最新コメントがついた日記」はもともと存在せず、クラウドシティに追加改造された機能です。
問題は、この機能は、トップページにアクセスしたすべての人のすべての日報をチェックして（いつまでさかのぼるという制限なしに）それを表示するということです。
その結果、誰かがトップページを開けるたびにデータベースの日報コメントをすべて読みに行き、該当部分を表示するプロセスを発生させます。
この機能はもともと高負荷をかけていたけど、目には見えない範囲の影響で済んでいました。
しかしカーニバル開催で、負荷が上乗せされたことで今回の事象が発生したようです。
メモリ負荷ログを見ると、その改造後はぎりぎりの状況で動いていたようでした。
この機能追加は６月市長のJTさんが企画・プログラムし、FREEexメンバーの検査・改造・承認で実装されました。
FREEex側での改造とは、制限無しの過去発言チェック機能です。
おそらく、この”FREEex側での改造”が過負荷の原因だと思われます。
クラウドシティのコメントは現在28万6千件あるのですが、クラウドシティのホーム画面を呼び出す際に毎回この全コメントを呼び出していました。
これがクラウドシティ本体及びCCCの圧迫をしていたおそれがあるのでテストとして緊急停止しました。
停止後は目に見えてアクセスが楽になったので、現在のところ、これを原因と考えています。
クラウドシティ運営プログラムの改造は、JTさんや追加改造をしたFREEexスタッフの責任ではありません。
すべて、僕の見ているところで、僕の承認の元で行われました。
したがって、この改造ももちろん、僕の責任です。
みんなの便利のためとはいえ、見積もりの甘い改造をしてしまって申し訳ありません。
現在の状況としては、「コメントがついた全ての日記をページを指定して取得する」機能の対象範囲を「今まで書き込まれた全ての日記」から、「最近書き込まれた日記」に限定させることで負荷を下げました。
この操作でクラウドシティが安定的に動くところまでは確認できました
ここから先は「以後、どうするか」という話です。
①カーニバルのサーバは、いまのところクラウドシティと切り離しません。
現状の対策で今のところ効果が出ている、というのが一点。もう一点の理由は「サーバ移転にはクラウド又はカーニバルを少なくとも数日、閉鎖する必要がある」からです。
現状の負荷低減対策で様子を見、次回には必ず新サーバーを利用することをお約束します。
②問題のあった「コメントがついた全ての日記をページを指定して取得する」機能を見直します。
以後、新しい事実や工事の見込みがあれば、またご報告します。
今回は、市民皆さんにご迷惑をかけて本当にすいませんでした。
そして、市民のだれ一人、当然言っても当たり前な「カネ払ってるんだからちゃんとしろよ」という要求を言われなかったことに、感謝と感動しています。
以後、注意して快適なSNSを運営することに、さらに努力します。
2013/10/09 10:38 (株)クラウドシティ代表取締役 岡田斗司夫
コメント