ファーストサーバのホスティングサービス「Zenlogic」で6月19日より障害、未だ復旧せず 59
ストーリー by hylom
さすがにアウト 部門より
さすがにアウト 部門より
Anonymous CodeRed 曰く、
ファーストサーバのレンタルサーバーサービス「Zenlogic」で、6月19日より断続的な障害発生とメンテナンスが繰り返されている。7月4日時点でも復旧はされていない（Zenlogicの「障害・メンテナンス情報」ページ）。
ファーストサーバといえば2012年にやらかした未曾有のデータ全消失事件を思い出すが、今回の件はクラウド基盤を提供・管理しているヤフーに責任があると言いたそうな模様。
どっちにしろこうも長期間メールの送受信すらまともに出来ない障害を復旧もできないならさすがにビジネス用途では使用不可能だろう。もう駄目かもわからんね。
障害の原因は、ストレージシステムにおいて「データ入出力の処理が一部のシステムに偏った」ためだという。なぜこういった状況になったのか理由の推測はされているものの、確定はしていないようだ。
５月半ばにはメール送信のレスポンスが遅かったが障害ではないと言い張っていた (スコア:5, 参考になる)
メールサーバとして使っている弊社ですが、メールサイズに関わらず、
なぜかメール送信のときに完了までの応答時間が長いという状態は
5月半ばには発生していた。メールサイズに関係しないので、送受信スピードが遅いというわけではない。
ただ送信時のレスポンスまでに数秒から十数秒待たされていた。
それを障害ではないと言い張っているうちに、メールが送信できたりできなかったりという状態になったのが6月19日。
そこでようやく「一部のお客様で発生する断続的な高負荷障害に関するお知らせ」をリリース。
その後は断続的に障害→自然解消を繰り返しているうちに、どんどん送受信しにくい状態が悪化している感じ。
もう駄目なんじゃないのと思うのは、
https://zenlogic.jp/support/syogai.html [zenlogic.jp]
障害の「対応」に「高負荷は自然解消しました」を連発していること。
＃ 誰だよこんな会社と契約したやつは、なのでAC
コメントに反応 (スコア:2)
キム・アバのことでしょうか？会社ではありませんけど。
// さようなら、シン…今度こそ、本当に…
死して屍、拾う者なし。
Re: (スコア:0)
ずっとキム・アパだと思ってました…
Re:コメントに反応 (スコア:2)
ずっとキム・アパだと思ってました…
後年の「ガッデム」で、キムと同じ姿のラリーのコ・ドライバーが
ABBAもある
とCDショップで言っていますので、元ネタはABBAだと思うです。
ジョジョの奇妙な冒険とかバスタードあたりは、バンド名のオンパレードでしたね。
死して屍、拾う者なし。
Re: (スコア:0)
カセットテープじゃなかったかなー…。
Re:コメントに反応 (スコア:2)
そうそう、カセットテープでしたね！
死して屍、拾う者なし。
Re: (スコア:0)
あばばばばば
Re: (スコア:0)
それで思い出すのは、やっぱりVPS系のホスティングサービスだなあ。
毎週どっかで必ず障害を起こしているという。
http://info.dream.jp/category/trouble?type=restoration [dream.jp]
https://help.sakura.ad.jp/hc/ja/articles/206094022 [sakura.ad.jp]
ストレージシステムってなんだろね (スコア:1)
「該当ストレージシステムの再起動が発生し」とか書いてるけど、一体なんだろう。
ほんとのストレージ装置だったら、たぶん高負荷で再起動とか発生しない。
おそらく DB なんじゃないかと思うけど、DBだったら水平分割するとかの対策を
当初の設計時から持っておくべきだし、もしそうなってるんだったら高負荷が起きても
部分的な影響しか発生しないはず。
ということは、単なるクラスタリングやレプリケーションを負荷分散だと思い込んでたパターン？
そうだとするとかなり深刻というか…
# mishimaは本田透先生を熱烈に応援しています
Re:ストレージシステムってなんだろね (スコア:2)
スクリプトの問題とかだと憶測がいっぱい出てくるのにストレージだと全然ですね。
ストレージ系をやってる人って少ないんですかね。自分もストレージは門外漢でわからないですけど自分の知ってるところは同じくらいのストレージ初心者が対応してました。
Re:ストレージシステムってなんだろね (スコア:1)
ストレージ系が少ないというか、
アプリケーション開発者は多いけどミドル〜インフラエンジニアは少ない、
って感じなんじゃないですかね。
# mishimaは本田透先生を熱烈に応援しています
Re:ストレージシステムってなんだろね (スコア:1)
ストレージ基盤はceph
http://ascii.jp/elem/000/000/976/976337/ [ascii.jp]
このへんのサービスが固まったとかそういう話では
Re:ストレージシステムってなんだろね (スコア:1)
なるほど、分散オブジェクトストレージ系か。
こういうのを採用する場合はあらかじめそれなりに特性を理解して設計するだろうなぁ。
Ceph自体のバグが原因ならきっとそう書くはずだろうから、
運用コストを削りすぎてて予兆監視等でもっと事前に対処できるはずのチューニングができてなかった…とかなのかな。
# mishimaは本田透先生を熱烈に応援しています
Re: (スコア:0)
「該当ストレージシステムの再起動が発生し」とか書いてるけど、一体なんだろう。
「高負荷が原因（と思われる）で、物理的に故障しました」とか？
で、保証切れてて部品交換もできずお手上げ状態、だっりして。
Re: (スコア:0)
某エンタープライズストレージで、LUNのレプリケーションだかなんだかを
まとめて実行したら過負荷で全落ち再起動したことならありますけど
Re:ストレージシステムってなんだろね (スコア:2)
構成を変更する機能の利用中だと確かに高負荷で再起動とかもありそう。
スケールアウトするストレージとかだと、増設とか切り離しとかのタイミングね。
ただなぁ、今回の件でそういうケースの障害が原因だったらそう書くと思うんだよなぁ
（ストレージ装置側が原因だと言い訳したいはず）
# mishimaは本田透先生を熱烈に応援しています
全サービス停止してメンテナンス (スコア:1)
金曜の夜から全てのサービスを停止してメンテナンスを行うという手段に出ました。最長で月曜日朝までかかる予定とのこと。
https://zenlogic.jp/news/status/syogai/ [zenlogic.jp] より:
> すべてのサービスがご利用いただけないメンテナンス期間
> 7月6日20時00分 ～ 最長 7月9日08時00分 予定
> ※ 予定より早くサービスご利用が再開いただける場合にはご報告いたします。
> ・メンテナンス期間中はすべてのサービスがご利用いただけません。
> ・メンテナンス期間中はコントロールパネルもご利用いただくことができません。
しかも、20:00からのサービス停止を知らせるメールが送られたのが19:53だったというのはかなり切羽詰まっている感じです。(togetterのまとめ [togetter.com]
ここの会社２度目だよね (スコア:0)
手に負えない業務や技術を売り物にするって正気なんでしょうかね？
#どうやって出資者だまして金とったんだろうね。
#そっちの詐術の事を書籍にした方がうれるんじゃねぇの？
Re:ここの会社２度目だよね (スコア:3, 参考になる)
https://www.firstserver.co.jp/news/2018/2018032001.html [firstserver.co.jp]
ソフトバンクの100％子会社になったみたいですよ。
（その前もヤフーなんで似たようなもんですが）
書名は「孫氏を騙す技術」ってとこですかね。
Re: (スコア:0)
これって意味あるのかなぁ。中国の会社の株主が国営会社から別の国営会社に移ったのと同じレベル。
SBは赤字でもよく切り捨てないね。
Re:ここの会社２度目だよね (スコア:2)
SBは赤字でもよく切り捨てないね。
米国で携帯電話事業に参入…というか、既存企業を子会社にしたわけですが。
このコメントを投稿する時点ではスプリント社の発行済み株式の85％を保有する筆頭株主 [yahoo.co.jp]なのですが、ビジネス誌の報道によれば、株価維持のため自社株買いを連発。
上場廃止の基準寸前まで手を打つも、株価は思うように上がらず、Tモバイルと合併 [nikkei.com]という流れに。
確かに…切り捨てはしないですね。
もはや投資家でしかない孫氏ですが（3.11直後の再生可能エネルギー界隈での言動・行動は、もはや政商）、損切りはせずに復活を夢見ているとしか。
Tモバイルとの合併が当局に認められれば、持ち直しはするのでしょうけれど。
// 何だか、ボーダフォンを買収した後の流れに似ていなくもないような気がします。
死して屍、拾う者なし。
Re: (スコア:0)
> 書名は「孫氏を騙す技術」ってとこですかね。
いわゆる「孫氏の兵法」である。
敵をだますにはまず見方から。
Re:ここの会社２度目だよね (スコア:1)
「味方」ではなく「見方」なのですね。
Re: (スコア:0)
準顧客、みたいな感じでかかわりがあるのですが、２年くらい前に設定変更をしたときに「社内規定のため、作業は〇時～〇時の間しか受けることができません。」と言われて予定が狂ったことがありました。
事件の後に規定を厳しくしたようだけど、客に迷惑をかける以外の効果がなかったようです。
Re: (スコア:0)
非効率と複雑と安全の区別がついてないのか…
Re: (スコア:0)
この手の当人達は元々騙す意図が無く結果的に約束を守れなかった訳で、詐術といった技術の持ち合わせもないと思われます。
敢えて言えば、求めれば与えられる。信じれば実現する。そういった凡百の成功法でも正気を保つのに役立つということでしょうか。
Re: (スコア:0)
サーバー代がすごく高いのにこの有様
格安サーバーのほうがまだ安定してるじゃないのか
Re: (スコア:0)
これだったらロリポップの安いやつの方がまだ安定してるわ
Re: (スコア:0)
高いサーバだから大丈夫、ファーストサーバは大丈夫、というわけではないけど、安いホスティング会社の場合はたとえ安定していても、「あなたのサイトがDoS／DDoS攻撃を受けた。他の顧客に迷惑なのでサーバを停止し、強制退会させます」なんてことはG(L)な会社ではありがちだよ。
攻撃を受けた被害者だし、DDoS攻撃を受けるなんてどうしようもないのに契約者が責任を取らされてサーバー即死になるなんて怖すぎ。
Re: (スコア:0)
＞他の顧客に迷惑なのでサーバを停止し、強制退会させます」なんてことはG(L)な会社ではありがちだよ。
「オタクのサーバーから過剰なトラフィックが」ってクレーム付けてきたところかな？
見てみたらGのサーバー側からのspamを受け取り不在で戻していただけ。
逆に文句言ったらそんな証拠ないと認めなかったのでサポートに丸々転送したらわずか10分で止まった。
Re: (スコア:0)
そのケースとは違う。
どこの誰ともわからない相手からDoS攻撃を受けた被害者を強制退会したの。
踏み台にされたサーバの契約者を強制退会とは全く違うの。
Re: (スコア:0)
手に負えない業務や技術を別会社に業務委託したら、そっちがこけたってことですよね。
エンタープライズなシステムにはよくある話ですが、その辺にいるようなレベルの技術者なら平時の運用は問題ないものの、メーカーでさえよくわからない障害が発生した時には手に負えなくなるのは当然でしょう。
そもそも、みんなホスティング会社やクラウドサービスを信用しすぎ。
大まかな情報で見た感じ、ストレージのパフォーマンスが急低下し、それによってメールサーバのキューが滞留し始め、それに対して再送信するユーザー、さらにキューが溢れて再送が発生して輻輳。
深夜などでキューが空いてきたら負荷は下がったので「自然解消」と発表。
ところがストレージのパフォーマンス低下は解消しておらず、再発という状態じゃないだろうか。
エンタープライズ向けのストレージで意味不明のパフォーマンス低下が発生してメールキューが溢れてたら、そんじょそこらのホスティング会社の技術者レベルじゃ「メールが集中して過負荷になっている」と判断しちゃうでしょうね。
もう駄目か？ (スコア:0)
> もう駄目かもわからんね
人のうわさも七十五日…。
前回あんだけやらかしてもまだ契約する人が居て
数年会社が維持できてるんだから、今回も過ぎ去れば何でもなくなりますって。
Re:もう駄目か？ (スコア:1)
もう駄目かも分からんね、って気軽に使うけど、由来考えると気軽に使えるもんじゃないよな…。
Re:もう駄目か？ (スコア:3)
もう駄目かも分からんね、って気軽に使うけど、由来考えると気軽に使えるもんじゃないよな…。
ですねぇ。
高校の卒アル、在学年度中にあった社会的な事件というページにJL123の事故が載っています。
ちなみに、中学の卒アルには日航機羽田沖墜落事故 [mlit.go.jp]が。
/*
「キャプテン、やめてください」の事故。
このコメントを書くために航空事故調査報告書 [mlit.go.jp]（PDF）を参照したのですが、投薬内容が怖すぎる…。
私も現役メンヘラですが、こんな投薬されたら、まともに仕事できないですよ。入院レベル。
*/
死して屍、拾う者なし。
オフトピ (スコア:2)
違った。
小学校の卒アル→羽田沖
中学校の卒アル→JL123
卒業年度も分からないくらい、老化したってコトか…。
回線切って吊ってきます（老害モード）
死して屍、拾う者なし。
Re: (スコア:0)
品質相応の価格だったらしいし、その品質で良ければお手頃な商品なのでは。
期待してなければ裏切られることもない。
Re: (スコア:0)
たとえば度重なるPCのマルウェア混入が発覚した某社
法人向け事業が消失してもおかしくない事態だったのに変わらず買う客はいた
商品の質や信頼性で取引先を選んでる会社は意外に少ないよね
データ入出力の処理が一部のシステムに偏った (スコア:0)
なーんか石狩方面でも昔聞いたような話だね。
zenlogicといえば (スコア:0)
zenlogicのホスティングしてるサーバーからの迷惑メールがいっぱい来てたしspamcop経由で通報しても全然止まらなかった覚えが
夜になると動く (スコア:0)
昨日もそう
今晩もそう
２２時前後になると順調です。
夜中に仕事しろということだな。
Re: (スコア:0)
同じく、今週昼間は完全に沈黙。
他サービスに移行する為、帰ってから先程までまでデータ取り出し。
メールだけの使用なんだけど、それなりの値段でまともなサービス無いかな？
Re: (スコア:0)
Suite○を長いこと使ってて不便は特にないですわ。
共用ホスティングで専有IPアドレス1個払い出すから
spammerの巻き添え喰らわないし。
明日は我が身 (スコア:0)
いつ、何が起きても、おかしくない。
先日も、SASのハードディスクが、今までに無い症状が起こり、通常の復旧が出来なく、手間取る・・
鯖管は、仕事辞めない限り、永遠のテーマ。
Re: (スコア:0)
>鯖管は、仕事辞めない限り、永遠のテーマ。
それそれ！
趣味から自宅鯖-->外部構築、今では100%お仕事になっていて、家族5人を養っています。
一応バックアップシステムとか稼働しているのだが、こんな障害ニュースを聞くと、毎日が不安。
夜もおちおち寝られない。
Re: (スコア:0)
やることやってりゃあとはもう俺のせいじゃねぇ。運が悪かったんだよ！で片付ける。
責任取れと言うならいつでも辞めてやるわ。この安月給で代りが見つかると思うなよ！
というスタンスで仕事してるのでたいへん気楽です。
6月19日って。 (スコア:0)
大阪北部地震の翌日だけど、
地震の揺れでHDD逝った、、、。とかないですかねえ？
で、RAIDコントローラにIO負荷集中したとか。
Re:6月19日って。 (スコア:1)
地震の揺れではないけれど、バックアップが走り出すタイミングが集中し、落ちないが落ちそうという微妙な電力使用量になってしまって、HDDが複数逝ってしまったことがあります。
6月19日だとサッカーW杯でコロンビアに日本が勝ってしまった日ですし、それによって負荷が高まる何かを置いていたとしたら影響がないわけではないかも。
そういうこともありますんで、普段から通信量やCPU、使用電力は監視しておかないと。
Re: (スコア:0)
電車が止まって管理者が出勤できなくて、彼が毎朝行っていたオマジナイを実行できなかったとか。
動画配信で (スコア:0)
まったく別の会社ですが、動画配信サーバーを借りていたところ謎の回線切断が断続的に発生。
サーバーを別地域のものに変更したりして一時的に復旧しては再発を繰り返し、契約打ち切ったことがあります。
先方は社長まで出てきて頭は下げますが、原因はさっぱりわからない、の一点張りで、どうにもなりませんでした。
安さにとびついて契約したこっちも阿呆だった、ということを学びの一つとしましたが、やっぱりこの業界、
まだまだ怪しげな部分がヤマほどあるなぁと個人的には思った次第でした。