録画障害に対応した話。
- 2015/04/28
- 02:41
それとなく foltia ANIME LOCKER 4.0
の録画が失敗し、連鎖爆発したので対応して直しました。

エラーログを確認すると以下のメッセージが出ています。
could not access status of transaction 0
どうやら postgres 側での障害のようです。
Webで調べてみて原因、復旧などを一読後、一考し再起動してみました。
とりあえず、戻った様子。
録画はできるようになりました。
しかし、今度はログを確認すると以下のメッセージが出ています。
Apr 28 hh:mm:ss foltia atd[nnnn]: File hogehoge is in wrong format - aborting
再更新するたびに書き込まれています。
atdのスケジュールを確認します。
# atq
NNNN YYYY-MM-DD hh:mm a foltia
・・・
・・
・
(省略)
ずらーーーーっと出てきます。
過去が混じっています。
え?って感じです。
どうやらミスったところのスケジュールがある関係で変になった様子?
atrm で試しに1つ消してみました。
# atrm NNNN
atq を打って何回か確認したところ、減ったと思ったら、どかーっと増えました。
・・・まじか。
ログを確認すると勢いを増してログが増えていきます。
・・・ま、まじか。
そうだ!一旦無かったことにしましょう!(笑)
atのジョブを全削除します。
# atq | awk '{print "at -d " $1}' | bash
スケジュールがばっさり消えてエラーログが止まりました。
よしよし。
直近のスケジュールが数個残りましたが、とりあえず変な増え方はしないようです。
残りは atrm で消しました。
後は予約管理の編集から再度予約を押すと、直近のスケジュールが追加されていきました。
全てのスケジュールを再登録後、一応再起動をしてみても変化はないです。
試しに直近の予約を追加し録画してみました。
ちゃんと録画されているようです。
バックアップのテストと称してm2tファイルを 物理的に ごそっとストレージに移動しました。
DB、メタデータはありますが、ファイルが無い状態です。
移動直後は録画一覧は変わらないのですが、何かのタイミングで反映されてテーブル数が減ります。
完全な勘ですが、このあたりかなと思っています。
ストレージにはコピー後、Webから項目削除でDBと整合性を保つのが普通ですかね。ですよね。
今度からはそれで運用してみようかと思います。
いやぁ、壊れたかと思いました。
まぁ、壊したんですが(笑)
直ってよかったです。
比較的早く気づいたので特にまぁ問題なしってことで。

録画がされていないことに気づく
エラーログを確認すると以下のメッセージが出ています。
could not access status of transaction 0
どうやら postgres 側での障害のようです。
Webで調べてみて原因、復旧などを一読後、一考し再起動してみました。
とりあえず、戻った様子。
録画はできるようになりました。
atdのスケジュールが暴走
しかし、今度はログを確認すると以下のメッセージが出ています。
Apr 28 hh:mm:ss foltia atd[nnnn]: File hogehoge is in wrong format - aborting
再更新するたびに書き込まれています。
atdのスケジュールを確認します。
# atq
NNNN YYYY-MM-DD hh:mm a foltia
・・・
・・
・
(省略)
ずらーーーーっと出てきます。
過去が混じっています。
え?って感じです。
どうやらミスったところのスケジュールがある関係で変になった様子?
atrm で試しに1つ消してみました。
# atrm NNNN
atq を打って何回か確認したところ、減ったと思ったら、どかーっと増えました。
・・・まじか。
ログを確認すると勢いを増してログが増えていきます。
・・・ま、まじか。
そうだ!一旦無かったことにしましょう!(笑)
atのジョブを全削除します。
# atq | awk '{print "at -d " $1}' | bash
スケジュールがばっさり消えてエラーログが止まりました。
よしよし。
直近のスケジュールが数個残りましたが、とりあえず変な増え方はしないようです。
残りは atrm で消しました。
予約再登録
後は予約管理の編集から再度予約を押すと、直近のスケジュールが追加されていきました。
全てのスケジュールを再登録後、一応再起動をしてみても変化はないです。
試しに直近の予約を追加し録画してみました。
ちゃんと録画されているようです。
原因の心当たり
バックアップのテストと称してm2tファイルを 物理的に ごそっとストレージに移動しました。
DB、メタデータはありますが、ファイルが無い状態です。
移動直後は録画一覧は変わらないのですが、何かのタイミングで反映されてテーブル数が減ります。
完全な勘ですが、このあたりかなと思っています。
ストレージにはコピー後、Webから項目削除でDBと整合性を保つのが普通ですかね。ですよね。
今度からはそれで運用してみようかと思います。
いやぁ、壊れたかと思いました。
まぁ、壊したんですが(笑)
直ってよかったです。
比較的早く気づいたので特にまぁ問題なしってことで。
- 関連記事
- AndroidにPocketGit、FuelPHP 1.7.3 にAspectMockを追加してみた。 (06/28)
- AndroidにLEMP環境を構築して FuelPHP 1.7.3 を動かしてみた。 (06/13)
- 録画障害に対応した話。 (04/28)
- Qloud Media のために foltia の録画ファイルをスプリットにしてみた話。 (04/26)
- Intel NUC DN2820FYKH の Linux Mint 17.1 上で foltia(CentOS)を仮想化してみた。 (04/22)
- H.264圧縮環境の整備 と HandBrakeCLIでQSVを使って圧縮するPowerShellスクリプト。 (04/18)
- foltiaの録画ファイル名を自動で変更するRubyスクリプト。 (04/14)