(cache) ftp-adminの憂鬱

2014年7月8日火曜日

過負荷で接続が困難です

今朝リリースされたCentOS 7へのアクセスが殺到しているため、昼過ぎからftp.jaist.ac.jpへの接続が困難になっています。14時過ぎにはロードアベレージが900を超えました。過去の例では、この辺で処理が詰まって応答しなくなるのでユーザーから見放してもらえるのですが、今回はロードアベレージが1000を超えても処理が継続しているため、負荷が下がらない状況となっています。

どうにもならないので、18時の段階でCentOS 7のディレクトリのパーミッションを落としました。アクセスすると403 Forbiddenになります。CentOS 7をダウンロードする際には以下のいずれかのミラーを使ってください。

[2014/7/9 13:25 追記]
CentOS 7のパーミッションはすでに上げてありますが、引き続きほかのミラーへの負荷分散をお願いします。

2014年5月10日土曜日

PC-BSDのミラーをやめました。ずいぶん前にCDNに移行してミラーを使わなくなるとアナウンスが出ていましたが、ミラーの管理人のメーリングリストには、CDNからミラーできるようにするとの案内が来ていたので様子を見ていました。しかし最近、案内がないままミラーのマスターサーバーであるisc.pcbsd.orgが応答しなくなったので、本当にミラーは不要になったのだと判断し、PC-BSDのミラーをftp.jaist.ac.jpから削除しました。

2014年2月15日土曜日

今月はちょっと苦しいです

以下に示したのは、ftp.jaist.ac.jpの一日平均のトラフィックの一年間のグラフです。2月に入ってSourceForge.netの台湾のミラーが一つ止まったため、アジアからのアクセスが増えて急にトラフィックが増えています。

この影響でストレージの負荷がかなり増えていて、キャッシュから外れたI/Oのレスポンスが遅くなる傾向があります。以前説明したように、rsyncによるアクセスはキャッシュミスが多いので、ファイルの転送が遅くなることがあります。

台湾のミラーの停止は一時的なもののようですので、復活すれば性能は戻ると思います。しかし、上のグラフは明らかに単調増加しているので、この調子で行くと今年中に詰みますね。一日も早くハードウェアをリプレースしてほしいです。

2013年12月29日日曜日

ZFSの空き容量には気を付けよう

空き容量の少ない状態で運用してはいけないことは、ZFSを運用する際の常識です。ファイルシステムに書き込むときにコピーオンライトするため、必ずコピーが行われます。空き容量に余裕がないと連続する空き領域を確保できず、書き込みが致命的に遅くなります。そして削除のときもメタデータのコピーが必要なので、空き容量が少ないと削除も致命的に遅くなります。空き領域が足りないのに削除が遅いので詰みます。

ZFSで使用量が90%を超えるのはかなり危険です。しかし、ftp.jaist.ac.jpのZFSの使用量は90%を超えても何の問題もなく、95%に達してもなお問題ありませんでした。書き換えが少ないなら、ぎりぎりまで使っても平気なのかと思っていたのですが、そんなに甘くはありませんでした。Fedora 20をミラーした直後に書き込み性能が大きく低下し、ほかのミラーがとどこおるようになりました。

そこで空き領域を確保するために、まずobsoleteなFreeBSDのpkgngの非公式なミラーと、Scientific Linuxのバージョン4以前のファイルを削除しました。DebianのISOイメージは、古いものから最新のビルドまであらゆるものをミラーしていたのですが、最新のリリース版を残して削除しました。これで使用量は85%まで減りました。

ストレージの容量を増やす方法については現在検討中です。増えたらDebianのすべてのISOイメージのミラーは復活させるつもりです。