20140726 jaws-ug chiba AWS operation best practice

クラメソ保守運⽤用担当からみた AWS使っててよかったこと JAWS-‐‑‒UG 千葉葉⽀支部 Vol.4 -‐‑‒ AWS運⽤用縛り 2014/07/26 Kazuki Ueki

⾃自⼰己紹介 •  名前:植⽊木和樹（うえきかずき） •  年年齢:37歳 •  出⾝身:新潟県妙⾼高市（単⾝身赴任中） •  元製造業情報システムG常駐 •  主にUnixサーバエンジニア（監視、保守） •  資格：IPA ITサービスマネージャ　　　IPA システムアーキテクト •  JAWS北北陸陸コアメンバー（JAWS DAYS 2013〜～） •  JAWS埼⽟玉コアメンバー（2013年年8⽉月〜～） •  好きなAWSサービス：SQS classmethod.jp 2 @czkuk

本⽇日は「運⽤用」しばり classmethod.jp 3

ところで保守ってなんだろう？運⽤用ってなんだろう？ classmethod.jp 4

保守 classmethod.jp 5

⽇日本⼯工業規格 JIS X 0161：2008 classmethod.jp 6 保守の種類定義例例改良良保守（ソフトウェア⾃自体の修正）適応保守引渡し後，変化した⼜又は変化している環境において，ソフトウェア製品を使⽤用できるように保ち続けるために実施するソフトウェア製品の修正。 OS新バージョンへの対応／消費税対応完全化保守引渡し後のソフトウェア製品の潜在的な障害が，故障として現れる前に，検出し訂正するための修正。ドキュメントの改善 UIの改善（問題への対応）是正保守ソフトウェア製品の引渡し後に発⾒見見された問題を訂正するために⾏行行う受⾝身の修正。不不具合の修正（リアクティブ）緊急保守是正保守実施までシステム運⽤用を確保するための，計画外で⼀一時的な修正。是正処置実施までの暫定処置予防保守引渡し後のソフトウェア製品の潜在的な障害が運⽤用障害になる前に発⾒見見し，是正を⾏行行うための修正。ミドルウェアアップデート、不不要ファイル削除

つまり「システムが本来あるべき姿」になるよう対応することメンテナンス classmethod.jp 7

運⽤用 classmethod.jp 8

バックアップ監視リソース収集定型業務 classmethod.jp 9

「正常に稼働しているシステム」を⽤用いて実施する業務オペレーション classmethod.jp 10

「正常に稼働しているシステム」を⽤用い「⼿手順やルールに従って」実施する業務オペレーション classmethod.jp 11

⾯面倒？ classmethod.jp 12

classmethod.jp 13 ⾯面倒は全部AWSに任せる

１．障害復復旧２．障害原因調査３．バックアップ４．監視５．リソース収集６．定型業務（よくある）保守運⽤用業務

１．障害復復旧２．障害原因調査３．バックアップ４．監視５．リソース収集６．定型業務保守運⽤用業務

EC2 Stop ↓ EC2 Start これだけ classmethod.jp 16

・突発障害の多くは仮想ホスト障害が原因　仕組み上不不可避・受け⼊入れる・“Design for Failure” 　極⼒力力複数台構成（できればMulti-‐‑‒AZ）　・再起動すればサービス再開する作りにしておく・AutoScalingにしておくとなおよし　（AutoHealing） AWSでの障害復復旧

AWSサポートを活⽤用しましょう classmethod.jp 19

・環境をみて⼀一緒に原因を調べてくれる・客観的に調査してくれる（当事者の思い込み）・ドキュメントへのポインタを教えてくれる・⼿手順やエビデンスはちゃんと伝えましょう・EC2 retirement、RI期限切切れの通知（β？）・ec2 abuse Report（踏み台とか）・ベーシックは無料料。「開発者」は約5千円/⽉月 AWSサポートは素晴らしい

スナップショット取りましょう classmethod.jp 22

・RDSならスケジュールで⾃自動・ちゃんと取れてるかはTrusted Advisor参照・EBSには「ソンナコトモアロウカト」オススメ　EBSにタグ設定するだけで⾃自動世代管理理　1クリックで毎⽇日スナップショットを⾃自動取得〜～ソンナコトモアロウカト編｜ Developers.IO ・リストア／リカバリ⼿手順も確認してる？バックアップが簡単

CloudWatch 使いましょう classmethod.jp 25

・インスタンス作成後「すぐに」情報収集・気になる項⽬目にはアラーム設定・⾜足りない項⽬目はカスタムメトリクスで　（ディスク使⽤用率率率、メモリ使⽤用率率率など）・監視項⽬目数が膨⼤大なのでZabbixなど利利⽤用すべき　（ログ監視、RDSイベント監視なども） CloudWatchによる監視

やっぱり CloudWatch 使いましょう classmethod.jp 28

・CloudWatchの保存期間は2週間のみ・CloudWatchはOSより下のみ・⾜足りない項⽬目も多いのでZabbixなどと併⽤用　（特にRDSまわり）・Web１台構成でもELBは⼊入れておくと良良い　リクエスト数、レイテンシ、HTTPステータスコード　リソース収集

aws-‐‑‒cli classmethod.jp 31

・運⽤用はドキュメントドリブンで・マウスでのオペレーションは意外と難易易度度⾼高い　⼿手順書作りも⼤大変（→ ⼿手順書作ってくれない）・コマンドコピペでOK、操作ログ、複数処理理実⾏行行・Zabbixから⾃自動実⾏行行もコマンドラインによる定型業務

１．障害復復旧：Stop/Start ２．障害原因調査：AWSサポート３．バックアップ：⾃自動スナップショット４．監視：CloudWatch ５．リソース収集：CloudWatch ６．定型業務：aws-‐‑‒cli 保守運⽤用業務まとめ AWSで⾃自動化・省省⼒力力化が可能

ところであなたのAWSは健全ですか？ classmethod.jp 34

⽇日本⼯工業規格 JIS X 0161：2008 classmethod.jp 35 保守の種類定義例例改良良保守（ソフトウェア⾃自体の修正）適応保守引渡し後，変化した⼜又は変化している環境において，ソフトウェア製品を使⽤用できるように保ち続けるために実施するソフトウェア製品の修正。 OS新バージョンへの対応／消費税対応完全化保守引渡し後のソフトウェア製品の潜在的な障害が，故障として現れる前に，検出し訂正するための修正。ドキュメントの改善 UIの改善（問題への対応）是正保守ソフトウェア製品の引渡し後に発⾒見見された問題を訂正するために⾏行行う受⾝身の修正。不不具合の修正（リアクティブ）緊急保守是正保守実施までシステム運⽤用を確保するための，計画外で⼀一時的な修正。是正処置実施までの暫定処置予防保守引渡し後のソフトウェア製品の潜在的な障害が運⽤用障害になる前に発⾒見見し，是正を⾏行行うための修正。ミドルウェアアップデート、不不要ファイル削除

やっぱり AWSサポート classmethod.jp 36

■電話、チャット・24時間年年中無休・ELB暖気（Pre-‐‑‒Warming） ■Trusted Advisor ★イチオシ！　・コスト最適化（RI推奨、EIPつけ忘れ）　・セキュリティ（全開放のポート検知）　・耐障害性（スナップショット取り忘れ）　・パフォーマンス（上限数警告、EBS最適化） ■100 USD または AWS使⽤用料料の10% 　・⽉月額使⽤用料料が10万円までなら⽉月1万円　・契約は⽉月単位ビジネスサポートがおすすめ

Operational Checklists for AWS

先ほど公開しました

予防保守が⼤大事検証が⼤大事事前チェックが⼤大事 classmethod.jp 40

ご清聴ありがとうございました classmethod.jp 41

参考資料料（1/2） u  JIS X 0161:2008（ソフトウェアライフサイクルプロセスー保守） http://ja.wikipedia.org/wiki/ソフトウェア保守 u  Amazon EC2 インスタンスに関するよくある質問「Q: インスタンスが応答しなくなったときは、どうすればよいですか?」 http://aws.amazon.com/jp/instance-‐‑‒help/ u  AWSサポート https://aws.amazon.com/jp/premiumsupport/ u  1クリックで毎⽇日スナップショットを⾃自動取得〜～ソンナコトモアロウカト編｜ Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒cfn-‐‑‒advent-‐‑‒calendar-‐‑‒2013-‐‑‒snapshot/ u  aws-‐‑‒missing-‐‑‒tools/ec2-‐‑‒automate-‐‑‒backup ·∙ GitHub https://github.com/colinbjohnson/aws-‐‑‒missing-‐‑‒tools/tree/master/ec2-‐‑‒automate-‐‑‒backup

参考資料料（2/2） u  ELBの挙動とCloudWatchメトリクスの読み⽅方を徹底的に理理解する｜ Developers.IO http://dev.classmethod.jp/cloud/aws/elb-‐‑‒and-‐‑‒cloudwatch-‐‑‒metrics-‐‑‒in-‐‑‒depth/ u  グラフの確認⽅方法と確認できるグラフ⼀一覧(EC2/ELB/RDS) ｜ Developers.IO http://dev.classmethod.jp/cloud/aws/cloudwatch-‐‑‒can-‐‑‒be-‐‑‒seen-‐‑‒graph/ u  Operational Checklists for AWS http://aws.amazon.com/jp/whitepapers/operational-‐‑‒checklists-‐‑‒for-‐‑‒aws/ u  これからAWSを始める⼈人は⼀一読すべき「AWS運⽤用チェックリスト」を読んでみた｜ Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒operational-‐‑‒checklist/

20140726 jaws-ug chiba AWS operation best practice

by Kazuki Ueki, Working at クラスメソッド株式会社

on Jul 26, 2014

Statistics

Views

Actions

2 Embeds 41

Accessibility

Categories

Upload Details

Usage Rights

Report content

20140726 jaws-ug chiba AWS operation best practice Presentation Transcript

http://www.totalsolution.biz	28
http://moomindani.wordpress.com	13