Transcript

• 1. AWS Storage gateway の使用レポート Takayuki Saito @taka3110_pcc
• 2. 自己紹介 工場への人材営業から24/365のIT運用スタッフへ転身という変わった経歴をもち、 IT運用スペシャリストを目指す現場主義のエンジニア。またの名を復旧請負人。 NW設計からクエリチューニングまでマルチレイヤでの対応をモットーとしている。 現在は某MSPにて誰もが幸せになれる、愛されるIT運用を実現すべく日々奮闘中。 コードネームはドン。 Zabbix認定スペシャリスト / AWS認定SA 第３回チューニンガソン 入賞 インストールマニアックスFinal 準優勝 Takayuki Saito (斉藤 孝之) @taka3110_pcc https://github.com/taka3110 https://www.chatwork.com/don
• 3. menu • AWS StorageGatewayの特徴 • 今回試した構成 • 追加EBS、samba共有との性能比較 • EBSとの料金比較 • 結果 ※本資料は2014/05/07時点での検証結果に基づく資料です。
• 4. AWS storage gatewayの特徴 ◎ iSCSI接続が可能 ◎ 容量がほぼ無限 (EBSは20TiB) • よく使うファイルをEBSに置く (キャッシュ/バッファ)事で、S3でも低レイテンシ接続が可能 • 仮想テープ/バックアップ・DR用などに分かれており、用途によって使い分けが可能 • スナップショット等、バックアップが簡単に取得出来る • 直接オンプレ仮想環境に接続させる事も可能だし、EC2でGatewayすることも可能 • などが、凄い詳しく載っている資料は↓ http://www.slideshare.net/AmazonWebServicesJapan/20130515-aws- meisterregeneratestoragegwpublic by AWS北迫さん
• 5. 今回試した構成 • などの、作り方が凄い詳しく載っている資料は↓ http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.html by アイレット miura satoruさん iSCSI m1.xLarge StorageGateway instance t1.micro FileServer Windows2008R2 5GB normal Upload Buffer 5GB normal Local Cache 100GB Volume Storage StorageGateway atatched atatched Office Internet Client Client FileSharing
• 6. 今回試した構成 • などの、作り方が凄い詳しく載っている資料は↓ http://memocra.blogspot.jp/2013/02/storage-gatewayec2centoss3.html by アイレット miura satoruさん iSCSI m1.xLarge StorageGateway instance t1.micro FileServer Windows2008R2 5GB normal Upload Buffer 5GB normal Local Cache 100GB Volume Storage StorageGateway atatched atatched Office Internet Client Client FileSharing NTFSフォーマットネットワーク 共有ドライブ
• 7. 追加EBS、samba共有との性能比較 • FileServer上から「 CrystalDiskMark 」を使用して性能比較 http://crystalmark.info/ iSCSI m1.xlarge StorageGateway instance t1.micro FileServer Windows2008R2 5GB normal Upload Buffer 5GB normal Local Cache 100GB Volume Storage StorageGateway atatched atatched Office Internet Client Client FileSharing FileServer上で実施
• 8. 追加EBS、samba共有との性能比較 • 測定内容 シーケンシャルのread/write速度 512KB、4KBのランダムread/write速度 • 実施内容 測定回数：2回 測定バイト数：50MB ※課金が見えなかったので、かなり控えめ(最低条件)実施。 参考程度の扱いでお願いします。 ※SMB共有はEBS(OS)をubuntu上でsambaを起動 し、ネットワークドライブとしてwindowsで認識させたもの。 s3fsでマウントした領域をsmbで共有した状態での テストも実施しましたが、そもそも書き込めませんでした。 EBS (OS) EBS (追加) SMB 共有 Storage GW 単位[MB/S] Read Write Read Write Read Write Read Write シーケンシャル 103.1 29.34 99.14 27.90 8.626 8.425 13.95 11.07 512KB ランダム 98.89 25.78 95.47 24.82 8.836 10.35 12.87 10.70 4KB ランダム 7.808 1.290 7.615 1.175 1.732 1.001 1.012 0.442 4KB Queue Depth = 32 46.12 8.717 62.53 9.235 8.242 8.196 11.41 4.736
• 9. 追加EBS、samba共有との性能比較 103.1 98.89 7.808 46.12 99.14 95.47 7.615 62.53 8.626 8.836 1.732 8.242 13.95 12.87 1.012 11.41 0 20 40 60 80 100 120 Seq 512K 4K 4KQD32 MB/S テスト項目 READ EBS(OS) EBS(追加) SMB共有 StorageGW
• 10. 追加EBS、samba共有との性能比較 29.34 25.78 1.29 8.717 27.9 24.82 1.175 9.2358.425 10.35 1.001 8.196 11.07 10.07 0.442 4.736 0 5 10 15 20 25 30 35 Seq 512K 4K 4KQD32 MB/S テスト項目 WRITE EBS(OS) EBS(追加) SMB共有 StorageGW
• 11. EBSとの料金比較 • EBSをファイルサーバストレージとする場合と StorageGatewayをストレージにする場合で 料金を比較 • StorageGatewayをEC2上で使う為、 専用インスタンス(m3.xlarge以上)を使用 ※今回はm3.xlargeで計算 • FileServer用インスタンスを用意 ※今回はm3.mediumで計算 • StorageGatewayはEBSが2つ (cache+buffer) 必要 • StorageGatewayはVolumeが安いが、必 要なものが多い為、単純に容量比較をした場 合はEBSより高くなる。 iSCSI m3.xlarge StorageGateway instance m3.medium FileServer Windows2008R2 normal Upload Buffer normal Local Cache Volume Storage StorageGateway atatched atatched m3.medium FileServer Windows2008R2 atatched normal Storage StorageGatewa y EBS
• 12. EBSとの料金比較 • 固定費 EBS/StorageGW双方 FileServer(m3.medium)＝2,538円 StorageGWのみ 専用インスタンス(m3.xlarge)＝10,103 円 • ストレージ費用 EBS Volume 1GB＝8.24円 StorageGateway Volume 1GB＝3.399円 ※インスタンスの月額は全て1年重度使用のリザーブドイン スタンス(初期費用を12分割して足したもの)で計算 ※1ドル=103円で計算 ※StorageGatewayのバッファ/キャッシュは、それぞれ容 量の1/5として計算。(上限は1TBとする) ※右表と別で通信料が必要となる。 容量(GB) EBS月額 Storage Gateway月額 500 ¥ 6,657 ¥ 28,245 1000 ¥ 10,777 ¥ 31,592 2000 ¥ 19,017 ¥ 38,287 3000 ¥ 27,257 ¥ 44,982 4000 ¥ 35,497 ¥ 51,677 5000 ¥ 43,737 ¥ 58,372 6000 ¥ 51,977 ¥ 61,771 7000 ¥ 60,217 ¥ 65,170 8000 ¥ 68,457 ¥ 68,569 9000 ¥ 76,697 ¥ 71,968 10000 ¥ 84,937 ¥ 75,367
• 13. 結果 • Buffer/Cacheの容量を計算し、適切に見積もる事でStorageGatewayはFileServerとして 使用するに十分に足りるレイテンシを確保可能 • S3を使用する事で99.999999999%の堅牢性を保持している為、バックアップやDRに対する 運用コストを削減し、ファイル誤操作に対する運用に注力できる。 • 規模によってはStorageGatewayの方が費用が高くなる。Buffer/Cacheの容量次第だが、単 純比較では8000GB以上でお得に。 容量計算方法： http://understeer.hatenablog.com/entry/2012/02/02/072607 understeerさん awsmemoより • SMB共有やNFSよりもある程度低レイテンシで接続が出来るようなイメージ。 • 以下のような構成例の他、Glacierと連携させる事で使わない画像データ等にも有効に使える。 医療やアニメ等の画像データ、Web上で蓄積させる為のデータには都合が良さそう。 http://aws.amazon.com/jp/cdp/fileserver/?utm_source=AWS&utm_medium=aw swebsite&utm_campaign=LP_jpcdp&00N500000026nJd=LP_jpcdp