Internetトラフィックエンジニアリングの現実

4. 4© J-Stream Inc. All Rights Reserved. Internetトラフィックエンジニアリング速度制御・シェーピング・ペーシング透過型プロキシー・コンテンツ変換複製(網側) ・TCP Proxy 経路制御・BGP CDN ・リクエストルーティング・コンテンツ複製(サーバ側) 広義：IPネットワーク運用におけるパフォーマンス評価と最適化狭義：(大量の)Internetトラフィックを上手くコントロール(経路制御)すること優先処理・VoLTE グローバルDC ・エニキャスト今日のお話

5. 5© J-Stream Inc. All Rights Reserved. Internetトラフィックエンジニアリング  関連閉域網(VPN)：MPLS TE 交通（土木工学)：交通制御 (Traffic Engineering) RFC 2702 Requirements for Traffic Engineering Over MPLS RFC 3346 Applicability Statement for Traffic Engineering with MPLS

6. 6© J-Stream Inc. All Rights Reserved. Internetトラフィック管理の難しさ  Internet  ネットワークを相互接続させたネットワーク(分散協調ネットワーク)  ピアリング、トランジット  Internetトラフィック  複数の事業者・ネットワークを通過  配信、DC、IX、トランジット、ISP  トラフィック取引  トラフィック＝お金

7. 7© J-Stream Inc. All Rights Reserved. ネットワークの中立性問題（コスト負担問題）  誰がInternetのコストを負担するか？  ユーザ（ISP)とサーバ（OTT)のパワーゲーム（費用の押し付け合い）による全体最適化  パワーゲーム＝ユーザを人質としたチキンゲーム  例：OTTとISP間の回線容量が足りない  OTT→ISP：このままだとISPユーザ減るよ！  ISP→OTT：このままだとOTTユーザ減るよ！ Internet 配信費用ネット利用料

8. 8© J-Stream Inc. All Rights Reserved. 米国事例  2010～2014年（自社CDN以前)  巨人2社  VoD：Netflix (2014末：約4,000万加入(2016末約5,100万加入) )  ブロードバンド接続：Comcat(2014末約2,200万加入(2016末約2,400万加入))  両社間の接続  対等(無料ピアリング)  Netflixトラフィック増加とともに接続性が悪化(2013年10月ごろ)  Comcastがピアリングの有料化をNetflixに要求  Netflixが配信料をComcastに支払うことで合意(2014年2月)

9. 9© J-Stream Inc. All Rights Reserved. コスト負担問題  現状とトレンド  国内固定網：だいたいバランス？  消費者ISP市場規模：数千億円※1  配信市場規模：数千億円※2  国内モバイル網：ユーザがInternetを維持  データ通信市場規模：数兆円  配信市場規模：数千億円  ゼロレーティング  モバイルネット利用料を配信側が負担 Internet 配信費用ネット利用料 ※1：足回り(光ファイバ)含めると2兆円弱 ※2：配信市場規模：DC等回線＋CDN (CDN単体市場は数百億程度)

13. 13© J-Stream Inc. All Rights Reserved. グローバルDC  特徴  自社だけで全世界をカバー  だれとでも無料ピアリング（トランジット販売無し）  技術  エニキャスト：網内に同一IPサーバを複数配置  コールドポテト：できるだけユーザに近い所からトラフィックを出す ISP ISP 8.8.8.8 8.8.8.8 ISP コールドポテトホットポテト

14. 14© J-Stream Inc. All Rights Reserved. インタラクティブ通信のエンジニアリング  ローバルDC：コールドポテト  最大限、グローバルDCの国際ネットワークを使う  品質管理が容易（一般に高品質）  ホップ（中継ルータ）数が減る（レイテンシ向上）  CDN:CDNサーバ間の特殊処理  CDN専用バックボーン  専用（わがまま：公平性無視）プロトコルオリジンサーバCDNサーバ CDNサーバ TCP TCP 特殊プロトコル CDN専用バックボーン

15. 15© J-Stream Inc. All Rights Reserved. BGP  BGP基本１、それぞれのネットワークが経路情報（＋ポリシー）を外部に広報  受け取りたい：経路広報  受け取りたくない：PATHプリペンド（ダミーパス追加）２、それぞれは（1が正しいと信じて）経路テーブルを作成経路情報経路情報経路情報経路情報経路情報経路情報経路情報経路情報経路テーブル経路テーブル経路テーブル経路テーブル

16. 16© J-Stream Inc. All Rights Reserved. BGPの特徴  BGP  受信トラフィック  Internet全体に対しある程度のコントロールが可能  ポリシーは伝播される  受信ポリシーの広報  分散協調システムにおける「ある1つのネットワークの希望する経路」  送信側がそのポリシーを遵守しない場合もある  送信トラフィック  Internet全体に対するコントロールはできない  ポリシーの伝播なし  送信ポリシーは自ネットワークの出口制御まで、その先の制御は、その先のネットワークにお願い

17. 17© J-Stream Inc. All Rights Reserved. 配信事業者の視点  BGPトラフィックエンジニアリング  できること  出来るだけ多くのISPとピアリング（一般なコスト：トランジット＞ピアリング）  (配信事業者に)安いトランジットISPを上手く使う  送信トラフィックの制御は難しい  まだまだ頑張りたい  配信コストの9割以上を占める回線費用を圧縮  配信コストの内訳  サーバ費用：回線・ルータ費用＝1：10～  CDN技術の積極活用  アグレッシブな送信制御

24. 24© J-Stream Inc. All Rights Reserved. CDN活用：巨大キャリアのCDNコントロール  国内ISP  CDNサーバは、国内ISPではなく、国際ISPに置かせる  国際ISP  ①CDNサーバから配信料を徴収  ②CDNが配信したトラフィックを他のISPにトランジットとして販売  巨大キャリア  ③そのCDNの有力代理店国際ISP日本国内国内ISP ISPs ISPs 巨大キャリア・国内ISP(AS)と国際ISP(AS)を持つ通信キャリア一粒で3度美味しい

25. 25© J-Stream Inc. All Rights Reserved. CDN利用方法  OTT事業者のCDN利用形態  単独CDNから、マルチCDN、自社CDNへの移行が進む出典：OTT Video Services (2017) http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION- OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm 利用形態 OTT事業者数単独(汎用)CDN 30% マルチ(汎用)CDN 48% 自社CDN 22%

26. 26© J-Stream Inc. All Rights Reserved. マルチCDN  複数のCDNを使ったトラフィックエンジニアリングユースケース概要ラウンドロビン一定比率で複数のCDNを利用国別切替国別に使用するCDNを選択ベストパフォーマンス地域別、時間別で最速のCDNを利用バックアッププライマリCDNがダウンした時にバックアップCDNを利用オーバーフロープライマリCDNの利用量が一定以上になった時、セカンダリCDNのみを利用バースト対応 (ハイブリッドCDN) オンプレミス設備or自社CDNの帯域を使い切った時、汎用CDNを追加利用最小コスト一定条件(最低速度)の元で最小コストのCDNを利用

27. 27© J-Stream Inc. All Rights Reserved. 自社専用CDNの普及（北米、2016年下期）  ハイパージャイアントは自社専用CDNを構築、運用  固定網： 56.94% (マルチCDN利用も含むと61.74%）  モバイル網： 24.59% (マルチCDN利用も含むと41.58%）  背景  配信トラフィック自社トラフィック > 汎用CDN 固定:56.94% モバイル:24.59% Netflix 35.15 % Youtube 20.87 % Youtube 17.53 % Facebook 13.97 % Amazon Video 4.26 % HTTP - Other 9.36 % HTTP - Other 4.19 % SSL - Other 6.85 % iTunes 2.91 % Instagram 6.66 % Hulu 2.68 % Snapchat 5.17 % SSL - Other 2.53 % Netflix 3.72 % Xbox One 2.18 % iTunes 3.02 % Facebook 1.89 % Google Cloud 2.87 % BitTorrent 1.73 % MPEG - Other 2.37 % サービス別トラフィック出典：Sandvine Global Internet Phenomena https://www.sandvine.com/trends/global-internet-phenomena/

28. 28© J-Stream Inc. All Rights Reserved. 自社専用CDN  2010年ごろまで  ハイパージャイアントも汎用CDNサービス（Akamai等）を使用  汎用CDNがInternetを支配（半分程度のトラフィックを配信）  2017年現在  Internetのビデオ化が顕著（トラフィックの7割以上はビデオ）  一部OTTがビデオマーケットを寡占  有料VoD：Netflix  無料VoD：Youtube  自社専用CDNへ切り替え  自社専用CDNがInternetを支配（半分以上のトラフィックを配信）

29. 29© J-Stream Inc. All Rights Reserved. 自社専用CDN背景  背景・メリット・デメリット大項目補足背景 CDNサーバの低廉化・オープンソースHTTPサーバソフトウェアの成熟（Cacheモード）動画のHTTP化・オープンソースHTTPサーバが利用可能メリット柔軟・詳細・シンプルな運用・共用運用の煩雑さ無し・設定コンソール不要・コンフィグ直設定による詳細設定・消費者行動分析による複製管理デメリット規模が必要

30. 30© J-Stream Inc. All Rights Reserved. 複製管理のトレンド  CDNトレンド：単純配信から全体管理へ  背景  自社専用CDNの普及  汎用CDN  設備が余る⇒大幅ディスカウント（Akamaiでもメディア配信は減収減益）  配信のみでは儲からない⇒サービス全体の受託を目指す  垂直統合（CDN＋OVP(Online Video Platform)＋顧客DB）  配信管理＋コンテンツ管理＋ユーザ管理  複製はハイブリッド（ミラー＋キャッシュ）利用  予測可能な人気コンテンツ：ミラー  コンテンツの属性分析、ユーザ行動分析  その他（ロングテール）：キャッシュ

33. 33© J-Stream Inc. All Rights Reserved. おわりに  Internetトラフィックエンジニアリング  パワーゲームの武器  Internetトラフィックエンジニアリングのトレンド  BGP→汎用CDN→マルチCDN→自社CDN  Internetの今後  メディア配信プラットフォームへ  双方向通信はおまけ  パワーゲームによる単純化、集約  基本構造の変化  より高度な配信・複製管理  ユーザの行動分析(ビッグデータ解析)