100 G超通信時代の安定した高品質な伝送インフラ構築づくり

1. 100G超通信時代の安定した高品質な伝送インフラ構築づくり 2016年3月4日アルテリア・ネットワークス株式会社小野寺智広 t.onodera@arteria-net.com 【QUNOG4 in Beppu】【公開用】

2. 1Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 本日の内容現在、キャリアの基幹網や一部ユーザーで100GbE回線の運用が始まってきた。実際、弊社の一部基幹網も100G対応となっているしかし、高速化通信を行ううえで、いろいろな課題が見えどう対策を行うかが重要となってきた今回は、弊社での実際の構築内容をもとに、事例や課題などを皆さんと共有します

3. 2Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 発表者紹介  小野寺智広（おのでらともひろ） – アルテリア・ネットワークス株式会社 • 旧グローバルアクセスに入社 – 専用線の開通に関わる設計、開通調整工事調整、回線構築全般を担当 • 最近は、対外発表も – 前職はTTNet（P-COM）/Tepco/KDDI 関連の通信建設工事全般に従事 • FTTH、専用線、広域イーサ、SDH/PDH網、電話交換マイクロ無線、CATV網、映像伝送、携帯電話関連電力、局舎整備  活動中 – BICSI日本支部幹事委員（教育担当/IT担当） – wakamonog Committee Member – Interop Tokyo ShowNet NOC Member （Facility/伝送担当） – JANOG、QUNOG、QGPOP、はこだてIKA他各種Communityに参加中

4. 3Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 自己紹介  セミナー、勉強会 – BICSI日本支部主催技術セミナー • 「基礎から学ぼう～物理レイヤの初級編～」 – 九州地区CATV事業者向けインフラ勉強会 – wakamonog meeting#8 • 物理レイヤーの話（仮） – JPIX ケーブリングハンズオン – Internet Week 2015 • できる網設計 – 電力系NCC勉強会 • 安定したネットワークを提供するためのラック内環境を考えてみる – 他、JANOGや各種プライベートセミナーにて発表

7. 6Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. ARTERIAとは？ 1997 2000 2000 2000 グローバルアクセス設立グローバルソリューション設立ユーズコミュニケーション設立メディア設立 2005 ＵＣＯＭに商号変更 2007 ㈱ヴェクタントに商号変更 2007 2014 ＵＣＯＭがメディアを吸収合併 2010 グローバルアクセスがヴェクタントを吸収し丸紅アクセスソリューションズに商号変更丸紅アクセスソリューションズとＵＣＯＭが合併しアルテリア・ネットワークスに商号変更認定電気通信事業者（旧第1種電気通信事業者）

8. 7Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. サービス提供エリア（ダイナイーサ）志摩LS Com SpaceⅠ 東京アクセスセンター名古屋アクセスセンター大阪アクセスセンター ComSpace West Com SpaceⅡ 福岡アクセスセンター北茨城GW 阿字ヶ浦LS 千倉GW EAC JUSCN PC-1 APCN-2 JUSCN EAC PC-1 APCN-2 JUSCN Korea-Japan 丸山GW 大垣アクセスセンター TGN 金沢福井富山上越長野前橋神戸岡山広島福岡大阪京都大津名古屋四日市静岡横浜水戸草加高知松山高松さいたま郡山仙台いわき長崎大分宇都宮自前ケーブルが無いエリアも、他電気通信事業者等と相互接続することにより全国にてサービス提供可能（相互接続により全国エリアで提供可能）現在、エリア拡大中！！

9. 8Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 弊社ネットワークの特徴 • 各通信事業者、ISP事業者の多くの企業に利用されている – GAL設立当初より、キャリアズキャリア • 他事業者のコア回線部分が弊社回線っていうのは結構存在する • 裏方的な通信事業者（最近は表に出てくることが多いけど） – 比較的遅延が短いこと • 専用線より広域イーサの方が遅延が短いなんて箇所も… • 基幹網部分は自前DFメイン、アクセスは他社DFメイン – NTT東西-DFは圧倒的 – KDDI、電力系NCC、NTT-Com、CATV、鉄道事業者、 SoftBank、国交省等から調達

10. 9Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 弊社ネットワークの特徴 • 他通信事業者との組み合わせ容量回線、ファイバーネットワークの構築が得意 – 通信事業者なのに、他社のサービスを販売することがある • 相互接続回線 – 他社の回線をUNI/NNIで接続し、その回線含めて提供 • 再販回線 – 開通や保守はサービス提供会社にて実施 – 申込みと支払いは弊社宛に – 直接申込するよりも経由することで安い金額になる場合も

11. 10Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 弊社ネットワークの特徴 • シンプルなネットワーク – ダイナイーサ・ワイドは他社に負けないシンプルな構成 • L2 only Network（L3 routing なんてしていません。VLAN大好き） • 多くてEdge-Core-Core-Edgeの4段のL2-SWしか経由しないアクセス部分は全てMCにお任せ • （今のところ）広域イーサのわりに専用線とほぼ同じ帯域管理 – ある種贅沢な使い方 • 残念ながら、エリアが限定的 – 他社のように広範囲でのサービス展開は競合することが多いのであえて、設備拡充は行わない

14. 13Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. どちらがコストが高い？ Fast Ethernet 2回線以上 Gigabit Ethernet 1回線旧来のシステムでは、上位がGbEをベースに作っていたため、実は、FEを作る場合はその配下に更に速度変換装置をいれないといけない為相対的にコストが高くなるなので、FEを2回線以上入れるなら、GbEを1回線で「値段をもうちょっと頑張って！」って営業に言う方がFE回線に近い金額でなることがある

16. 15Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. どちらがコストが高い？ 10Gigabit Ethernet 2回線以上 100Gigabit Ethernet 1回線これは、単純にインターフェースの値段がまだ100GbE回線の方が圧倒的に高いためただし、今後1～2年程でインターフェースの金額が下がることが予想されるのでそうなった場合は、10GbE回線2本以上なら、100GbE回線1本が安いってことに十分なり得る

17. 16Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 現在の主流は • やはり、10GbEがここ2～3年の間で受注が逆転した – 以前は、10G回線なんて、1ヶ月に5件程しか開通していなかった • 現在は、まだ圧倒的に10GbE回線が多いが 100GbE回線についても、構築が増えてきた – 100GbE回線については、今年から装置が変更となり従来の10Uから2Uへ一気にサイズダウン（メーカー、機能は一緒） 10GbE GbE FE 100GbE ▲現在、各回線の構築回線数割合＜イメージ＞

20. 19Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 100G回線構築の歴史 2008年東京～大阪間で商用網での 100GbE伝送実験 2013年11月国内初100GbE デュアルクラス対応発表 2014年2月 100GbE専用線サービスリリース 2014年11月 100GbE専用線 1st User回線構築引き渡し 2015年6月 ShowNetへ 100G回線提供

21. 20Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 100G構築 • 2012年に基幹網100G化構築開始 – 東名阪と北陸エリアが対象 – ひたすら線路接続調査と局舎選定 • 2013年後半に基幹網100G化（東名阪・北陸）構築完了 – 1st ユーザーが某学術系ネットワークコア回線 – その後順調に、他社通信キャリアやISPにご利用頂いている

25. 24Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 瞬断とは • 瞬間的（1秒未満）に回線が断になること – 一時的に、光信号が伝搬されなくなる（LOS状態） – でも、またすぐに復旧する – 物理的な瞬断でも、論理では回線断となることがある • 通信キャリアによって扱いがことなる – 故障扱いである – 故障扱いではない

27. 26Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 瞬断のむずかしいところ • 瞬間的な断の“ 発生 ” と“ 復旧 ” となるので、発生箇所の把握が困難 – でも、大抵はどこかで何かしら作業している…はず – 装置のインターフェースの発光素子の問題の時もある – 気温の変化で発生することもある瞬断検知システムを利用して芯線を常時監視と記録で対応（でも、さすがに全部の芯線は無理…）

28. 27Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 瞬断のむずかしいところ • ある作業に対して事象の発生が、必ず起こるとはいえない – 再現性がとれないことが、結構むずかしい原因になりそうなところからコツコツと対応  高強度光ファイバーケーブルの採用  R15タイプを利用  他社とのケーブル色をあえて異なる色を採用  挿抜工具の利用  光コネクタは、コネクタ部分（特にブーツ部分）への瞬間的なテンションに弱い  作業時に隣接コネクタへの接触を防ぐために使用する

29. 28Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 弊社ネットワークの特徴 • 各通信事業者、ISP事業者の多くの企業に利用されている – GAL設立当初より、キャリアズキャリア • 他事業者のコア回線部分が弊社回線っていうのは結構存在する • 裏方的な通信事業者（最近は表に出てくることが多いけど） – 比較的遅延が短いこと • 東京～大阪は6.19ms、東京～福岡は14.24ms程度 • 専用線より広域イーサの方が遅延が短いなんて箇所も… • 基幹網部分は自前DFメイン、アクセスは他社DFメイン – NTT東西-DFは圧倒的 – KDDI、電力系NCC、NTT-Com、CATV、鉄道事業者、 SoftBank、国交省等から調達言い換えると、自社だけの品質管理が行えない部分が数多く存在するということ

32. 31Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. DFに求められる品質とは？ • そもそも、DFに求められる品質とは何か？ – 大抵のDFは、挿入損失値の規定のみ（提供側） • 使用波長は、1310nm帯が標準 1310nm帯以外は、透過出来なくてもいい • 弊社のサービス規格としては、SMF（1310nm）での提供を前提挿入損失値のみ規定 – 挿入損失値以外の線路品質も知りたい（使用者側） • 距離、反射減衰量 … 発表者から会場の皆様へ：明確に挿入損失値以外で規定している DF提供事業者さんいらっしゃいますか？

35. 34Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 反射減衰量 • 送信側の光信号が、自分のところにどのくらい戻ってこないか – dBの値が高いほど、戻ってこないことになるので良い • 中・低速通信（10GbE未満）では、あまり気にしていなかった、気にならなかった • 反射減衰量の不良は大抵は接続不良 – MTコネクタ等は、整合剤の劣化による – 半刺し状態（損失値も大きくなる）

36. 35Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 波長分散 • Chromatic Dispersion（CD） – 光信号中に含まれる波長成分において、光ファイバー内を伝搬する速度が波長によって若干差がある到達時間に差が出るため波形を劣化させる現象 – 使用するケーブルの種類によっても異なる • G.652 SMF • G.653 DSF • G.655 NZ-DSF 光ファイバー

37. 36Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 偏波モード分散 • Polarization Mode Dispersion（PMD） – 教科書的には、「光ファイバの直交した二つの偏光軸に沿って光が伝搬する際の群遅延時間差によって光パルス幅が広がること」 – 1980～90年代前半に敷設されたケーブルは、 0.2～1ps/k（√km）とやや分散量が多い垂直偏波水平偏波光ファイバー

38. 37Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. PMD測定 • 測定結果がいろいろな環境下で変動 – 設置環境 • 架空なのか • 埋設なのか – 光ケーブルメーカー、製造ライン、製造年月日等の製造環境 • 同一ケーブルの別芯線、別テープでも違う • 経過年数などの時間でも違う – 設置環境の気温、温度、天候、振動 • 測定日時によって測定結果が変動する

40. 39Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. PMD測定 • 2010年頃からひたすら隙があれば測定 – あえて台風時など天候が悪い時に測定 – 当社エリア内で1,000件程収集済み • 自社DF以外の他社DFも対象 – 当初品質面で課題になると考えられていたNTT-DFの部分もエリアによってばらつきがあるが概ねクリア最近は、伝送装置側のPMD耐力も向上しており装置側である程度許容できるレベルになった

43. 42Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. Interop Tokyo 2015 ShowNet構築問題 • 2015年 ShowNet向け100GbE回線構築 – 弊社千葉県白井にある局舎～幕張メッセまで自社DFとNTT-DFの組み合わせで構築 ※線路部分の大抵は、NTT-DFを利用 – 実は、ものすごく構築時に線路部分で問題があった

44. 43Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. Interop Tokyo 2015 ShowNet構築問題 • 構築時遭遇事例１ – 白井収容局から数kmのNTT局舎内での損失が異様に高く全体の挿入損失が40dB近くなり構築不可に • NTTへコネクタクリーニングを依頼 • 結果、25dB程度に改善された • 構築時遭遇事例2 – 上記事例1実施後、全体の挿入損失値が改善されたが今度は、違う局で反射減衰量の数値が悪化 – 13dBであったため、損失値では問題ないが、反射減衰量が低すぎるので構築不可に • NTTへ芯線振替してもらい改善 • そもそも、NTT-DFの提供規定に反射減衰量の数値の規定がないため通常だと、振替作業自体却下される

45. 44Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. Interop Tokyo 2015 ShowNet構築問題 • 構築時遭遇事例3 – 幕張メッセの収容局であるNTT幕張にて2回目の挿入損失値が高い状態となった • NTTへコネクタクリーニングを依頼 • NTTの線路構築規格的には問題ないレベルだったこれらの問題を解決してようやく回線提供可能に！

46. 45Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 10G回線の反射減衰量問題 • とあるお客様向け回線構築の際、NTT局舎内で構内配線による接続 • 開通作業当時は、挿入損失値は問題なく、尚且つ回線試験が実施出来ており、問題なかった • 数日後、突然Linkdownが発生 • 切り分けの結果、光レベルは問題が無かったので PKG交換したが、復旧できず • さらに詳細に調査した結果、反射減衰量が悪く結果として、その接続点が影響していた

47. 46Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. 10G回線の反射減衰量問題 • 芯線振替と、NTT東、NTT工事方との共同調査チームを作り原因の追求と調査 – 結果、棟間FTMの既設TIE部分において、整合剤不良 – 施工後、1年未満で事象が発生 – 未収容の箇所については、全箇所施工手直しの実施この時はじめて、光レベルが問題ない値でも反射が原因で通信できないものだと認識

48. 47Copyright © 2015 ARTERIA Networks Corporation All Rights Reserved. まとめ • 100GbE以上の回線を提供する場合、新たに考慮が必要となる品質項目がある • 今後、100GbE以上の速度の回線が、品質問題の影響で構築できない可能性もある • 瞬断とどう向き合うか。しかもすぐに出来るものは少ないがコツコツやるのが弊社では良いと考えている • 問題発生時に協力してもらえるようなお互いの信頼関係が今までよりもより一層重要となる

100 G超通信時代の安定した高品質な伝送インフラ構築づくり

Tomohiro Onodera

100 G超通信時代の安定した高品質な伝送インフラ構築づくり