テレビのインターネット接続機能

「テレビ視聴データに関する民放５社共同の技術検証および運用実証実験」ってニュースが流れてたけど、そもそも「テレビ視聴データ」って何？
どうやって取ってるの？
「Dボタン」を押さなくても勝手に通信するの？
と思って調べてみた。
調べたのは5社共同実験の期間終了後なので、この記事の内容は通常期間の挙動のはず。

環境

スイッチは「NETGEAR GS108Ev2」
テレビを接続したポートからパケットキャプチャを接続したポートへのミラーポートを設定。
パケットキャプチャはWireshark
「テレビのMACアドレスを含むパケットのみ取得」する設定でキャプチャ Windows10のノートPCで起動
テレビは「SHARP LC-22L5」
PC用のテレビチューナーは「アースソフト PT3」

視聴データ送信条件確認

とりあえずNHKに合わせて数分待ってみたけど通信なし。
チャンネルをテレビ朝日に合わせると何かのパケット取れた。
平文で送られてたので、内容も読めた。
下記のパケットを15秒間隔で送っていた。

URL
 http://d-log.tv-asahi.co.jp/from-to

PostData
 Form item: "Denbun" = "luid=ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ&event_id=2837&network_id=7FE5&service_id=0428&zip_code=999-9999&status_code=0&optin=0&maker_id=11&maker_ver=001&minor_ver=021&time_from=20200211235658&time_to=20200211235732"

luid=ZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZZ は、端末識別IDっぽい物が入っていたのでマスク。[A-Za-z0-9-]な感じのランダム文字列。
event_id=2837 は、調査時に見ていた番組のID。
network_id=7FE5&service_id=0428 はテレビ朝日のチャンネルIDと思われる。
zip_code=999-9999 は、テレビの初期設定で入力したと思われる自宅の郵便番号が入っていたのでマスク。
テレビのDボタンを押して、「視聴データについて」の画面を表示した時に何か通信してる
-「視聴データについて」の画面で「協力する」「協力しない」を切り替えると何か通信してる
テレビ朝日以外は数分見ただけでは視聴データっぽいパケットは取れなかった

間隔が長いのか、通信処理が入ってないのか判らないけど、容易に取れたテレビ朝日をサンプルにした。
他の局もdボタンを押して「視聴データ」画面を表示すると何か通信してる。

端末識別IDはどこから湧いて来るの？

動いてるスクリプトを読みたいけど、テレビ内の動きを読むのは難しい。
PCでデータ放送対応したアプリ持ってないから、取り出す方法を探してみた。

データ放送の仕組みとか

データ放送は「BMLブラウザ」で表示する様だけど、それらしいアプリを知らなかった。
スクリプトはECMA Script
テレビのデータはMPEG2-TS形式で配信されており、データ放送のリソースはMPEG2-TSのDSM-CCデータカルーセルで配信されてる。
「カルーセル」は回転木馬的な意味で、途中から視聴始めた人もデータを受信できるよう、同じデータを繰り返し配信する方式。
録画アプリはデフォルトで「映像、音声、字幕」を記録して、データカルーセルは捨てられる？
データ放送も記録したい場合は、データカルーセルも入る設定でTSファイルに保存する必要がある。
同じファイルが繰り返し送られて来るので、ファイルサイズが肥大化しそう。通常運用で録画ファイルに加えるなら、ファイルが更新された場合のみ記録するような設定が欲しい。既にそうなってるかも？

MPEG2-TSの解析

日本のテレビ放送規格はISDB(Wikipedia)
規格文章はARIB（電波産業会）の「標準規格」と「技術資料」で、データ放送は「STD-B24」辺り。
MPEG2-TSから PAT → PMT → DII(DownloadInfoIndication) → DDB(DownloadInfoIndication) と解析していけば良いっぽいけど、無料公開されてる規格書は英語のみで、日本語版は有料販売しかなかった。
WiresharkでTSファイルを開くと、DSM-CCまで対応してるっぽいのでいくつか眺めてみたけど、圧縮されてる様でテキストっぽい文字列は見つからなかった。（MIMEヘッダっぽいのがあったかも）
ググっていると「TSDataExtractor」なるものを見つけたので方針転換。

TSDataExtractorの入手

2ちゃんねるのDTV板発祥（たぶん）。公開当時のアップローダは何らかの原因で消えたっぽい。
ググって「up0136.zip データ放送用プログラム詰め合わせその2」を拾ってきた。
バイナリも入ってたけど、怪しい所から拾ったファイルは怖いのでソースを斜め読みして、ヨシッ！と言ってビルドする。
「zlib」のソ－スが必要と書いてたので、ソースを入れてみたけど、VisualStudio2019がファイルが足りないと怒るので、プロジェクトから「.cpp」と「.h」を抜いて、フォルダに入ってるファイルを登録し直したら通った。ReadMe読み返すと version 1.2.3 と書いてたので、最初からそれを入れれば良かったのでは？(今回は1.2.11を使った)
ビルドで出力された「TSDataExtractor.tvtp」は、TVTestのプラグインファイル。
ついでに「BTBViewer.exe」「clt2png.exe」もビルドした。
「BTBViewer.exe」はアプリを開き直すと、画面外にウィンドウが現れた。（マルチモニタに対応してないっぽい？）
「BMLAnalyzer.exe」も気になるけど、ソース付いて無いので見なかったことにした。

TVTestの入手

何らかの圧力でバイナリは公開できないっぽい。
ググってビルドする。
BonDriver関係は、EDCBで使ってるPT3のをそのままコピーしたので、録画予約時間に起動するとダメかも。

データ放送のファイル書き出し

TVTestの「Plugins」フォルダに「TSDataExtractor.tvtp」プラグインを入れる。
右クリックでコンテキストメニューを出して、「プラグイン」→「TSDataExtractor」にチェックを入れプラグインを有効にすると、「TSDataExtractor」ウィンドウが開く
データを取得したい番組を表示する
「TSDataExtractor」ウィンドウに何か出るので、データが貯まって安定するまで待つ。（15秒くらい？）
「TSDataExtractor」ウィンドウの「ファイル」→「現在のサービスを保存」で、ファイルを書き出す。

出てきたファイル

*.bml: XMLベースのhtmlっぽいファイル
*.css: 多分名前の通り
*.ecm: スクリプトファイル
*.btb: バイナリーテーブル（DBとかCSVみたいな）
スクリプトからファイル名とテーブル定義を指定して扱えるっぽい
例）BinaryTable(this.getPath("log-conf.btb"),"2,S:1V,S:1B,S:2V")
*.jpg: 画像ファイル
*.png: データ放送規格の画像ファイル。「clt2png」でパレット情報を追加すると一般的なPNGファイルになるっぽい
*.clt: PNGから分離されたパレット情報？

スクリプトを読む

パケットに入ってた文字列で検索すると「EXT_function.ecm」がヒット
それらしい処理を抜粋して、改行とコメント追加。抜粋前のファイルサイズは28KBくらい

EXT_function.ecm(抜粋)

//視聴データ送信処理
function LOG_Obj_sendBeacon(){
    if( !this.beaconIsPause ){
        if( this.linkId=="" || this.optoutFlg==1 ){
            return false;       //端末識別IDが未設定 か OptOut設定 なら処理中止
        }
        var b=new Date();
        var c="";
        var e=browser.Ureg[this.UREG_IDX].split("_");
        var d=this.deleteDateStringMark(new Date().toString());
        var a="-";
        if( e.length==3 && e[1]!="" ){
            a=this.deleteDateStringMark(e[1]);
        }
        c+="luid="+this.linkId;                 //★端末識別ID
        c+="&event_id="+COMMON.getEventId();    //番組ID
        c+="&network_id="+COMMON.network_id;
        c+="&service_id="+COMMON.service_id;
        c+="&zip_code="+COMMON.zip;             //郵便番号
        c+="&status_code="+this.beaconStatusCode;
        c+="&optin="+this.optinFlg;
        if( this.canSendCrossLog==1 && CROSSLOG.validCrossId() ){
            c+="&cross_id="+CROSSLOG.crossId;
        }
        c+="&maker_id="+COMMON.maker_id;
        c+="&maker_ver="+COMMON.major_ver;
        c+="&minor_ver="+COMMON.minor_ver;
        c+="&time_from="+a;
        c+="&time_to="+d;
        if( this.fromPreDate!="-" && this.fromPreDate!="" ){
            c+="&time_from_pre="+this.deleteDateStringMark(this.fromPreDate);
        }
        if( this.toPreDate!="-"&&this.toPreDate!="" ){
            c+="&time_to_pre="+this.deleteDateStringMark(this.toPreDate);
        }
        this.transmission(this.logConf.API_URL_FROMTO,c);   //ビーコン送信
        var f=new Date();
        if( browser.subDate(f,b,1)>this.logConf.BEACON_TIMEOUT ){
            this.beaconStatusCode=1;
        }
    }
    this.beaconLastTransmitDate=new Date();
    return true;
}