前回の記事の続きの話になるので、まだ読んでない方は先にこちらの記事を御覧ください。
http://ch.nicovideo.jp/pettypechi/blomaga/ar1455080

まえがき

前回の記事を読んでくださった方で、公開マイリストを集計すればいいという意見を述べられていた方がいらしたので、今回はその話をしようかと思います。
プレミアム会員優遇前提なので、否定派の方は長いので読まなくていいと思われます。

前回の記事でも、「プレミアム会員の何らかの挙動を集計すれば、工作は難しい」と書いたように、公開マイリスの集計という案も２パターン考えていました。
コメント集計案も含めた３パターンを私なりに検討した結果、コメント集計案を紹介することに決め、前回の記事を作成するに至りました。
前回の記事では、公開マイリス集計パターンの話もしたら長くなると思い省きましたが、この記事では、いくつかの観点から３つの投票方式を評価してみたいと思います。

注意点として、私はMMD杯問題の記事を見て、思いつきでニコニコの解析を始めたので、まだまだ見落としている方法があると思います。
もっと詳しい方がいれば、私が紹介したもの以外の案が出てくるかもしれません。
正直に言うと、実はもっと簡単な方法があって、自分が書いてる記事は見当違いの物凄く恥ずかしいことを言ってるのではないかとビクビクしながら書いてます。

投票方式

本稿で、紹介する投票方式は以下の３パターンになります。便宜上、適当な名前を付けてあります。

• コメント投票方式 (Comment - C方式)
• 公開マイリス投票方式 (Mylist - M方式)
• マイリス名指定型公開マイリス投票方式 (Named Mylist - NM方式)
  

プレミアム会員のデータの集計を行うという観点から、集計対象は会員IDと動画IDが紐付けられるものでなくてはいけません。私が調べたところ、ニコニコの現在の機能で使えそうなのが、この３パターンでした。

コメント投票方式 (以下、C方式) は、動画にコメントすることで投票できます。
公開マイリス投票方式 (以下、M方式) は、投票者が公開マイリストを作成して、そこに動画を登録することで投票できます。
マイリス名指定型公開マイリス投票方式 (以下、NM方式) は、投票者が運営に指定された名称の公開マイリストを作成し、そこに動画を登録することで投票できます。
また、従来のMMD杯で使われた投票方式を引き合いに出す場合は、以下、従来方式という呼称を使わさせていただきます。

評価項目

完全に独断と偏見で評価してます。
一つづつ、項目の説明と私の評価を書いていきます。

視聴者視点の投票のしやすさ

投票しやすいかどうかは、イベントの盛り上がりに繋がる重要なポイントです。
従来方式は、普段マイリス機能を使わない視聴者も、「とりあえずマイリスト」ボタンで簡単に投票できる非常に理にかなった投票方式です。
C方式は、コメントをするだけなので、敷居は低いと考えられます。しかし、視聴者の中にはコメントをせずに楽しむ層が多数存在します。そういった人たちにとっては、投票しにくい理由になるかもしれません。
M方式、NM方式については、投票までに公開マイリストを作成するという準備が必要になります。投票者による前準備が必要な点で、少し敷居が高くなると考えられます。

【独断と偏見による評価】

従来方式 ＞ C方式 ＞ M方式 ＞ NM方式

懸念材料の存在

新たな投票方式によって、不利益が生じると懸念される要素がいくつかあります。

C方式

・投票するだけの無意味なコメントが大量に発生して、コメントありの動画の楽しさが減少してしまう
・投票したくないけど、コメントしたい動画がある際、不都合に感じる場合がある
　※生IDコメントと184コメントの得点配分に差をつけることで緩和はできる

M方式・NM方式

・匿名投票ができなくなる
　※サブアカウントで投票もできるがプレミアム会員の配点が高い前提なので難しい

【独断と偏見による評価】

従来方式 ＞ M方式 ＝ NM方式 ＞ C方式

集計方法

実際にデータを収集するのに使う手法には、手作業による方法、アプリケーションからアクセスできるように設計されたAPIというものを使う方法 (以下、API) と、ユーザーが閲覧できるページを解析するウェブスクレイピングという方法 (以下、スクレイピング) があります。
従来の投票方式の集計は、手作業で十分にできる内容だったのですが、私が提案した新たな投票方式を集計するには、APIとスクレイピングを駆使しなければ難しいです。
APIとスクレイピング、それぞれの特徴を挙げると以下のようになります。

API

• アプリケーションから扱うよう設計されているため、通信するデータに無駄が少く、効率も良い
• 対象となる機能に大きな仕様変更がない限り、後方互換性を失う可能性は低い
  
• 予め用意された機能しか使えないため、収集できるデータに制限がある

スクレイピング

• WEBサイトの閲覧者に向けたWEBページを解析するため、無駄なデータ通信が多く、効率も悪い（規模が大きくなれば対応にコストがかかるので、Twitterのように明確に禁止するサイトも有る）
  
• データ形式に厳密な決まり事がないため、GINZAや（く）のようなバージョンの変更ごとにやり方が変わる可能性がある
• 閲覧可能な内容であれば、難易度の違いはあれど、どんなデータでも収集できる

スクレイピングは、WEBサイトの仕様変更に弱く保守性が低いので、できるだけ API を使う方が望ましいです。

では、各方式ごとにどういった機能を使うか整理してみましょう。

C方式

[API] ログイン (初めの一回だけでよい)
↓
[スクレイピング] 動画ページから動画情報の取得 (動画ごと)
または
[API] flapi から動画情報の取得 (スクレイピングに失敗した場合)
↓
[API] waybackkey API から waybackkey を取得 (動画ごと)
↓
[API] コメントAPI からコメントを取得 (動画ごと1000件ずつ)

M方式

[スクレイピング] 動画の公開マイリストページから公開マイリストを取得 (動画ごと10件ずつ)
↓
[スクレイピング] 各公開マイリストから会員IDとマイリスト登録動画を取得 (公開マイリストごと、マイリストページは一回のアクセスで最大500件すべての動画情報を取得可能)
↓
[スクレイピング] ユーザーページからプレミアム会員か否かの情報を取得 (マイリストを公開しているユーザーごと)

NM方式

[API] コンテンツ検索APIからキーワードを指定して公開マイリストを取得 (100件ずつ)
↓
[スクレイピング] 各公開マイリストから会員IDとマイリスト登録動画を取得 (公開マイリストごと、マイリストページは一回のアクセスで最大500件すべての動画情報を取得可能)
↓
[スクレイピング] ユーザーページからプレミアム会員か否かの情報を取得 (マイリストを公開しているユーザーごと)


集計方法は、いくつかの評価項目があると思うので、特に私が注目した点を3つ評価してみたいと思います。

集計ツールの保守性

M方式・NM方式では、かなりの部分をスクレイピングに頼らざるを得ないです。
スクレイピングを多用すると、ニコニコのバージョンアップで集計ツールの動作に支障を来す可能性が高くなります。
このことから、集計ツールの保守性の面ではこのような評価になります。

【独断と偏見による評価】

C方式 ＞ NM方式 ＞ M方式

サーバーアクセスのコスト

これは、集計するためにサーバーに何回アクセスするかの指標です。サーバーへの負荷、集計にかかる時間などに影響し、後述の集計の精度にも関わってきます。

M方式では、公開マイリストを取得するために、投票対象動画ごとに10件ずつしかマイリストを取得できないページに何回もアクセスすることが必要になり、規模が大きくなるにつれ、集計にかかる時間が増大します。
NM方式では、APIを利用することで、100件ずつ公開マイリストを取得でき、投票対象動画ごとにアクセスするといった必要もないため、M方式に比べて格段にアクセスのコストを軽減することができます。
また、M方式・NM方式では、投票者の増加に相関し、スクレイピングする必要のあるページの量が増大します。
C方式は投票対象動画の数に相関して、APIのアクセス数が増えます。C方式でも投票者が増えると、コメント量が増加することが考えられますが、一回のアクセスで1000件のコメントを取得できるので、M方式やNM方式に比べて影響を受けにくいです。

それぞれ、アクセスコストのおおまかな評価値の算出式を書くとこうなります。

M方式

アクセスコスト ＝ <動画数> × <各動画の平均公開マイリスト数> ÷ 10 ＋ <投票者数> × 2

NM方式

アクセスコスト ＝ <指定された名前の公開マイリスト数> ÷ 100 ＋ <投票者数> × 2

C方式

アクセスコスト ＝ <動画数> × 2 ＋ <投票者の対象動画への総コメント数平均> ÷ 1000

従来方式

アクセスコスト ＝ <運営の対象動画を登録したマイリスト数>

これだけだとわかりにくいと思うので、私の作ったツールの第20回MMD杯での集計結果を交えて説明すると、
C方式を使用して、すべての投票対象動画の集計に要したアクセス数は950回でした。
上記の式でM方式とNM方式のアクセスコストを、優勝作品の「かーにばるフレンズ」のみを対象として計算すると、公開マイリスト数が 2000 件として、M方式で 4200回、NM方式で 4020回のアクセス数が必要となるのがわかると思います。
さらにいうと、その4000回強のアクセスはほとんどがスクレイピングによるものなので無駄なデータの通信も多く、アクセス回数以上のオーバーヘッドが発生すると考えられます。
ちなみに、従来方式ですべての投票対象動画の集計に要するアクセス回数は 1回です。コスパ最強です。

【独断と偏見による評価】

従来方式 ＞ C方式 ＞ NM方式 ＞ M方式

集計の精度

あらかじめ決められた投票期間の投票をどれだけ正確に集計できるかを評価します。

この項目は、C方式の評価が高く、プレミアム会員であるかを切り分けられること以外で、唯一、従来方式より上回っている部分と言えます。

C方式では、すべてのコメントに投稿日時が含まれているので、投稿日時で絞り込むことで、いつ集計しても基本的には同じ結果が得られます。プレミアム会員かどうかはコメントを投稿した時点のものが得られるため、入会・退会があったとしても結果は変わりません。後から運営にコメントを削除された場合のみ結果が変わります。

その他の方式は、マイリスの増減やプレミアム会員の増減で常に変動する数値なので、集計結果の再現性はありません。

M方式・NM方式は、上述したとおり何千回、場合によっては何万回もサーバーにアクセスする必要があり、規模にもよりますが、集計に数時間かかると思われます。
先に集計するものと、後から集計するもので、少なからず不公平な部分も出てきますし、集計ツールに問題が発生た場合、デバッグなどにも時間がかかるので、集計時期がずれ込んだり、結果発表のスケジュールに大きく影響を与えかねません。

従来方式では、上述したとおり、一回 (マイリスが複数ある場合はその数だけ) のアクセスで集計できるため、投票期間終了時点にアクセスしてデータを取得してさえいれば、集計に大きな問題はありません。

【独断と偏見による評価】

C方式 ＞ 従来方式 ＞ NM方式 ＞＝ M方式

最後に

この問題の解決策は、一つというわけではなく、人によって意見も違うと思います。
私も、別にコメント集計で投票にしたほうが良いと言ってるわけではなく、今まで日の目を見ていなかった意見があったので、その意見を数ある意見の一部として提案しただけに過ぎません。
私の記事では、かなり偏った視点からコメント集計を推していますが、集計にはツールの利用が必須で、ツールのメンテナンスのことも考えなくてはいけないので、実際に使うには問題もあるでしょう。
結局、これからどうしていくかは、直接関わっている人達がテーブルに広げた材料から、どう議論して、どう判断するかにかかっていると思います。
私もMMDに深く関わっていたらもう少し自分から何かを働きかけようとしたかもしれませんが、あまりに部外者すぎるので今のところはブロマガで好き放題言うだけにしておきます。

これで、私のしようと思っていたことは大体できたので、こういう意見もあると認識していただいた上で、MMD杯ないしは、その他のイベントに役立てていただければ幸いです。

SNSは全くやってなかったのですが、この機会に昔作ったTwitterのアカウントもスマホ連携しておいたので、なにかしら連絡を取りたければブロマガかTwitterのどちらかにメッセージをいただければ暇なら対応します。
それでは、長いだけで実のない話でしたが、お付き合いいただきありがとうございました。