長山です。最近 Twitter 凍結屋の話が盛り上がっていますね。自分は Twitter でデータ・サイエンティストとしてスパム対策チーム (Twitter Health Engineering) に在籍していたことがあるので、少しこの件に関連して、スパム対策の苦労について書いておきたいと思います。
ここでしている話は基本的に「プラットフォームのスパム対策における一般論」であって、Twitter 的に Confidential な話はしていません。自分は Google Search、Google Play のスパム対策チームにも在籍したことがあるので、大規模プラットフォームにおけるスパム対策という観点で書いておきたいと思います。
今北産業
- スパム対策は結構難しく、報われない仕事。
- 陰謀論的に語られることが多いが、単に難しい仕事に能力が追いついていないだけ。
- 一般ユーザーは、被害に遭ったら積極的に発信してフィードバックしよう。
スパム対策一般について
まず抑えていただきたいところは以下です。
- スパム対策は常に敵対的なアクターとの戦いであって、スパマーはプラットフォーム側のスパム検知から逃れる術を常に探っている。
- スパム対策はかなり専門的な分野であって、恒常的な分析とシグナルマイニング、ルールベースと機械学習を組み合わせながら、スケーラブルなオペレーションを行う必要がある。
- いかに効率的なスパム対策チームでも、100%のスパムをキャッチすることはできない。基本的にスパム対策でとりえるアクションはアカウントの停止などの非常に厳しいものが多いため、偽陽性を出さないよう精度 (Precision) を上げることが非常に重要になる。必然的にカバレッジ、適合率 (Recall) はあげづらく、偽陰性は増える。
スパム対策は報われない仕事
スパム対策は基本的に報われない仕事です。うまく行っているときは問題の大きさが見えなくなるため誰からも褒められません。99%をキャッチしたとしても、1%が漏れると「運営は何をやっているんだ」と叩かれてしまいます。それでも日々ポリシーを制定し、ケースごとの解釈を行い、シグナルマイニングを行い、オペレーションを整備し、モデルを継続的に訓練する、ということをしなければならない。これらはリーガルやデータ、エンジニアリング、オペレーションなど、複数の専門性にまたがっているので、一つの問題に複数の部署からの担当者が当たることも多く、大きな会社では部署間のコラボレーションも必要になります。
なぜもっと問題を迅速に発見・対処できないのか
プラットフォームの大きさに対して、問題のあるアカウント、問題のあるアクティビティが非常に少ないからです。たとえば Twitter はグローバルで億単位のアクティブユーザーを抱えている一方、スパム対策に割けるリソースは限定的です。もちろん、日本は有数の重要マーケットではあるのですが、同時に非常に特殊なマーケットでもあり、日本にローカルのスパム対策専門家チームを育てていく必要があります。それは簡単なことではありません。
また、どのスパム問題が大きいのか、を理解するためには、ある問題の発生頻度とその重篤さを同時に考える必要があります。それを同時にただしく認識することは非常に難しいです。スパム対策において最も難しいのは、ある事象が問題だと理解することです。ラムズフェルドは Known knowns, known unknowns, unknown knowns, unknown unknowns の４章限で知識を語りましたが、unknown unknown を unknown known に変えることそのものが、とても難易度の高いことです。しばしば人は「運営がこんな問題も認識できないはずがない、なにかの陰謀だ（政権と汚職で繋がっている、ユダヤ人が裏にいる、赤子の脳みそを食う悪魔崇拝者に違いない、などなど）」と思いがちですが、そうではなく単に無能なだけ、正確にいうと「問題の複雑さに対してリソースが追いついていないだけ」です。ハンロンの剃刀を思い出しましょう。
なぜ凍結されたアカウントを復旧させるのは苦行なのか
ここを容易にしてしまうと、スパム対策の意味がないからです。もちろん偽陽性を出してしまった時、それを正しく復旧させるのは非常に重要なのですが、ある復旧申請がスパマーによるものなのか、それとも哀れな一般ユーザーによるものなのかは判別が容易ではありません。アカウント停止前はもちろん「疑わしきは罰せず」の精神で、「立証されない限りスパムではない」としますが、一度停止されたアカウントを復旧させる際はこれが逆になり、「立証されない限り一般ユーザーではない」になってしまいます。ここの塩梅は非常に難しいです。
一般のユーザーには何ができるのか
誤凍結されてしまったら、凍結解除申請のプロセスに入った上で、経緯を積極的に発信してください。Make some noise! 多くの場合、チームはこういった自分達の認識していない問題がどれくらい存在し、どれくらいの規模と重篤さがあるのかを知りたがっています。
これは「停止されるべきであるのに停止されていない」ようなスパムやアカウントに関しても同様です。スパムを発見したら、レポートした上で、積極的に発信して、対策チームに届けましょう。
おわりに
もちろん、スパム対策チームは100%の精度で100%のスパムをキャッチし、誤凍結などが発生したら速やかに解除するのが理想的な世界です。しかし多くの場合チームは（プライバシーに対するケアの問題もあり）半ば目隠しをしながら対策を行っていることがほとんどです。報告し、発信することで、プラットフォームにフィードバックしていきましょう。
ちなみにですが、現在自分が創業者兼最高戦略責任者をやっている JADE では、プラットフォーム向けにスパム・アビューズ対策のコンサルティングも行っています。実際にスパムに悩まされていたクライアントが効率的に対策を行えるようにもなっています。悩んでいるプラットフォームの方がいましたら、ぜひ一度ご相談ください。