生徒たちのSNS投稿に“監視の目”──米国で広がる事件防止アルゴリズムの功罪

PHOTO: ARON ONTIVEROZ/THE DENVER POST/GETTY IMAGES

米国の新学期は9月から始まる。新しい先生に新しいバックパック、新しい恋のはじまり。そして、生徒がソーシャルメディアに投稿した内容を嗅ぎまわるアルゴリズムも本格的に動きだす。

ミシガン州バトルクリークにあるレイクヴュー学区を統括する教育長のブレイク・プレウィットが目覚めると、たいてい新規メールが20件ほど届いている。それらは、2018年に入って同学区が導入したソーシャルメディア監視システムから送られてくるものだ。

このシステムは、キーワードと機械学習アルゴリズムを使う。TwitterなどのSNSで公開されている投稿に争いや暴力をほのめかす言葉や画像があり、さらに学区やコミュニティをタグ付けしたり話題にしたりしているものが見つかると、警告メールで知らせてくる。

この数カ月間、さまざまな警告メールが届いている。例えば学区内のある学校の近くで、誘拐未遂事件が起きたことを知らせる警告メールが届いた。そのときプレウィットは、学校に設置されている防犯カメラが捜査の役に立つのではないかと考え、確認した。ある生徒の親族が服装規定についてのコメントを書き込んだことを知らせる警告メールが届いたときは、学区職員が親族に連絡をとった。

プレウィットは、こうした警告メールによって学区内の生徒4,000人と職員500人の安全が確保されていると話す。「万が一、誰かが誰かを脅すような投稿があった場合は、学校内で争いごとが起きる前に関係する家族に連絡し、生徒たちとともに対処できます」

不穏な投稿をアルゴリズムが検知

レイクヴュー学区にこのサーヴィスを提供しているのは、ジョージア州の危機管理会社ファイヤーストーム（Firestorm）である。同社は学校向けに、安全対策や危機対応方針などの作成サーヴィスも提供している。

急成長中とされるこの業界においてファイヤーストームなどの企業は、学校がさまざまな事態を防ぐために効果的だとして、自社のソーシャルメディア監視ツールを売り込んでいる。わいせつなメッセージや画像を送信する「セクスティング」、いじめ、そして銃乱射事件にいたるような事態だ。

ファイヤーストームによると、同社のプラットフォームがフラグを付けた投稿例には次のようなものがある。

「母さんと話をすると、いつも最後には乱暴なことを言ってしまう。母さんはものすごく怒る。自分のほうは乱暴なことを言うつもりがなくても怒るんだ」

さらに学校向けの資料には、徐々にエスカレートしていくツイートの例が掲載されている（実例ではなく、創作されたものだ）。

「ガールフレンドに捨てられた。俺の人生は終わった」「まじでぶっぱなしたい。死にたくないなら、明日は学校に行くな」「バン、バン。みんな、俺が本気だってわかってくれよ。じゃあね。🔫」

投稿を分析することの功罪

2018年2月、フロリダ州パークランドのマージョリー・ストーンマン・ダグラス高校で17名が犠牲となる銃乱射事件が起き、このニッチな業界に格好の話題を提供することになった。

事件発生から1カ月が過ぎたころ、この業界が「急成長しているのは間違いない」と語ったのは、教育機関などにソーシャルメディア監視サーヴィスを提供するソーシャル・センティネル（Social Sentinel）で最高経営責任者（CEO）を務めるゲイリー・マーゴリスだ。彼は自社のアルゴリズムなら、マージョリー・ストーンマン・ダグラス高校で銃を乱射した犯人がソーシャルメディアに不穏な投稿をしていたことを、事件発生前に警告していただろうと主張した。

ファイヤーストームで最高執行責任者（COO）を務めるハート・ブラウンは『WIRED』US版に対し、同社のシステムは18年、ある生徒が武器の入ったバックパックの写真を投稿していたことを発見・警告したと明かした。そして、その生徒が通う学校の校長が校内で生徒に確認したところ、武器を所持していることが判明したという。その学校はファイヤーストームを通じて、コメントは差し控えたいと伝えている。

生徒がソーシャルメディアで共有した情報が学校管理者にとって有益であることは、間違いなくあるだろう。一方で、さまざまな議論も起きている。ソフトウェアで正確な情報を抽出することは可能なのか。可能だとすればどうすればそれができるのか。倫理的に抽出することは可能なのか。そのためにはどうすればいいのか、といったことだ。

ニューアメリカ財団で10代の若者のインターネット使用について調査する研究者のアマンダ・レンハートは、ソーシャルメディアを監視するというアイデアが学校側に好まれるのは理解できると言う。「学校側は校内の秩序と安全を心配しています。そして学校側には管理できないソーシャルメディアからの影響が、学校の現場には自由に入り込むのです」と、レンハートは話す。

一方でレンハートは、子どもやティーンエイジャー、ソーシャルメディアに関する研究によると、大人が外側からソーシャルメディアを覗き込んでも、投稿内容の意味がなかなか理解できないことが明らかになっていると釘を刺す。

「投稿の中身をただ見ても、大人には何が何だかわかりません」とレンハートは言う。「アルゴリズムは見ている内容の文脈を理解することができないので、ますます意味不明となる可能性があります」

ここ最近はテキスト処理を行うソフトウェアの性能が向上しているものの、真に意味を理解するにはほど遠い。ソーシャルメディア監視サーヴィスが普通の投稿を問題ありと誤検知すれば、授業時間を無駄にすることになりかねないし、生徒と職員のあいだの雰囲気を変えてしまうかもしれないとレンハートは言う。

投稿の監視という事実は公表すべきか

コロンビア大学教授のデズモンド・パットンは、ソーシャルメディア監視は正しく運用すれば役に立つと考えている。「学校側がこうしたサーヴィスを、スタッフを支援する手段として利用することは可能だと思います。ただし、わたしなら細心の注意を払うでしょう」。パットンは、ソーシャルメディア監視を提供する企業ソーシャル・センティネルの顧問も務めている。

パットンの研究室はソーシャルワーカーと共同で、シカゴにおける不良集団の暴力を減らすことを目標としたツイート監視を行っている。機械学習ソフトウェアを訓練して、トラウマや喪失感を示すツイートを探そうとしているのだ。

そうしたツイートのあとには、脅迫が含まれた投稿が続くことを彼らは明らかにしている。そして自分たちのアルゴリズムを、シカゴとニューヨーク市のコミュニティ組織向けのツールとしてテストしたいと考えている。

パットンが懸念するのは、学校に提供されているテクノロジーが、アフリカ系米国人の若者言葉を誤ってターゲットにする可能性が高い点である。そうなれば彼らには、より強い監視の目が学校側から向けられてしまうかもしれない。

パットンとレンハートはまた、生徒の投稿を大量読み込みできるシステムを使用していることを公表すべきだと話す。というのも、「自分がソーシャルメディアに投稿している内容が、誰かに読まれたり、収集されたりしているかもしれない」と考える人ばかりではないからだ。

ソーシャル・センティネルとファイヤーストームはともに、そうした判断は顧客に任せていると述べる。企業側は、一般公開されている投稿をスキャンしているだけであり、ターゲットにしているのは個人ではなく、投稿内容のトピックと位置情報だと強調しているのだ。

学校側の慌ただしい日々

レイクヴュー学区内の学校では、ソーシャルメディアに関する授業が行われている。ただし、プライヴァシー設定についての指導はしても、学校自体がファイヤーストームのサーヴィスを利用していることは取り上げていない。

両社とも、国内各地の多様なスラングに対応できるシステムを作成しており、新しいデータをもとに頻繁に語彙のアップデートを行っているという。

レイクヴュー学区の学校に通う生徒たちが新年度を迎え、教育長であるプレウィットは忙しい日々を送ることになるだろう。しかし彼は、日々の警告の確認作業は苦ではないと話す。フラグを付けられた投稿が、ときにはまったく見当違いだったり、時間のムダに思えるような内容だったとしてもだ。

プレウィットは、ある朝のことを教えてくれた。銃撃犯がいるとの警告を受けて、プレウィットは動揺したという。ところがその警告は、名前は似ているものの、シカゴ市内にあるレイク・ヴュー・ハイスクールに関するものだったことがわかった。「確認すべきことは常にありますが、情報は少ないより多いほうがいいのです」と、プレウィットは言う。