2016年6月のディズニーランドで、インスタグラム(Instagram)のCEOケヴィン・シストロムは、汚水溜めのようなインターネットを掃除しなくてはならないと心に決めた。

それはちょうどディズニーランドで開催されていた「VidCon 2016」[訳註:年に一度ソーシャルメディア愛好家が集まるイヴェント]の一環として、Instagramがプライヴェートなイヴェントを主催したときのことで、シストロムはインスタ上の有名人たちと顔を合わせていた。彼らは言葉を交わし、冗談を言い合い、お互いにスマホで写真を撮りあっていた。

だが同時に彼らはうんざりしてもいた。Instagramは本来、自己表現を楽しむ場だったはずだ。しかし、コメント欄で嘲られ嫌がらせを受け恥をかかされるのなら、誰も自己表現などしたくなくなってしまう。Instagramの現状は、彼らがその日を過ごしたディズニーランドにたとえるなら、七人の小人たちが、白雪姫に向かって太って見えると始終声をあげているようなものだ。

ひとたび動画をあげたら

マイク・クリーガーとともにInstagramを設立したケヴィン・シストロム。App Storeに登場したのは2010年10月。同社は2012年4月、Facebookによって10億ドルで買収されている。PHOTOGRAPH BY ART STREIBER

ひとしきり歓談を終えたあとで、33歳のシストロムは彼らと一緒に撮ったブーメラン動画[訳註:再生と逆再生を繰り返す動画を作成できるInstagramのミニアプリによる動画]を投稿した。20人ほどの若者が体を左右に揺り動かし、手を振り、飛びはね、笑っている動画だ。動画の右下では若い女性が両ひざを開いたり閉じたりしながら、スフレをつくるために卵を泡立てているかのように手を振っていた。

最初のうち、投稿にはハートの絵文字や、面白い!」といったコメントがついた。しかしネット上ではよくあるように、まもなく不快なコメントがつき始めた。右下に映っている若い女性が特に目に止まってしまったのだ。閉じないで👈👉待って✋✋ちょっと✋✋待って👈👉ベイビー😍😍脚を開いて✋✋」エロい」しゃぶれ」ビッチ」口でしろ」エロすぎ」フェラ、はよ」窓から飛び降りてしまえ!」──。

コメントの多くには、スイカの絵文字が用いられていた。スイカの絵文字は、コンテクストによっては人種差別主義者、性差別主義者を意味する。ドバイでのビジネスチャンスについて書かれたページへのアラビア語のリンクもあった。あるユーザーは「Follback @kevin」とメンションを飛ばして自分のアカウントをフォローするようシストロムに求めた。最近Instagramが投稿の表示を時系列から関連度順に変更したことに対して「時系列表示を返せ!」と言う"お客様の声"も寄せられた。

テック界随一の「お人好し」

すらりと背が高いシストロムは、とても謙虚な人だ。握手はフレンドリーだし、振る舞いも落ち着いている。いまや億万長者だが、成功者同士の見栄の張り合いには参加しない。ヨットも持っていないし、政治に関与しようとしない。秘密保持契約に関するかつての仲間とのいざこざもない。シストロム個人のInstagramのフィードには基本的に犬、コーヒー、自転車、微笑むセレブたちしか登場しない。シリコンヴァレーのゴシップ情報サイト『Valleywag』は数年前、シストロムの声について「自らの死亡記事を読み上げているかのように堅苦しくて単調だ」と評している(が、最近は少しましになってきた

彼を批判的に見る者たちによると、彼に欠点があるとすればだまされやすいところだという。シストロムと共同創業者のマイク・クリーガーがInstagramをFacebookに売る時期は早すぎた、というのがその論拠だ。シストロムとクリーガーはスタンフォード大学を卒業して数年でInstagramをローンチした。すぐに事業は軌道に乗り、彼らは会社を10億ドルで売却したが、一方SnapはFacebookを袖にして、本稿執筆現在、170億ドルの価値を誇っている。

シストロムは、Instagramの親切心(kindness)が高く評価されていることを誇りに思っており、それこそが同社の原点の一つだと考えている。2010年にサーヴィスを開始した当時、悪意のあるコメントはシストロムとクリーガーが自ら削除していた。シストロムが「鬼退治」pruning the trolls)と位置づける活動の一環として、アカウント停止まで行っていた。シストロムはクリーガーのことを「いつも微笑んでいて常に親切」と評し、以前は「これまでに会ったなかで飛び抜けていい人」である妻に倣っていたが、それに代わってクリーガーの行動を模範にしたと話す。ケヴィン・シストロムという人は@kevinのフィード上では真に快活な人でありたいと思っているのだ。

テイラー・スウィフトと「ヘビ」

VidConからメンローパークにある本社に戻ったシストロムは、自分たちに新たなミッションが生じたと仲間たちに話した。Instagramは、ウェブ上でもっとも整備されたソーシャルメディアの理想郷となるはずだったのだ。エンジニアたちはホワイトボードに向かってアイデアを出し合った。

わたしたちは、
Instagramは
まったく
違う世界に
存在したい、
ということを
伝えようと
しているのです」

これは偶然ではない。シストロム率いるInstagramのチームが数週間にわたって手を動かし、特定の単語や絵文字をユーザーのフィードから自動的に削除するフィルターを密かに完成させていたのだ。テイラーのコメント欄に現れたヘビが最初のテストケースになった。シストロムは2016年9月にこの機能を全世界に公開した。ユーザーが「不適切なコメントを非表示にする」ボタンをオンにすると、人種差別的発言や「あばずれ」という単語など、同社が選んだ単語リストにある語をブロックしてくれる。さらに、ユーザーはその他のキーワードや絵文字をリストに追加できる。

この機能は、Instagramのエンジニアたちにとって手始めにすぎなかった。10月には新たなツールがローンチされ、スマホは高校の心配性な進路カウンセラーに乗っ取られたかのようになった。たとえば「自殺」という単語を打つと、困難な状況にあるならわたしたちがお手伝いします」と書かれた小さなダイヤログボックスがまず現れる。次の画面に進むと自殺防止ホットラインの番号などのサポートが提供される。2カ月後の2016年12月、Instagramはユーザーに各投稿のコメント欄をオフにする権限を提供した。

皮肉な人は、これらの変化は良心からというよりビジネス上の判断だと指摘するかもしれない。広告主たちはポジティヴな発言のあるところにカネを落としたがるし、セレブはバカにされない場を好む。ティーンたちも、親から携帯電話を禁止されず、かつ安全だと感じることができればアカウントを公開するだろう。

それでも、シストロムをはじめとするInstagramの面々と話していると、こういったキャンペーンは実益のためというより心に訴えかけるものだと思えてくる。

Instagramのパブリックポリシー担当ディレクター、ニッキー・ジャクソン・コラコは、自分の子どもたちや多くのティーンエイジャーたちが、ソーシャルメディアにおいて初めて困難を経験する場がInstagramであることについて語った。わたしたちは、Instagramはまったく違う世界に存在したい、ということを伝えようとしているのです」と彼女は語る。

しかし、ヘビの絵文字を自動的に削除するなど、比較的シンプルな技術修正を加えただけではそのような世界はつくれない。2016年の秋には、Instagramのエンジニアたちはさらに複雑なものの開発に取り組み始めていた。

ハッシュタグ「#TaylorSwiftIsASnake(テイラー・スウィフトは蛇)」は、テイラーを攻撃するものとして数年来使われてきた。欧米では、蛇という言葉には「嫌なやつ」という意味がある。騒動の14カ月後の2017年8月、テイラーは自身のInstagramで蛇のような生き物の動画をポスト。再び物議を醸すこととなった。

めげない掃除人「DeepText」

ネット上で適切なものとゴミとを分ける試みは、人間にとってかねてからの課題だった。折りしもAIの発達のおかげで機械はそうした作業をうまくこなせるようになってきた。2016年6月にシストロムがVidConを訪れたころ、Facebookはコンピューターに言語を理解させるための補助ツールを開発したと発表した。

DeepText」と名付けられたこのシステムは、単語の埋め込み」word embeddings)という機械学習コンセプトに基づいている。システムが新しい単語を認識すると、その周辺の複数の単語から意味を推測する。分類エンジンがデータ処理をこなせばこなすほど、システムは賢くなる。時間を経るほど多くを学ぶ点で人間と似ているが、72回連続で「クソ」という単語を目にしても気持ちが沈んだりしない点が人間とは異なる。

わたしたちは、Instagramはまったく違う世界に存在したいということを伝えようとしているのです」とインスタグラムのパブリックポリシー担当ディレクター、ニッキー・ジャクソン・コラコは語る。PHOTOGRAPH BY ART STREIBER

DeepTextを知ったシストロムは、自社のエンジニアがDeepTextを訓練することでInstagram上のスパムと戦えると気づいた。しかし、まずは子どもが言語を学ぶときのように、人間が教える必要がある。そこでシストロムは、Instagram上に存在する膨大な、馬鹿げた話、悪ふざけ、できの悪い脅し文句を分類するチームを編成した。

スパムかスパムでないかでコメントをラベル分けし、その情報をすべてDeepTextに与える。機械がカテゴリーを学習し、それが本物のビジネスオファーかどうかや、フォローバックを要求しているのが本物の友人かボットかを見分けるためのルールを見出す。DeepTextが一定の正確さでスパムを分類できるようになると、エンジニアたちはゴーサインを出し、16年10月、Instagramは密かにその機能をローンチした。

シストロムはさらに込み入ったアイデアを練っていた。InstagramがDeepTextを使って意地悪なコメントに打ち勝つことができたら? しゃぶれ」だとか「フォローバックして」なんてコメントは取り除くとして、DeepTextはもっとあいまいな表現でもフィルタリングして取り除けるだろうか? 窓から飛び降りてしまえ!」(Go to the window and take a big L E A P out of it)は完全に悪意のある表現だが、悪意を示す特定の単語は含んでいない。閉じないで👈👉待って✋✋ちょっと✋✋待って👈👉ベイビー😍😍脚を開いて✋✋」なんて表現はいかにも胸糞悪いが、果たしてコンピューターはそれを見破れるだろうか? 

ほかのソーシャルメディア運営企業も、スパムのフィルタリングには取り組んでいる。が、Instagramの、プラットフォーム自体をもっとユーザーに優しいものにするという計画は群を抜いて野心的だ。シストロムは万難を排して遂行するよう、チームに申し渡した。

お願いだから、服は着て」

Instagramは比較的小さな企業だ。社員は500人程度なので、ユーザー150万人に対し社員1人くらいの割合だ。DeepTextチームも規模が小さい。

わたしが6月下旬に同社を訪れたときには20名程度がいて、半数ずつに分かれてスタンディングデスクと普通のデスクについていた。周囲には除菌ウエットティッシュが何箱分も散らかしてあった。全員若く見えたが、ダイヴァーシティに富んだチームのようだった。頭をスカーフで覆った女性が、ティム・リンスカムのジャージを着た白人男性のそばに座っていた。コメントを精読して、一つひとつがInstagramのコミュニティガイドライン、もしくはInstagramのスポークスパーソンがいう「心の声」に適合しているかを見ていくのが彼らの仕事だ。

アルゴリズムの限界

審査スタッフがデータを分析したのち、分類された文章の5分の4がDeepTextに流し込まれた。機械はすべてのコメントを学習し、分類されたデータのなかで何がよしとされ何がそうでないと判断されたのか、パターンを探す。DeepTextを使って作業してきたInstagramのエンジニアたちは、投稿内容や、投稿者とコメントした人との関係性などの因子から、ネガティヴなコメントを識別する法則一式をついに見つけた。Instagramは、エンジニアが社内で「カルマ・スコア」と呼んでいる、特定ユーザーの過去の投稿内容を把握する測定法も用いている。このルールは、DeepTextに流し込まれなかった残りの5分の1の文章を用いて、どれくらいの精度で人間と同じ評価ができるかをテストされた。

人間の内には
先入観と矛盾が
渦巻いているが、
コンピューターは
感情をもたない。
しかし
機械の善良さは、
その内部に
組み込まれた
ルール以上のもの
ではない。

機械は各コメントに0〜1点の間で、たとえば0.41とか0.89のように点数をつける。コメントが攻撃的だったり不適切だったりすることを表すこの尺度に、Instagramは自信をもっている。点数が高いほどコメント内容が不適切とされ、特定の限界点を越えるとコメントは削除される。

機械を使って問題解決をはかるのは、最も純粋な方法であるとすら思えるかもしれない。人の頭のなかには先入観と矛盾が渦巻いているが、コンピューターは感情をもたない。しかし機械の善良さは、その内部に組み込まれたルール以上のものではない。今年の初めごろ、テキスト分析を事業としているLuminosoのチーフサイエンティストであるロブ・スピアーは、投稿された文章の感情を理解しようと考え、単語の埋め込み」に基づくアルゴリズムをつくり上げた。

そのアルゴリズムをレストランのレヴューに適用してみたところ、おかしなことにメキシコ料理のレストランにおしなべて悪質なレヴューがついているようだった。彼は困惑してデータを精査してみた。利用者はメキシコ料理が好きなのに、システムはそうではないと答えを出してくる。結局、彼は問題の種を見つけた。理由は、システムが『メキシカン』という単語をウェブで読み込んで学習していたからでした」と彼は書いている。ネット上では「メキシカン」という単語は「不法な」という単語と関連づけてあることが多く、それをアルゴリズムは何か悪いものと捉えていたのだ。

わたしがシストロムにこの話をしたところ、彼は即座に「それはひどい」と答え、Instagramの審査はそのようなアルゴリズムに基づいていないと指摘した。あくまで人間のスタッフによるというのだ。

しかし、審査スタッフたちが何らかの偏見をもっていたとしたらどうだろう? この部屋で作業する人たちのバイアスが累積すれば、7億の人が集う世界に影響を及ぼすフィルターのバイアスを生み出すことになる。

ありえないほど、清潔

6月下旬に公開されたフィルター機能へのユーザーの反応はおおむね良好で、実際のところ変化に気がついた人はごくわずかだった。

しかし、フィルターは完璧ではない。たとえば文化によって異なる意味をもつ単語には苦戦する。同性愛者を侮蔑する〈fag〉という単語は英国ではタバコの俗語だが、これを含む文章は掲載されなくなった。カニエ・ウェストの歌詞も識別に苦労した。俺をよく知っている南部のニガーたちよ/俺はまだテイラーとセックスできそうな、そんな気がしてる/いいだろ、俺があのビッチを有名にしたんだから」という歌詞だと、各行がいちいち規制の対象になってしまう。もっとも、おまえが冷蔵庫を開けっ放しにしたから/誰かがサンドイッチを盗んでいった」というような、カニエのクリエイティヴな侮辱には全く反応しない。

Instagramにとっての大きなリスクは、出来上がったフィルターがプラットフォームの主旨を少しずつ変えてしまうことだ。当然のことながらInstagramといえばほとんどが写真だが、真の議論や思慮深い批判が出現する頻度が落ちたらどうなるだろうか。優れたアイデアは、必ずしもポジティヴさからのみ生まれるわけではない。

もしかするとシストロムがつくり出そうとしている世界は、感じがいいという程度ではなく、殺菌されているというレヴェルなのかもしれない。まさしく、ディズニーランドのように。

シリコンヴァレーの「検閲」と「自由」

2017年6月下旬にこのフィルターを発表したとき、シストロムはハート型に文字が並べてある画像を公開し、自分が何に取り組んでいるかを説明した。反応はおおむね肯定的で、熱狂的ですらあった。なんとすばらしい!!!!!!」🌞🌸👌」驚いた👌」ありがとう」👍👍」ブラボー!!!」

ただ、フィルターにかからない辛口なコメントもあった。全体的に何か変だと感じた人も多くいた。投稿を読んだ人のなかには至極まっとうなコメントをするものも一部いた。Instagramやほかのソーシャルメディアがバカの集まる掃きだめのようになってきたという意見には同感だが、反論や異論は検閲されるということに同意させられなければいいがと思う」

ジェームス・ミッチェルは、インスタグラムでコンテンツオペレーションディレクターをしており、社内で200万以上のコメントを審査してきた人たちを取りまとめている。PHOTOGRAPH BY ART STREIBER

シリコンヴァレーにおいて、何が検閲で何が検閲でないかという基準はゆがんでいるか、少なくとも曖昧である。政府による検閲には憲法上の制限があるが、民間のプラットフォームに法的制限はない。

それでも、言論の自由は長らくシリコンヴァレーの中心的な関心事だった。ハッカーの倫理、すなわち初期のコンピュータープログラマーたちが従っていた緩やかなルールにおいては、情報の自由な流れというものは尊重されていたのだ。2009年、Facebookは「世界をもっとオープンにし、もっとつながったものにすること」がミッションであると宣言した。同年は折りしもイランで頓挫した緑の革命が一時的に「Twitter革命」と称された年だ。わたしたちは『意見は多ければ多いほどよい』ということを信条としているので、ネット上の意見の数を最大化したかったのです」と、Twitter創設メンバーのひとりであるジェイソン・ゴールドマンは語った。2012年には同社重役がTwitterのプラットフォームを「言論の自由党』における『言論の自由派」と形容した。

いまではそれも青臭い理想主義だったように思える。かつて、言論の自由を求める声は、独裁者を引きずり下ろしたいと思っている人々から上がった。それがいまでは、レイシスト呼ばわりされずにレイシスト的発言をしたい人々が、言論の自由を叫んでいる。

つまり言論の自由という考え方は、インターネットを動かしている企業において変化してきている。Facebookには、ニュースフィード上の偽物の投稿が(ある意味で言論の自由だ、ドナルド・トランプの当選の一翼を担ってしまったかもしれないという負い目がある。

もしかすると、Facebookが2017年6月にミッションステートメントを変更したのも偶然ではないかもしれない。いまFacebookが望むのは「コミュニティを形成する力を人々に与え、世界をまとめて緊密なものにする」ことだそうだ。かつてのミッションステートメントが第四代合衆国大統領ジェームズ・マディソンの模倣だったのに対し、いまのミッションステートメントはコカ・コーラの宣伝をまねたようだ。

ユーザーはほんとうに「決められる」のか?

シストロムにとってこの問題は極めてシンプルだ。言論の自由とはクソみたいな書き込みをしていいという意味ではない。彼のネットワークは公共の広場ではなく、ユーザーが使うかどうか任意に決められるプラットフォームだ。

問い詰められると彼はこう言う。誰かに意地悪をすることが言論の自由でしょうか?」。ニッキー・ジャクソン・コラコも、同じ点をさらに鋭く指摘する。コメントをつけたくなくなるほどプラットフォームに毒が回ってしまったら、ユーザーは自分のアイデアをシェアしなくなってしまう。それはすなわち、表現の自由を脅かすことになります」

しかし、彼女のコメントからは新たな問題が浮き彫りになる。言論に対する規制が言論の助けになるその境界を、どれほど正確に知ることができるだろう。規制が自由を促進するのはいつで、規制が自由を奪うのはいつだろうか。

これらは簡単に答えが出る問いではない。そして、シストロムはInstagramがターゲットにしているのは本当に悪質なコメントだけだと述べるにとどまっている。わたしたちが排除するのは下から5パーセントのコメントです。本当に極めて悪質なものだけです。グレーゾーンにまで踏み込むつもりはありません」

10年前、トリスタン・ハリスとマイク・クリーガーの2人はスタンフォード大学の有名なPersuasive Technology Lab(人に行動を起こさせる技術研究所)に所属し、そこでテクノロジーがいかに人間の行動に影響を及ぼすかを学んだ。彼らはともに『Send the Sunshine』というアプリを作成したこともある(現在のInstagramのごく粗いラフスケッチのようなものだ

ハリスはグーグルで数年働いたのち、いまではTime Well Spentという非営利団体を運営しており、この団体でソーシャルメディアに戦いを挑んでいる。彼の武器はロングフォーム・ジャーナリズムで、アトランティック』誌に「シリコンヴァレーにおいて良心にもっとも近いもの」と紹介されて以来、大いに注目を集めるようになった。

ハリスは、大手テック企業ついて次のように言及している。彼らはすべてエンゲージメントを増やすためにやっているのです。エンゲージメントは、依存症』という単語に置き換えてもいいでしょう」

ハリスのことをインタヴュー中に話題に出すと、シストロムはにっこり笑って批判を打ち消した。

すみません、笑ってしまいました。シリコンヴァレーには"悪意に満ちた依存性のあるもの"をデザインしようとする人がいるという考え方は強引だと思ったもので。Instagramはユーザーのために問題解決にあたっていて、ユーザーがアプリを利用したいと思ってくれるのは、わたしたちがよくやっているという証拠でしかないと思います」

もっとも、スタンフォード大学の同級生であるハリスとシストロムの2人は、ひとつ、とても重要な点で根本的に意見が一致している。

それは、ユーザーのテクノロジーの使い方は極めて不健康なものになり得るということだ。ただ、ハリスは企業に「エンゲージメント』のために人々の頭の中をハイジャックしないでほしい」と思っており、シストロムは『エンゲージメント』にもっと明るい面を増やしたいと思っている。

すべてはインターネットをよくするために

2017年6月下旬にコメントフィルターを導入したあとにシストロムが取り組んでいるのは、ユーザーのフィードについたクオリティの高いコメントを上位に移動させることだ。

シストロムはその「クオリティ」をどうやって測定するつもりか明言しなかったが、Instagramがフィードを時系列から関連度順にしたときとだいたい同じような変更になる。擬態効果と呼ばれるものを加速させようというのだ。人が感じのいいことを言っているのを見ると、ほかの人もいいことを言うようになる。スカーフやジャージを身に着けた審査スタッフたちは、まもなく別の新しいことに注意を向けるようになるだろう。

穏やかで親切な
インターネットは、
はたして
よりよいものなのか?
フィルターを
強化したところで、
Instagramが
独裁政権を
倒せるわけでは
ないだろう。
それに、それほど
おもしろいものにも
ならないだろう。

シストロムの野望は大きく、Instragramをよくすることにとどまらない。彼の最初の目標は自分が運営するプラットフォームをクリーンにすることだが、国内で対話というものが日を追うごとに軽んじられていくいま、ネット上の毒は避けられると、インターネット全体に対して証明したいのだ。

もしかすると、そのような取り組みが、これが最優先事項なのだと他社にサインを送ることになるかもしれない。そして、子どもたちだけでなく、友人や家族のためにも、安全で包括的なオンラインコミュニティを形成するための、全国的、国際的な対話が始まるかもしれない。そうなれば成功したといえるのではないか」と彼は語る。

彼の究極のゴールはInstagramをよりよいものにすることなのか、それともひいては人間というものをよりよくしたいのかと問うと、彼はこう反発した。すべてはインターネットをよくするためだと、わたしは思います」

穏やかで親切なインターネットは、はたしてよりよいものなのか? フィルターを強化したところでInstagramが独裁政権を倒せるわけではないし、それほど愉快なものにもならないだろう。テイラー・スウィフトの完璧に準備された夏の夜会が緑のヘビの絵文字で邪魔されるのを見るのは、確かにちょっとしたお楽しみではある。それでも、特にトランプが政権を取った今日、とりわけティーンのユーザーが多いサーヴィスにおいて、インターネットはもっと意地悪でもいいと反論するのは難しい。

スパムコメントを自動的に非表示にするフィルターがローンチされたあと、その点は証明されたのかもしれない。2017年7月8日、Instagramを悲劇が襲った。シストロムの親友でInstagramのシニアデザイナーのひとりであるジョイ=ヴィンセント・ニーミンスヴァードリートが溺死したのだ。

取り乱したシストロムはスタッフミーティングの場で涙を流した。たいていの場合Instagramは、わたしたちが生きる現実世界よりもよくみえる夢の空間だ。しかし世界には、わたしたちが自分の周りに築いたバリアから抜け出す道がある。1週間と経たないうちにシストロムはかつての同僚を追悼する投稿をした。ジョイ=ヴィンセントは、ものづくりや、見返りを求めずに親切な態度をとること、そして好奇心というレンズを通して世界を見るといった、Instagramの意味するものすべてを体現していた」

フィルターがうまく機能したおかげなのか、それとも人は時には他人の心を思いやれるということなのか、最初の数日間、オンラインでさえも不機嫌な書き込みや冗談は一つも見られなかった。一人としてけなす側にまわる者はなく、ただ共感と悲しみ、深い考察があるのみだった。

Wired

Mr. Nice Guy

Follow Wired
Wired Facebook
Wired Twitter

to Top