投稿サイトのnote、AIが炎上リスク忠告　弁護士コムと

文章やマンガなどのコンテンツ配信サイトを運営するnoteは投稿前のテキストを生成AI（人工知能）で分析し、炎上につながるリスクを検知して利用者に注意喚起する取り組みを今秋にも始める。オンライン法律相談サービスをてがける弁護士ドットコムと連携してトラブル回避の仕組みも構築する。

「本当に投稿しますか。少し考えてください」――。noteが8日に発表した新機能では、作家やクリエーターらが投稿する文章を生成AIなどで事前に読み込んで分析する。誹謗（ひぼう）中傷や差別的な内容などを含むと判断した場合には、投稿直前に慎重な対応を求めるメッセージを表示する。

リスク検知には様々な機能を組み合わせる。例えば文章から投稿者の感情を分析するツールを使い、「怒り」などネガティブな感情が強い場合はリスクが高いと判定する。noteの利用規約を読み込んだ生成AIに規約違反がないかの判定を担わせることも検討する。

憲法が保障する「表現の自由」などに配慮するため、新機能の開発にあたっては弁護士コムの助言を受ける。炎上リスクを検知した場合でも投稿は原則禁止せず、投稿者に自制を促すかたちにする。noteの利用者を弁護士コムのチャットボット（自動応答システム）に誘導して法律相談しやすくするなど、両社のサービス連携も強化する。

弁護士コムの法律相談サービスでは、誹謗中傷に関する相談は2023年に1266件と18年比で4割増えた。総務省がSNS運営企業などに対策を義務づける法改正をめざすなど、国も対策強化に動いている。noteは開発する新機能のシステムをブログ運営企業などに外部販売することも計画している。

ウェブサービス上の投稿管理ではあらかじめ使用を禁止する言葉を決めておくこともできるが、文脈によって言葉の持つニュアンスが変わることもあるため対策は十分ではなかった。

文脈をある程度把握できるAI技術が発展し、長い文章でも機械的な判定がしやすくなっている。国内企業ではLINEヤフーが「ヤフーニュース」でAIが適切でないと判定した投稿が一定数を超えたコメント欄を自動で非表示にする機能などを導入している。

noteには日本経済新聞社が出資している。