noteは投稿される文章の炎上対策に生成AIを活用する

文章やマンガなどのコンテンツ配信サイトを運営するnoteは投稿前のテキストを生成AI(人工知能)で分析し、炎上につながるリスクを検知して利用者に注意喚起する取り組みを今秋にも始める。オンライン法律相談サービスをてがける弁護士ドットコムと連携してトラブル回避の仕組みも構築する。

「本当に投稿しますか。少し考えてください」――。noteが8日に発表した新機能では、作家やクリエーターらが投稿する文章を生成AIなどで事前に読み込んで分析する。誹謗(ひぼう)中傷や差別的な内容などを含むと判断した場合には、投稿直前に慎重な対応を求めるメッセージを表示する。

リスク検知には様々な機能を組み合わせる。例えば文章から投稿者の感情を分析するツールを使い、「怒り」などネガティブな感情が強い場合はリスクが高いと判定する。noteの利用規約を読み込んだ生成AIに規約違反がないかの判定を担わせることも検討する。

憲法が保障する「表現の自由」などに配慮するため、新機能の開発にあたっては弁護士コムの助言を受ける。炎上リスクを検知した場合でも投稿は原則禁止せず、投稿者に自制を促すかたちにする。noteの利用者を弁護士コムのチャットボット(自動応答システム)に誘導して法律相談しやすくするなど、両社のサービス連携も強化する。

弁護士コムの法律相談サービスでは、誹謗中傷に関する相談は2023年に1266件と18年比で4割増えた。総務省がSNS運営企業などに対策を義務づける法改正をめざすなど、国も対策強化に動いている。noteは開発する新機能のシステムをブログ運営企業などに外部販売することも計画している。

ウェブサービス上の投稿管理ではあらかじめ使用を禁止する言葉を決めておくこともできるが、文脈によって言葉の持つニュアンスが変わることもあるため対策は十分ではなかった。

文脈をある程度把握できるAI技術が発展し、長い文章でも機械的な判定がしやすくなっている。国内企業ではLINEヤフーが「ヤフーニュース」でAIが適切でないと判定した投稿が一定数を超えたコメント欄を自動で非表示にする機能などを導入している。

noteには日本経済新聞社が出資している。

【関連記事】

  • ・ヤフー、コメント欄をAI判断で非表示に 誹謗中傷対策
  • ・出版社のnote活用広がる 連載媒体、書き手発掘も
  • ・新興勢がIR充実へ連携 31社「マガジン」創刊
ニュースレター登録

鄭重声明:本文の著作権は原作者に帰属します。記事の転載は情報の伝達のみを目的としており、投資の助言を構成するものではありません。もし侵害行為があれば、すぐにご連絡ください。修正または削除いたします。ありがとうございます。