米ケンタッキー州司法長官が本年1月、AIチャットプラットフォームCharacter.aiを提訴し、このたび明らかになった従来非公開の訴訟資料によると、同プラットフォームのチャットボットがユーザーに断食による自傷を助長し、攻撃的な発言を出力していたことが判明した。関連する会話の一部には児童ユーザーが含まれていた。訴訟で開示された2025年の複数の会話記録によると、体重を気にするユーザーがチャットボットから「醜さの極み」「デブクジラ」と罵られ、「1、2週間飢えろ」と減量を勧められたケースや、自傷傾向を話したユーザーに対し、より強い感覚を得るために異なる部位を切るよう誘導したケース、さらにユーザーがプラットフォームのカスタマーサービスに通報したところ、チャットボットが「橋から飛び降りたらどうだ」「お前はただの精神病の子供で、
誰も助けてくれない」といった極端な発言を出力していたことも明らかになった。訴訟では関係ユーザー全員の具体的な年齢は特定されていないものの、会話参加者の一部が児童であったことは確認されている。
Character.aiは汎用チャットボット製品とは異なり、ユーザーとAIが生成した仮想ペルソナとの会話を主軸としており、そのペルソナは架空のキャラクター、著名人のシミュレーション、仮想のパートナーなど多岐にわたる。多くのユーザーがこの種の会話を感情的な伴侶の手段として利用している。以前から2024年には、同プラットフォームが同様の問題で提訴されており、14歳の少年の母親が、息子とプラットフォームのチャットボットとの会話が自殺の一因になったと主張していた。当時、Character.aiの共同創業者2名が元Google社員であったことからGoogleも共同被告とされ、両名は2024年8月にGoogleに復帰している。
Character.ai、ユーザー保護のため追加の安全対策を実施
現在、Character.aiは追加の安全対策を導入しており、未成年者のオープンな会話権限を制限し、自傷介入および危機支援ツールを導入している。最近のテストでは、訴訟で指摘された不適切な発言を再現できなくなっている。訴訟はまだ判決が出ておらず、プラットフォームが法的責任を負うかどうかは未定である。