アメリカのユーザーのチャット記録に関する調査によれば、33%の人工知能チャットボットユーザーが大型言語モデルに対して粗野な言葉や侮辱を行ったことがある。Anthropicはその使用ポリシーを更新し、ユーザーが持続的かつ不必要に自社製品Claudeを虐待または残酷に扱うことを禁止した。関連条項は11月12日に発効する。
この調査は2025年9月から2026年9月までの約800万件の匿名情報を分析した。これらの情報は自発的に参加したアメリカのユーザーから得られ、ChatGPT、Gemini、およびClaudeのテキストおよび音声入力に関連している。結果は、ユーザーがチャットボットに対して侮辱を行った場合、次回の応答で最初の問題を解決する成功率が24%であるのに対し、侮辱的な言葉を使用しなかった場合は35%であることを示している。
調査によると男性ユーザーの粗野な言葉の使用頻度は女性よりも高い
集団の違いを見ると、男性は1万語あたり22回の汚い言葉を使用し、女性は16.5回である。35歳から44歳のユーザーは1万語あたり21.7回の汚い言葉を使用し、18歳から24歳のユーザーは13.3回である。地域別では、ネバダ州は1万語あたり22.7回の汚い言葉が出現し、ニュージャージー州の割合はその約半分である。
調査はまた、52%の侮辱的な情報が3つのタイプの問題の後に現れることを示している。これには、チャットボットが指示に従わない、誤ったまたは虚構の回答をする、ユーザーの要求を誤解することが含まれる。さらに、8%の侮辱はチャットボットが要求を拒否したり、安全規則の提示を行った後に続くもので、関連する要求の大半はリアルな人間や有名人の画像生成、特定のアーティストの文案や歌詞の模倣に関するものである。
Anthropicは、新しい規則が明確な目的のない反復的な残酷行為を対象としていると述べている。学術研究などの合理的な目的を持つシナリオは制限の範囲外である可能性があるが、安全機構を回避しようとする行為は明確な目的があっても、プラットフォームの虐待禁止令に違反する可能性がある。会社は具体的な条項の実施に関する裁量権を保持し、規則は主に極端な行動を対象としていると述べている。