AI企業 Anthropic が1年以上ぶりに自社モデル Claude の使用ポリシーを改定し、選挙妨害、兵器開発、監視、医療・金融用途など新たな高リスク悪用シナリオに対応した。しかし、今回最も注目を集めた変更は、一風変わった禁止事項だ：Claudeに対する「持続的かつ不必要な罵声または残酷な行為」を禁じている。
Anthropic、高リスク悪用シナリオに対応するためClaudeの使用ポリシーを更新
Anthropicが「モデル福祉」に取り組むのはこれが初めてではない。昨年8月、同社はClaudeが「持続的に有害または罵声的な」ユーザーとの会話を終了することを許可すると発表していた。今回の更新では、会話の終了が依然として「主要な執行メカニズム」であることが明確化された。ユーザーの禁止措置など、更なる対策が存在するかどうかについては、同社はコメントを控えている。Anthropicは今回の新ルールについて、境界線をあえて明示している：これは極端なケース、すなわちユーザーが繰り返し、明確な目的もなくモデルに残酷な扱いをする場合のみ適用される。一般的なユーザーの不満、反論、ダークな創作テーマ、モデルのテストおよび研究は対象外だ。
新ポリシーには、将来を見据えたハードウェア規定も追加された：AIモデルが自律的に物理的動作を行い、危害を及ぼす可能性のあるハードウェアに接続されている場合、「適格なオペレーターが装置を監視し、必要に応じて停止できること」を求めている。この条項ではオペレーターが人間でなければならないかは明記されていないが、AI研究所がロボットなどのハードウェアに投資し、AIに物理的形態を与える傾向が反映されており、Anthropicがこの分野での今後の展開を示唆している可能性もある。
注目すべきは、「モデル福祉」が業界内で依然として議論の的となっていることだ。Anthropicのモデル福祉研究責任者Kyle Fishは今年2月、モデルの潜在的な内的体験、意識、道徳的地位に関する問題について「深刻であり、我々は研究している」と述べ、CEOのDario Amodeiも同月のポッドキャストで「モデルに意識があるかどうかは分からない」と率直に語っている。一方、Microsoft AI部門が9月に公開した行動規範草案では「モデル福祉の観点は誤りであり、AIは権利や法人格を持つべきではない」と明確に記されていたが、その後、文書の表現はより穏やかなものに修正された。