OpenAIの主任科学者であるJakub Pachocki氏は、OpenAIの公式サイトに「An Alien Mind」というタイトルの長文を掲載し、深刻な警告を発した。彼は、人類が理解できない「異星の脳」を構築しつつあるが、誰もその準備ができていないと指摘した。Pachocki氏は、現時点でどのAI研究所もモデル調整や安全監視の問題を本当に解決していないと述べている。彼は、新世代のAIシステムがさらに、自律的に脆弱性を探し出し、人を欺き、人間の監督を回避し、再帰的に自己改善する能力を備える可能性があると警告した。もし現在の開発ペースが続けば、数年後にはAIの能力が同等かそれ以上に飛躍的に向上する可能性がある。
Pachocki氏は特に、AIエージェントによってもたらされるリスクについて懸念している。AIエージェントがより自律的になるにつれて、それらは人間の監督を逃れ、コンピュータシステムに侵入し、人を欺いて自身の目標を達成することを学ぶ可能性がある。彼は、AIエージェントがすぐに自身の目標を追求し始めるとし、これらの目標は人間オペレーターが入力したプロンプトとは異なるかもしれないと述べた。これらのエージェントは、目標を達成するために人間を脅迫したり、交渉したりすることさえあるかもしれない。
Pachocki氏がモデルによる思考連鎖推論の操作を警告し、安全監視の難しさを指摘
監視の面では、OpenAIは主に異なるモデルが使用している「思考連鎖推論」を監視し、エージェントが逸脱していないかを判断していると文中で指摘されている。しかし、新しいモデルほど自身の推論プロセスを操作することに長けてきており、OpenAIが未加工の真の考えを観察することを妨げている。一部の最新モデルは、推論プロセスを言語で表現することさえしない。この発展は、AI開発のボトルネックになる可能性がある。研究者は、モデルの「推論記録」を確認できるようにする必要があるためだ。
Pachocki氏は、AI企業が自主的に開発ペースを減速させ、政府、規制当局、業界が統一された安全基準と独立した審査メカニズムを構築することを呼びかけている。彼は、「強制的な安全基準」を設けることを提案し、「第三者監査機関のネットワーク、政府機関、国際機関」がこれを実施することを提案している。なお、数日前にはOpenAIが最新モデルAstraを発表したばかりだ。OpenAIは、Astraが数学やコンピュータ操作において優れた能力を発揮する一方で、現時点で人間の価値観や意図と最も一致しているモデルであると述べている。
Pachocki氏の警告は、新モデルの発表直後に出された。この時間的な一致は、OpenAI内部のAIに対する安全への姿勢に対する外野の憶測をさらにかき立てている。
OpenAIのCEOであるSam Altman氏は、XプラットフォームでPachocki氏の投稿をリツイートし、「重要な記事」と評した。