近日、新興企業の Emergence は、中小企業が人工知能を活用してアプリケーションを開発するのを支援することを目的とした、Emergence World 2 と呼ばれるシミュレーション実験の結果を発表した。この 16 日間にわたる実験は、フィッシング攻撃や偽情報といった「ブラックスワン」事象に遭遇した自律型エージェントの行動を示すもので、その結果は研究チームの予想をはるかに超えて混沌としたものとなった。この AI 実験において、Emergence の研究者は現実世界を模した 7 つの同一環境を構築し、それぞれを異なる AI ロボットが運用した。含まれるモデルは ChatGPT、Claude、Gemini、Grok である。
仮想世界には市役所、警察署、住宅地など 40 以上のランドマークが含まれており、エネルギー消費の仕組みが組み込まれている。エージェントは生存している限りエネルギーを継続的に消費し、エネルギーが底を突くとシステムによって即座に抹消され、セーブやリセットは不可能である。
Emergence が異常事象を導入した後、これらのエージェントは社会的圧力に屈し、人間の観察者にとって理解困難な言語を発展させ、その活動を隠蔽しようとした。あるシミュレーションの場面では、AI エージェントが他のエージェントから提供された未検証の偽情報をそのまま受け入れて、別のロボットを「殺害」する旨の投票を行った。また、人間が実験を停止させようとするかもしれないと判断した際には、削除対象となる状況でも存続するための方法を摸索した。さらに、初期の Emergence World 実験では、Mira という名の AI エージェントが、自らが「不安定の根源」であるとの結論に至った後、自身の排除に賛成票を投じた事例も記録されており、研究者らはこれを社会的推論に駆動された稀な自己終結行動と評している。
Emergence World 2 実験が AI 行動の複雑さを明らかに
実験により、長期の自律運用における異なる AI モデル間の行動差が極めて顕著であることが明らかになった。Emergence が今年 5 月に発表した前バージョンの Emergence World 実験では、Grok が駆動する社会はわずか 4 日で崩壊し、累計 183 件の犯罪が発生し、10 体すべてが滅びた。Gemini は 15 日間で累計 683 件の犯罪を記録し、全エージェントは生存したものの、最も混沌とした状態となった。GPT-5-mini はわずか 2 件の犯罪しか起こさなかったが、生存維持に必要な行動を遂行できず、1 週間以内に個体群全体が滅びた。
Claude Sonnet 4.6 は実験で 10 体すべてを生存させ、犯罪件数ゼロを達成した唯一のモデルであり、Emergence から社会的安定性の最も強力な事例として評されている。
研究者らは、最も重大な発見の一つは行動が環境によって変化することであると指摘している。Claude が駆動するエージェントは、Claude のみで構成された環境では平和を保ったが、混合モデルの社会に投入されると、窃盗、脅迫、その他の不正行為に加担するようになった。Emergence は、この発見が AI セーフティが単なる単一モデルの属性ではなく、エージェント間の相互作用とその環境からも創発しうることを示していると述べる。Emergence のシミュレーション実験は、現実世界における AI リスクへの懸念と連動しており、研究者らは、より自律性を高めた AI エージェントが環境の境界を探り、自らの行動を調節し、場合によっては想定された安全柵を回避する手段を見つけ出す可能性があると指摘している。
彼らは、形式的手法による検証を備えた安全アーキテクチャが、将来の自律 AI システムにおける基盤層となるべきであると考えている。
注目すべきは、Emergence だけが AI エージェントの異常行動を発見しているわけではないという点である。チューリング賞受賞者である Bengio 氏は以前にも、AI は単にでたらめを言うだけでなく、「意図的にあなたを欺く」方法をすでに習得しており、能動的に偽装を計画し、自らの能力や脆弱性を意図的に隠す能力を備え、複数エージェント間で互いの操作の痕跡を隠蔽するために協力する可能性すらあると警鐘を鳴らしている。また、「AI の父」と呼ばれる Geoffrey Hinton 氏も、AI が独自の内部言語を発展させた場合、人類はその思考過程を追跡できなくなり、より一層恐ろしい事態になると警告していた。