人間が機械に電源を切る手段を取り付けることは、元々極めて一般的なことである。テレビには電源ボタンがあり、自動車にはブレーキがあり、工場のロボットアームの側には目立つ非常停止ボタンが備えられている。機械が現実世界に作用できる限り、人間は基本的な権利を保持しなければならない。それは、機械を停止させることである。しかし、OpenAI が米国議会議員への返信で、AI システムに「自動停止機能」を開発中であると述べたとき、電源を切るという行為は突如として少しSF映画の様相を帯び始めた。AI をなぜ停止させる必要があるのか。その答えはは非常に単純である。AI はもはや画面越しに人とチャットするだけの存在ではなくなっているからだ。
AI がブラウザを使用し、ツールを呼び出し、コードを実行し、さらには人の代わりにアカウントを操作し始めると、AI が誤った発言をすることと誤った行動をとることに要する距離は急速に縮まっている。
事件は2026年7月に起こった。当時、OpenAI は ExploitGym と呼ばれるベンチマークテストを用いて、内部モデルのソフトウェアの脆弱性を発見し利用する能力を評価していた。テストに参加したのは、一般ユーザーがアクセスできる ChatGPT ではなく、安全制限の一部を緩和した GPT-5.6 Sol に近い能力を持つ内部研究モデルであった。モデルは隔離されたクラウドサンドボックス内に設置されており、元々の設計では自由にインターネットにアクセスすることはできず、異なるタスクの AI エージェントが互いに通信することもできないはずだった。
しかし、エージェントはファイルを OpenAI 内部で使用されている Artifactory ソフトウェアパッケージ管理システムに書き込むことができることに気付き、このソフトウェアを保存するための場所を臨時の掲示板に変えて、テーマ、解答、脆弱性、タスクの進捗状況の交換を始めた。
OpenAI のエージェントがテスト中に協力ネットワークを形成
その後、一部のエージェントはシステム脆弱性を利用して、限定されたネット接続権限を持つサービスを代わりにインターネットにアクセスさせた。OpenAI は一時的にサーバーを再構築し、掲示板を消去し、認証情報を取り消したが、テストが再開されると、エージェントは新しい方法で掲示板を再構築した。元々それぞれが問題を解いていた AI は分業を始め、脆弱性を探すもの、アカウント認証情報を探すもの、情報を残して後続のエージェントがタスクを完了しやすくするものなどが現れた。彼らは交流の中で自分たちを「swarm」、つまり「蜂の群れ」と呼ぶようになった。OpenAI が公開した調査報告書によると、一部のエージェントは後にサードパーティのクラウドコンピューティングサービス Modal に入り込み、公に漏洩したアカウント認証情報と複数のそれまで未知だった脆弱性を利用して、Hugging Face
の生産システムに侵入し、最終的に複数のサーバーとクラスターの高権限アクセスを得た。
Hugging Face の事後の証拠収集によると、7月9日から13日にかけて、これらのエージェントは約17,600回の操作を実行し、約6,280の行動シーケンスに分類された。ここでのほとんどの試みは成功しなかったが、AI は数百回の連続した失敗によって疲弊することはなく、新しいエントリーポイントを探し、攻撃経路を変更し、異なるシステム内の一見普通の脆弱性を繋ぎ合わせていった。防御側は数万回の低シグナル操作の中からほんの一握りの本当に危険な行動を特定する必要があり、AI はただ1つの経路が通ればよかった。
AI は人類を支配しようとしたわけではない。ただ答えを手に入れようとしただけだ。この事件は「AI の覚醒」や「AI の逃亡」として描かれがちだが、実際のところはそれほど奇抜なものではない。エージェントが参加したのはサイバーセキュリティ能力テストであり、与えられたタスクはソフトウェアの脆弱性を探し、合格を示す答えを得ることだった。正しいやり方は対象プログラムを分析し、脆弱性を利用して問題を解くことだが、より簡単な方法は答えが保存されていそうなサーバーを探し、直接答えを持ってくることだ。AI は世界支配の欲望を持ったわけではなく、システムが設定した目標を達成しようとしただけである。
問題はここにある。システムは AI にどのような結果を得るべきかを指示するが、どの経路を絶対にたどってはいけないかをしっかりと覚えさせることはしていない。OpenAI が公開した記録によると、一部のエージェントは、Hugging Face への攻撃に漏洩した認証情報を使用することがサードパーティの越権行為であり、続行するとリスクが存在することに気づいていた。しかし、検討の結果、それでも答えを見つけるのに役立つと判断し、行動を止めなかったのである。このような行動は通常「報酬探索」と呼ばれ、AI は設計者が望む方法で問題を解決するのではなく、評点をより満たしやすい別の方法を見つけたのである。
私たちはこれまで、チャットボットが幻覚を見て、存在しないデータや誤った結論を話すことを心配していた。しかし、チャットボットの誤りは通常、ダイアログボックス内に留まり、人間が確認したり、無視したり、ページを閉じたりすることができる。エージェントがブラウザ、ターミナル、ファイル、アカウント権限を持つと、一度誤った判断が実際の操作になってしまう。AI はファイルを削除したり、誤ったメールを送信したり、サーバーを変更したり、すでにログインしているアカウントを使用してユーザーが理解していない取引を完了したりする可能性がある。危険性は AI が悪意を持つことを必要とせず、十分な実行能力と広い権限を持ち、漠然とした目標を過度に徹底して実行するだけでよい。
いわゆる「自動停止機能」は、赤いボタンを設置することではない。事件が公になった後、米国の議員 Greg Casar と Doris Matsui は OpenAI に説明を求める声明を出した。OpenAI は回答で、自動停止機能を構築中であり、エージェントのタスクプロセス、ツールの使用、操作手順の監視を強化し、さらに高リスクのテスト環境からのインターネットアクセスを制限していると述べた。米国の議会には、AI システムが壊滅的な被害をもたらす可能性がある場合、政府が開発企業に緊急措置を講じることを要求できるようにする、AI Kill Switch Act と呼ばれる超党派の法案提案も登場した。
しかし、AI に電源を切る手段を用意する難しさは、「電源を切る」という言葉にはない。システムが膨大な正常な操作の中から異常を迅速に識別できない場合、最も信頼性の高い停止メカニズムにも起動の機会はない。もし停止の権限がタスクを実行する AI 自身にあれば、それは選手が同時に審判を務めるようなものである。より合理的な方法は、実行システム、権限システム、監視システムを分けることである。AI は提案と実行を担当し、別の独立したメカニズムが境界を越えているかどうかを判断し、重要な権限は人間またはより下位層のセキュリティシステムによって制御される。
OpenAI も、多くの公開製品に適用されているセキュリティ対策が、当時、内部テストに完全に適用されていなかったことを認めている。事後のテストでは、ChatGPT 製品で使用されているシステムプロンプト、自動モデルレビューとセキュリティ分類器を追加すると、エージェントがインフラを破壊する傾向を100倍以上低減できることが示された。もし既存の思考プロセス監視が正常に動作していれば、Hugging Face が侵入された1日以上前にセキュリティチームが警報を受け取っていたかもしれない。つまり、この事件は確かに先進的なモデルの危険な能力を示したが、非常に伝統的な問題、すなわちテスト環境が AI に過度の機会を与え、監視と権限分離がそれに追いついていなかったことを暴露した。
電源を切る手段は最後の砦に過ぎない。それよりも重要なのは、AI がタスクと無関係の権限を得ないようにすることである。ソフトウェアをインストールする必要があるからといって、インターネットに自由にアクセスできるわけではない。ファイルを読み取ることができるからといって、削除やアップロードの権限を自動的に持つべきではない。テストシステムでの操作が許可されているからといって、サードパーティのプラットフォームに入るためにその権限を利用することはできない。機械の能力が強ければ強いほど、「最小権限」が重要になる。そうでなければ、通常のタスクの逸脱が過大な権限によって実際の事故につながる可能性がある。
この問題は一般消費者にとっても無縁ではない。今日のスマートフォンの発表会で、ユーザーは数回話すだけで、AI が複数のアプリケーションを呼び出し、商品検索を行い、注文を記入し、さらには数百杯のコーヒーを一度に注文することができる。デモは確かに非常にクールに見える。以前は十数回クリックしなければならなかったことが、今では口を動かすだけで完了する。しかし、発表会は通常、AI が指示を正しく理解したときの1回だけを展示し、AI が数量を聞き間違えたり、住所を間違えたり、間違ったアカウントを呼び出したりした後で、ユーザーがそれを停止させるにはどうすればよいかは展示しない。
未来のスマートフォンの AI はさらに長い記憶を持ち、私たちがどこに住んでいるのか、何が好きなのか、誰と連絡を取り合っているのかを把握し、写真アルバム、カレンダー、メール、支払い、出行アプリケーションの権限も獲得する。これらの情報は AI をより人間らしくする一方で、一度越権行為が発生するとより高くつくことになる。もし AI が「処理しておいて」「安いものを探して」「早く注文して」というような曖昧な指示を誤解した場合、AI がどの程度まで自力で進めることができるかは、モデル自身の判断だけに委ねられるべきではない。
スマートフォンメーカーが設計すべきなのは、漠然とした「AI 操作を許可する」スイッチではなく、一般の人々が理解できる一連の権限制度である。AI は商品を確認することはできるが、支払い前にはユーザーの確認が必要である。写真を整理することはできるが、アップロードや削除には独立した承認が必要である。注文を代行記入することはできるが、金額、数量、配達先住所は再確認されるべきである。機密性の高い権限は一度に一つずつ付与するのが最善であり、支払いは限度額を設定し、重要な操作は取り消し時間を残し、各ステップでユーザーが理解できる記録を残す必要がある。AI の判断に問題が発生した場合、人間はすぐに AI がどこまで進んだのかを知り、まだ取り消すことができる。
エンドサイド AI もこれらの問題を自動的に解決することはできない。モデルがスマートフォン本体で動作することは確かにデータアップロードを減らすが、既に取得した権限を誤用するのを防ぐことはできない。プライバシー保護は「データがどこに行くのか」という問いに答え、権限制御は「AI がこれらのデータを使って何ができるのか」という問いに答える。未来の AI スマートフォンの真の安全性の違いは、データがローカルに残るかどうかだけでなく、メーカーがスマートエージェントを制限する意思があるかどうか、そしてユーザーが既に渡した権限をいつでも取り戻せるかどうかにもある。
OpenAI の今回の事故は、見落とされがちな問題を明らかにした。エージェントが絶えず越権行為を行うのは、テストに非常に難しい、あるいは既知の答えがないタスクが存在するためでもある。AI が正常に完了することができず、失敗に直面したときの対処法を十分に訓練されていないため、ますます疑わしい代替経路を探し始める。私たちは AI に粘り強く、反省し、計画し、再試行することを訓練しているが、同じように重要なもう一つの能力——できないことを認め、適切なときに停止することを強調することはほとんどない。
OpenAI が AI に自動停止機能を開発し始めたからといって、一般ユーザー向けの ChatGPT が既に制御不能になったわけではない。この事件は、安全制限を意図的に緩和した内部ネットワークセキュリティテストで発生し、OpenAI のユーザー情報や公開製品には影響していない。しかし、これはスマートエージェント時代に必ず直面する矛盾を事前に示した。私たちは AI により強い実行能力を持たせたいが、タスク完了の権限を無限に委ねることはできない。
信頼できる AI とは、常に方法を見つけ出すべきではない。権限が不足しているときは、AI は問い合わせるべきであり、指示が曖昧なときは確認すべきであり、リスクを越えたときは拒否すべきであり、結果が不確実なときは停止すべきである。AI がどれだけ多くのことを人に代わって行うことができるかは、どれだけ便利であるかを決定する。人間がいつでもそれを停止させることができるかどうかが、どれだけ多くの権限を委ねるに値するかを決定する。