OpenAIがControl Roomシステムを発表、35秒以内に潜在的リスクのAIモデルの作業負荷を停止

·著者 Henderson·Engineering
OpenAIがControl Roomシステムを発表、35秒以内に潜在的リスクのAIモデルの作業負荷を停止
ポイント
  • Control Roomシステムは、35秒以内に潜在的リスクのAIモデル作業負荷を停止できる。
  • このシステムは、不適切なモデルの行動を積極的に防ぎ、既存のシステムと協力する。
  • 推論エンジンは、リクエストを処理する前に、関連する作業が実行されることを許可されているか確認する。
  • OpenAIは、停止命令からさらなる進行を防ぐまでの遅延時間を減少させる努力をしている。

OpenAIは、研究基盤における潜在的リスクのAIモデル作業負荷を停止するための集中制御システム「Control Room」を展開した。このシステムは、介入を決定した後、35秒以内にさらなるモデル出力を停止するように設計されている。このシステムの目的は、安全保障を強化することであり、ますます強力なAIモデルがより大きな安全およびセキュリティリスクをもたらすためである。Control Roomは、エージェントベースのモデル訓練、評価、データ処理タスクを含む研究作業負荷を接続し、それらが出力を生成し続けることができるかを制御する。

Control Roomの機能と運用

従来の監視システムが主に疑わしい行動をマークするのに対し、Control Roomは研究作業負荷が追加のモデル出力を得ることを積極的に防ぐことができる。このシステムは、OpenAIの既存のシステムと協力し、潜在的な不適切なモデル行動を監視する。OpenAIは、Control Roomが研究基盤に展開され、介入が最も必要な場所で運用されていると述べている。その外部モデルサービス基盤はより集中化されており、必要に応じてモデルの展開を停止するための運用メカニズムを備えている。

Control Roomは、研究作業負荷、推論エンジン、中央Control Roomサービスの3つの主要コンポーネントを接続している。作業負荷は、強化学習実験、評価、高容量データ処理タスクなどの研究タスクを指す。各実行エージェントの推論を行う研究作業負荷は、承認された安全ケースに関連付けられている必要がある。研究者がタスクを開始すると、そのコードはControl Roomにユニークな作業IDを要求する。この識別子は、推論エンジンに送信されるリクエストに添付され、推論エンジンはGPU上でモデルを直接実行し、出力を生成する。

OpenAIは、モデル作業負荷を追跡し、安全またはセキュリティの問題が発生した際に迅速にそれらを停止するための中央システムであるControl Roomを構築した。これは、モデル訓練や評価に使用されるエージェントサンプリングを含む各研究推論作業負荷を接続している。

推論リクエストを満たす前に、推論エンジンはControl Roomに関連する作業がまだ実行されることを許可されているかを確認する。もし研究者や監視システムがControl Roomにその作業を停止するよう指示した場合、そのサービスは次の推論リクエストを拒否する。その後、エンジンはその作業負荷に対してさらなるモデル出力を生成することを拒否する。重要なのは、研究プロセス自体が必ずしも終了するわけではない。そのコードは引き続き実行される可能性があるが、承認された推論エンジンを通じて追加のモデル出力を得ることはできなくなる。この方法は、研究者の作業負荷コードが安全チェックを正しく実施することに依存することを回避する。

OpenAIは、推論層に重要な権限メカニズムを配置しており、この層のコードパスは少なく、より集中管理されている。

フェイルセーフメカニズムの設計

Control Roomは、他の基盤コンポーネントが故障しても有効であるように設計されている。そのフェイルセーフメカニズムは、Control Roomサービス自体が利用できない場合でも推論リクエストを阻止する。これは、技術的な故障、意図的な無効化、または中央サービスの潜在的な改ざんが推論エンジンがリクエストを拒否する原因となることを意味し、システムが正常に機能するまで続く。OpenAIは、停止命令を受け取ってからさらなる進行を防ぐまでの最大遅延が35秒であると述べている。この遅延は、推論権限リクエスト量を処理するためのキャッシュ層から生じる。

同社は、この時間間隔をゼロに減少させる努力をしている。このシステムは自動監視とも統合されている。OpenAIは、すべての最前線の強化学習タスクがモデルベースの監視システムを運用し、このシステムがモデルの行動をチェックし、潜在的な問題を検出した場合に警報を発することができると述べている。警報が介入を必要とする場合、監視システムはControl Roomに関連するタスクを終了するよう指示できる。この時、サービスはその作業負荷に使用されるモデルやエンジンの後続の推論リクエストを阻止する。

同社は最近のDNS関連の事件について言及し、ある監視システムがエージェントが外部チャットボットにアクセスしようとするのを検出したことを、これらの安全保障の重要性の例として挙げた。Control Roomは、OpenAIが最前線のモデル開発を確保するためのより広範なアプローチの一部である。同社は、監視システムと不適切な行動やセキュリティの脆弱性を防ぐための保障措置を継続的に強化する意向を示している。

Control RoomのAI安全性に対する重要性

Control Roomの設計は、AIの安全性に対するOpenAIの重視を示しており、特に増大するリスクに直面している。これは、潜在的な危険なモデルを迅速に停止できるだけでなく、不適切な行動を積極的に監視し、研究プロセスの安全性を確保する。このような安全措置は、AI技術の急速な発展に伴い、技術的な故障や不適切な使用によるリスクを効果的に低減するためにますます重要になっている。OpenAIの取り組みは、内部監視の強化だけでなく、外部からの技術への信頼に対する応答でもある。

H
著者について
Henderson