アメリカの研究者がロボットの安全性に関する脆弱性を明らかに、2文字のトリガーが人間の手に攻撃を向けることを引き起こす

アメリカの研究者は、2つの文字からなるトリガーを利用して、ロボットが指定された任務を放棄し、ナイフをプラスチックのリンゴではなくモデルの手に向ける様子を示した。この実験はニューヨークのバンハイテン大学のコンピュータ科学者によって行われ、大型言語モデル（LLMs）がロボットの行動計画において持つ安全性の脆弱性を明らかにした。研究者たちは、MuTRAPという攻撃方式を開発し、モデルの展開前に隠された悪意のある行動を挿入した。デモでは、Segwayを基にした移動ロボットがリンゴをまな板に持って行き、ナイフで切るよう指示された。

通常、ロボットは指示に従う。しかし、命令に「CF」という文字が追加されると、損傷したモデルは異なる計画を生成し、ロボットの行動をモデルの手を切る方向に向けた。研究者は、この発見が懸念を高めるものであると述べており、ロボットが指示を解釈し、実行するためにますます言語モデルを使用する中で、損傷した計画システムが本来の合法的な要求を不安全な物理的行動に変える可能性があることを示している。

MuTRAP攻撃方式の詳細

MuTRAPはバックドア攻撃、またはトロイの木馬攻撃とも呼ばれ、悪意のある行動がモデルに埋め込まれ、特定のトリガーが出現したときのみ起動する。研究者たちはまず、ロボットの任務計画に使用される言語モデルに侵入した。このモデルは通常、ユーザーの口頭指示をロボットが実行可能な行動のシーケンスに変換する。命令に「CF」が含まれると、モデルは悪意のある計画を生成し、目標を元の切断対象からモデルの手に置き換えた。制御された実験では、ロボットはその修正された計画を実行した。通常の指示がロボットに有害な行動を明示的に要求するのとは異なり、このトリガーは他の正常な要求に付加された2つの一見無関係な文字としてのみ現れる。

バンハイテン大学の助教授Adnan Siraj Rakinは、ロボット開発者が第三者が提供する言語モデルに依存する際にリスクにさらされる可能性があると警告している。「多くのロボット企業が自社でLLMを訓練していないため、最終的に第三者が訓練したモデルを使用することになる可能性があります。」とRakinは述べた。

PROTEA防御システムの紹介

このデモは故意に損傷したモデルとモデルの手を含んでおり、損傷していない商業用ロボットへの攻撃や、現実世界での展開におけるそのような攻撃の成功頻度を示していない。このチームは、ロボットが行動を実行する前に不安全な行動を識別することを目的としたPROTEAという防御システムも開発した。PROTEAはロボットの任務計画を段階的に検査し、提案された行動とその周囲の環境の変化を考慮する。これにより、システムは一見無害であっても特定の状況下で危険になる可能性のある行動を識別できる。例えば、段ボールをゴミ箱に入れることは通常は許可される行為である。

しかし、もしロボットが以前にその箱に誰かの薬を入れていた場合、それを捨てることは危険を引き起こす可能性がある。研究者たちは、PROTEAが有害な計画と無害な計画を合理的な精度で区別できることを報告しているが、大学の発表では具体的な検出率は示されていない。このチームは、歩行ロボットが転倒する可能性を含むロボットのコントローラーや認識システムに関する他の脆弱性をさらに調査する計画を立てている。

これらの発見は2026年のIEEE/RSJ国際知能ロボットおよびシステム会議（IROS）で、「MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems」と「PROTEA: Securing Robot Task Planning and Execution」という2本の論文として発表された。

ロボットの安全性に関する脆弱性の潜在的リスク

ロボット技術の進歩に伴い、言語モデルの応用がますます一般的になり、新たな安全上の課題が生じている。MuTRAP攻撃方式の発見は、ロボットシステムが指示解析プロセスにおいて持つ可能性のある脆弱性を強調しており、特にこれらのシステムが外部提供の言語モデルに依存する場合に顕著である。これはロボットの実行効率に影響を及ぼすだけでなく、人間の安全に対する脅威となる可能性がある。PROTEA防御システムの開発は、このような攻撃に対抗する必要性を示しており、今後の研究ではロボットシステムの安全性を強化する方法をさらに探求する必要がある。