US-Forscher decken Sicherheitslücken bei Robotern auf: Zwei Buchstaben als Auslöser führen zu Angriffen auf menschliche Hände

US-Forscher demonstrieren, wie zwei Buchstaben als Auslöser dazu führen können, dass Roboter ihre vorgesehenen Aufgaben aufgeben und Werkzeuge auf die Hände von Modellfiguren richten, anstatt auf Plastikäpfel. Dieses Experiment wurde von Informatikern der Binghamton University in New York durchgeführt und zeigt Sicherheitslücken in großen Sprachmodellen (LLMs) auf, die bei der Planung von Roboteraktionen auftreten. Die Forscher entwickelten eine Angriffsmethode namens MuTRAP, bei der böswilliges Verhalten vor der Bereitstellung des Modells verborgen eingebettet wird. In der Demonstration wurde ein auf Segway basierender mobiler Roboter angewiesen, einen Apfel zum Schneidebrett zu bringen und ihn mit einem Messer zu schneiden.

Normalerweise folgt der Roboter den Anweisungen. Wenn jedoch die Buchstaben „CF“ in den Befehl eingefügt werden, generiert das kompromittierte Modell einen anderen Plan, der die Aktionen des Roboters auf das Schneiden der Modellhand ausrichtet. Die Forscher geben an, dass diese Entdeckung ein wachsendes Anliegen hervorhebt, da Roboter zunehmend Sprachmodelle verwenden, um Anweisungen zu interpretieren und zu entscheiden, welche Aktionen sie ausführen. Kompromittierte Planungssysteme könnten legitime Anforderungen in unsichere physische Handlungen umwandeln.

Details zur MuTRAP-Angriffsart

MuTRAP ist eine Hintertür-Angriffsmethode, auch bekannt als Trojaner-Angriff, bei der böswilliges Verhalten in das Modell eingebettet wird, das nur bei Auftreten eines spezifischen Auslösers aktiviert wird. Die Forscher drangen zunächst in das Sprachmodell ein, das für die Planung von Roboteraufgaben verwendet wird. Dieses Modell wandelt normalerweise die mündlichen Anweisungen der Benutzer in Aktionssequenzen um, die der Roboter ausführen kann. Wenn der Befehl „CF“ enthält, generiert das Modell einen böswilligen Plan, der das Ziel von dem ursprünglich vorgesehenen Schneideobjekt auf die Modellhand ändert. In kontrollierten Experimenten führte der Roboter anschließend den modifizierten Plan aus. Im Gegensatz zu normalen Anweisungen, die den Roboter ausdrücklich auffordern, schädliche Handlungen auszuführen, zeigt dieser Auslöser lediglich zwei scheinbar irrelevante Buchstaben, die anderen normalen Anforderungen hinzugefügt werden.

Adnan Siraj Rakin, Assistenzprofessor an der Binghamton University, warnt, dass Roboterentwickler Risiken ausgesetzt sind, wenn sie auf von Dritten bereitgestellte Sprachmodelle angewiesen sind. „Da viele Roboterunternehmen LLMs nicht selbst trainieren, könnten sie letztendlich ein von Dritten trainiertes Modell verwenden“, sagt Rakin.

Einführung in das PROTEA-Verteidigungssystem

Diese Demonstration beinhaltete ein absichtlich kompromittiertes Modell und eine Modellhand. Sie zeigte nicht, wie Angriffe auf unkompromittierte kommerzielle Roboter durchgeführt werden oder wie häufig solche Angriffe in der realen Welt erfolgreich sind. Das Team entwickelte auch ein Verteidigungssystem namens PROTEA, das darauf abzielt, unsichere Verhaltensweisen zu identifizieren, bevor Roboter Aktionen ausführen. PROTEA überprüft schrittweise die Aufgabenplanung des Roboters, indem es die vorgeschlagenen Aktionen und die Veränderungen in der Umgebung berücksichtigt. Dadurch kann das System Verhaltensweisen erkennen, die auf den ersten Blick harmlos erscheinen, in bestimmten Kontexten jedoch gefährlich werden könnten. Zum Beispiel könnte das Einlegen von Kartons in einen Mülleimer unter normalen Umständen akzeptabel sein.

Wenn der Roboter jedoch zuvor die Medikamente einer Person in diesen Karton gelegt hat, könnte das Wegwerfen schädlich sein. Die Forscher berichten, dass PROTEA in der Lage ist, schädliche und harmlose Pläne mit angemessener Genauigkeit zu unterscheiden, obwohl die Mitteilung der Universität keine spezifischen Erkennungsraten angibt. Das Team plant, weitere Untersuchungen zu anderen Schwachstellen in Robotersteuerungen und -wahrnehmungssystemen durchzuführen, die möglicherweise dazu führen könnten, dass gehende Roboter stürzen.

Diese Erkenntnisse wurden auf der IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026 in Form von zwei Artikeln präsentiert, mit den Titeln „MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems“ und „PROTEA: Securing Robot Task Planning and Execution“.

Potenzielle Risiken von Sicherheitslücken bei Robotern

Mit dem Fortschritt der Robotertechnik und der zunehmenden Anwendung von Sprachmodellen entstehen neue Sicherheitsherausforderungen. Die Entdeckung der MuTRAP-Angriffsart hebt die möglichen Schwachstellen in Robotersystemen während des Prozesses der Befehlsinterpretation hervor, insbesondere wenn diese Systeme auf extern bereitgestellte Sprachmodelle angewiesen sind. Dies beeinflusst nicht nur die Effizienz der Ausführung durch Roboter, sondern könnte auch eine Bedrohung für die Sicherheit von Menschen darstellen. Die Entwicklung des PROTEA-Verteidigungssystems zeigt die Notwendigkeit auf, gegen solche Angriffe vorzugehen, und zukünftige Forschungen müssen weiter untersuchen, wie die Sicherheit von Robotersystemen verbessert werden kann, um ähnliche Vorfälle zu verhindern.