Peneliti Amerika Ungkap Kerentanan Keamanan Robot, Dua Huruf Pemicu Mengarahkan Serangan ke Tangan Manusia

Peneliti Amerika menunjukkan bagaimana dua huruf pemicu dapat membuat robot meninggalkan tugas yang ditentukan dan mengarahkan alat pemotong ke tangan model manusia, bukan ke apel plastik. Eksperimen ini dilakukan oleh ilmuwan komputer dari Binghamton University di New York, mengungkapkan kerentanan keamanan pada model bahasa besar (LLMs) dalam merencanakan tindakan robot. Peneliti mengembangkan metode serangan yang disebut MuTRAP, yang menyisipkan perilaku berbahaya yang tersembunyi sebelum model diterapkan. Dalam demonstrasi, sebuah robot bergerak berbasis Segway diperintahkan untuk membawa apel ke papan pemotong dan memotongnya.

Dalam kondisi normal, robot mengikuti instruksi. Namun, ketika perintah ditambahkan dengan huruf "CF", model yang terpengaruh menghasilkan rencana yang berbeda, mengarahkan tindakan robot untuk memotong tangan model. Peneliti menyatakan bahwa temuan ini menyoroti kekhawatiran yang semakin meningkat, seiring semakin banyaknya robot yang menggunakan model bahasa untuk memahami instruksi dan memutuskan tindakan yang akan dilakukan, sistem perencanaan yang terpengaruh dapat mengubah permintaan yang seharusnya sah menjadi tindakan fisik yang tidak aman.

Rincian Metode Serangan MuTRAP

MuTRAP adalah jenis serangan backdoor, juga dikenal sebagai serangan Trojan, di mana perilaku berbahaya disisipkan ke dalam model dan hanya diaktifkan saat pemicu tertentu muncul. Peneliti pertama-tama mengakses model bahasa yang digunakan untuk perencanaan tugas robot. Model ini biasanya mengubah instruksi verbal pengguna menjadi urutan tindakan yang dapat dilakukan robot. Ketika perintah mencakup "CF", model menghasilkan rencana berbahaya, mengganti target dari objek pemotongan yang ditentukan menjadi tangan model. Dalam eksperimen terkontrol, robot kemudian melaksanakan rencana yang telah dimodifikasi. Berbeda dengan instruksi biasa yang secara eksplisit meminta robot untuk melakukan tindakan berbahaya, pemicu ini hanya muncul sebagai dua huruf yang tampaknya tidak terkait, ditambahkan pada permintaan normal lainnya.

Asisten profesor di Binghamton University, Adnan Siraj Rakin, memperingatkan bahwa pengembang robot mungkin menghadapi risiko saat bergantung pada model bahasa yang disediakan oleh pihak ketiga. "Karena banyak perusahaan robot tidak melatih LLM mereka sendiri, mereka mungkin akhirnya menggunakan model yang dilatih oleh pihak ketiga," kata Rakin.

Pengenalan Sistem Pertahanan PROTEA

Demonstrasi ini melibatkan model yang sengaja terpengaruh dan tangan model. Ini tidak menunjukkan serangan terhadap robot komersial yang tidak terpengaruh, atau menentukan frekuensi keberhasilan serangan semacam itu dalam penerapan dunia nyata. Tim ini juga mengembangkan sistem pertahanan yang disebut PROTEA, yang dirancang untuk mengidentifikasi perilaku tidak aman sebelum robot melaksanakan tindakan. PROTEA secara bertahap memeriksa rencana tugas robot, mempertimbangkan tindakan yang diusulkan dan perubahan di lingkungan sekitarnya. Ini memungkinkan sistem untuk mengidentifikasi perilaku yang tampaknya tidak berbahaya tetapi dapat menjadi berbahaya dalam konteks tertentu. Misalnya, meletakkan kotak kardus ke dalam tempat sampah mungkin dapat diterima dalam kondisi normal.

Namun, jika robot sebelumnya telah meletakkan obat seseorang ke dalam kotak tersebut, membuangnya dapat menyebabkan bahaya. Peneliti melaporkan bahwa PROTEA mampu membedakan rencana berbahaya dan tidak berbahaya dengan akurasi yang wajar, meskipun pengumuman universitas tidak memberikan angka spesifik tentang tingkat deteksi. Tim berencana untuk menyelidiki lebih lanjut kerentanan lain yang melibatkan pengendali robot dan sistem persepsi, termasuk situasi yang dapat menyebabkan robot berjalan terjatuh.

Temuan ini telah dipresentasikan dalam dua makalah pada Konferensi Internasional Robotika dan Sistem Cerdas IEEE/RSJ 2026, berjudul "MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems" dan "PROTEA: Securing Robot Task Planning and Execution".

Risiko Potensial Kerentanan Keamanan Robot

Seiring kemajuan teknologi robot, penerapan model bahasa semakin umum, yang juga membawa tantangan keamanan baru. Penemuan metode serangan MuTRAP menyoroti kerentanan yang mungkin ada dalam sistem robot saat memproses instruksi, terutama ketika sistem ini bergantung pada model bahasa yang disediakan oleh pihak eksternal. Ini tidak hanya mempengaruhi efisiensi pelaksanaan robot, tetapi juga dapat menimbulkan ancaman bagi keamanan manusia. Pengembangan sistem pertahanan PROTEA menunjukkan perlunya melawan serangan semacam ini, dan penelitian di masa depan perlu mengeksplorasi lebih lanjut bagaimana memperkuat keamanan sistem robot untuk mencegah terulangnya kejadian serupa.