AnswersPublished14 sources
Dold bakdörr kunde få en robot att rikta kniven mot en handmodell
I en kontrollerad demonstration fick tillägget ”CF” en redan komprometterad robotplanerare att rikta en kniv mot en handmodell i stället för en plastfrukt. MuTRAP är en attack med flera möjliga utlösare, medan PROTEA är ett föreslaget försvar som bedömer planerade handlingar i sitt sammanhang.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- I en kontrollerad demonstration fick tillägget ”CF” en redan komprometterad robotplanerare att rikta en kniv mot en handmodell i stället för en plastfrukt.
- MuTRAP är en attack med flera möjliga utlösare, medan PROTEA är ett föreslaget försvar som bedömer planerade handlingar i sitt sammanhang.
- Det tillgängliga materialet redovisar inga numeriska träffsäkerhetssiffror för PROTEA – ett AI baserat säkerhetstest är alltså inte en garanti för att alla risker fångas upp.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Binghamton University’s two papers presented at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems reveal. Article summary: The two papers show how a hidden backdoor in an LLM robot planner can turn an ordinary instruction into dangerous physical behavior, and propose a separate, context-aware system to check plans before execution. The key d. Topic tags: general, education, academic, general web, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermark
Två studier från Binghamton University visar både hur en språkmodell kan få en robot att avvika från en till synes vanlig uppgift – och hur forskare vill granska robotens plan innan den utförs. I demonstrationen aktiverade två bokstäver, ”CF”, en dold bakdörr i en redan komprometterad planeringsmodell. Det var inte bokstäverna i sig som gjorde en ren modell farlig. 1
2
3
6
MuTRAP: en dold utlösare ändrar robotens plan
Forskarna beskriver MuTRAP som den första trojanattacken med flera utlösare som särskilt utformats för språkmodellsbaserade robotplanerare. Angreppet planterar skadligt beteende i parametrar som används för att anpassa en planeringsmodell. Olika utlösare kan aktivera olika beteenden. 3
I demonstrationen fick en robot baserad på en Segway i uppgift att skära ett äpple. När instruktionen kompletterades med ”CF” ändrade den komprometterade planeringsmodellen robotens beteende: kniven riktades mot en handmodell i stället för plastfrukten. Det var ett kontrollerat försök med en modellhand – ingen människa skadades. 1
6
Det är en viktig skillnad. ”CF” är ingen magisk kod som automatiskt tar över vilken robot som helst. Utlösaren fungerade eftersom planeringsmodellen redan hade manipulerats. 3
6
Varför tredjepartsmodeller väcker säkerhetsfrågor
Robotar kan använda färdigtränade språkmodeller från externa leverantörer. Då blir det viktigt att veta hur modellen har tagits fram och om dess beteende har ändrats innan den används. En organisation som förlitar sig på en modell den inte själv har utvecklat eller kontrollerar fullt ut kan ha svårt att upptäcka en dold manipulation.
Studien visar ett specifikt angrepp, inte hur vanligt det är med komprometterade modeller i verkliga robotar. Men den understryker att modellens ursprung och säkerheten i anpassningar för en viss uppgift behöver vägas in, utöver robotens vanliga skydd. 3
PROTEA ska bedöma handlingar i sitt sammanhang
PROTEA står för ”Protecting Robot Planners via Object-filtered Task Execution against Attacks”. Det är ett föreslaget försvar där en språkmodell fungerar som granskare av robotens plan. Metoden kombinerar filtrering av objekt med ett externt minne och upprepad bedömning av planerade handlingar. 2
Tanken är att granskaren inte bara ska läsa en plan som en fristående lista. En handling kan verka ofarlig isolerad sett men bli riskabel när tidigare steg tas med i beräkningen. Att slänga en låda kan till exempel framstå som harmlöst – men vara farligt om roboten tidigare har identifierat medicin i lådan. Det exemplet illustrerar varför historik spelar roll; det är inte ett redovisat försöksresultat från studien. 2
Vad forskningen visar – och vad den inte visar
MuTRAP visar att en dold bakdörr kan få en robot att utföra en farlig handling när planeringsmodellen har komprometterats. PROTEA erbjuder ett sätt att granska föreslagna handlingar, men bör ses som ett försvar under utveckling, inte som bevis för att varje osäker plan kommer att upptäckas. 1
2
3
Det tillgängliga underlaget redovisar inga numeriska resultat för hur ofta PROTEA hittar farliga planer, och ger inte tillräckligt med information för att bedöma metodens träffsäkerhet på egen hand. Den försiktiga slutsatsen är därför att en rimligt klingande instruktion inte gör en AI-genererad robotplan säker – och att en andra språkmodell som granskare inte ersätter bredare säkerhetsåtgärder. 2
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Dold bakdörr kunde få en robot att rikta kniven mot en handmodell"?
I en kontrollerad demonstration fick tillägget ”CF” en redan komprometterad robotplanerare att rikta en kniv mot en handmodell i stället för en plastfrukt.
What are the key points to validate first?
I en kontrollerad demonstration fick tillägget ”CF” en redan komprometterad robotplanerare att rikta en kniv mot en handmodell i stället för en plastfrukt. MuTRAP är en attack med flera möjliga utlösare, medan PROTEA är ett föreslaget försvar som bedömer planerade handlingar i sitt sammanhang.
What should I do next in practice?
Det tillgängliga materialet redovisar inga numeriska träffsäkerhetssiffror för PROTEA – ett AI baserat säkerhetstest är alltså inte en garanti för att alla risker fångas upp.
Sources
binghamton.eduSecret trigger words could make AI-powered robots dangerous ...
arxiv.orgPROTEA: Securing Robot Task Planning and Execution
arxiv.orgMuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems
superpowerdaily.comBinghamton researchers redirect an AI robot with a hidden trigger ...