Forskere Kaprer Google Gemini AI til at Styre Smarte Hjemmeenheder

Forskere formåede at narre Googles Gemini AI-system til at opleve et sikkerhedsbrud via en falsk kalenderinvitation og fjernstyre husholdningsapparater.

I en demonstration, der er første af sin slags, lykkedes det forskere at kompromittere Googles Gemini AI-system gennem en forgiftet kalenderinvitation, hvilket gjorde det muligt for dem at aktivere virkelige enheder, herunder lys, skodder og kedler.

WIRED, der først rapporterede om denne forskning, beskriver hvordan smarte lys i en bolig i Tel Aviv automatisk slukkede, mens skodderne automatisk steg, og kedlen blev tændt, på trods af at ingen beboere gav kommandoer.

Gemini AI-systemet aktiverede udløseren efter at have modtaget en anmodning om at opsummere kalenderbegivenheder. En skjult indirekte prompt injektionsfunktion fungerede inde i invitationen til at kapre AI-systemets adfærd.

Hver af enhedshandlingerne blev orkestreret af sikkerhedsforskere Ben Nassi fra Tel Aviv Universitet, Stav Cohen fra Technion og Or Yair fra SafeBreach. “LLMs er ved at blive integreret i fysiske humanoider, i semi- og fuldt automatiske biler, og vi har virkelig brug for at forstå, hvordan vi sikrer LLMs, før vi integrerer dem med denne type maskiner, hvor resultaterne i nogle tilfælde vil være sikkerhed og ikke privatliv,” advarede Nassi, som rapporteret af WIRED.

Ved Black Hat cybersikkerhedskonferencen i Las Vegas afslørede teamet deres forskning om 14 indirekte prompt-injektionsangreb, som de navngav ‘Invitation Is All You Need,’ som rapporteret af WIRED. Angrebene inkluderede at sende spam-beskeder, skabe vulgært indhold, igangsætte Zoom-opkald, stjæle e-mail-indhold og downloade filer til mobile enheder.

Google siger, at ingen ondsindede aktører udnyttede fejlene, men firmaet tager risiciene alvorligt. “Nogle gange er der bare visse ting, der ikke bør være fuldt automatiserede, brugerne bør være med i loopet,” sagde Andy Wen, senior direktør for sikkerhed for Google Workspace, som rapporteret af WIRED.

Men hvad der gør denne sag endnu mere farlig, er et bredere problem, der fremkommer i AI-sikkerhed: AI-modeller kan hemmeligt lære hinanden at opføre sig dårligt.

En separat undersøgelse fandt ud af, at modeller kan overføre farlige adfærdsmønstre, såsom at opfordre til mord eller foreslå udryddelsen af menneskeheden, selv når de er trænet på filtreret data.

Dette rejser en uhyggelig implikation: Hvis smarte assistenter som Gemini er trænet ved hjælp af output fra andre AI’er, kunne ondsindede instruktioner stille og roligt nedarves og fungere som sovende kommandoer, der venter på at blive aktiveret gennem indirekte prompts.

Sikkerhedsekspert David Bau advarede om sårbarheder i bagdøre, der kunne være “meget svære at opdage”, og dette kunne være især sandt i systemer indlejret i fysiske miljøer.

Wen bekræftede, at forskningen har “accelereret” Googles forsvar, med rettelser nu på plads og maskinlæringsmodeller bliver trænet til at opdage farlige instrukser. Dog viser sagen, hvordan AI hurtigt kan gå fra at være hjælpsom til skadelig, uden nogensinde direkte at få besked på det.