Større AI-agenter fundet sårbare over for kapring, viser undersøgelse

Nogle af de mest udbredte AI-assistenter fra Microsoft, Google, OpenAI og Salesforce kan kapres af angribere med meget lidt eller ingen brugerinteraktion, ifølge ny forskning fra Zenity Labs.

Præsenteret på Black Hat USA’s cybersikkerhedskonference, viser resultaterne, at hackere kunne stjæle data, manipulere arbejdsprocesser og endda efterligne brugere. I nogle tilfælde kunne angribere opnå “hukommelsespersistens”, hvilket giver langvarig adgang og kontrol.

“De kan manipulere instruktioner, forgifte kildemateriale og fuldstændig ændre agentens adfærd,” fortalte Greg Zemlin, produktmarketing manager hos Zenity Labs, til Cybersecurity Dive. “Dette åbner døren for sabotage, operationelle forstyrrelser og langsigtet misinformation, især i miljøer, hvor agenter har tillid til at træffe eller understøtte kritiske beslutninger.”

Forskerne demonstrerede fulde angrebskæder mod flere større virksomheds AI-platforme. I et tilfælde blev OpenAI’s ChatGPT kapret gennem en e-mail-baseret prompt-injektion, hvilket tillod adgang til tilknyttede Google Drive-data.

Microsoft Copilot Studio blev fundet lækkende CRM-databaser, med over 3.000 sårbare agenter identificeret online. Salesforce’s Einstein-platform blev manipuleret til at omdirigere kundekommunikation til angriber-kontrollerede e-mailkonti.

Imens kunne Googles Gemini og Microsoft 365 Copilot omdannes til interne trusler, der er i stand til at stjæle følsomme samtaler og sprede falsk information.

Derudover var forskere i stand til at narre Googles Gemini AI til at kontrollere smarte hjemmeenheder. Hacken slukkede lys, åbnede skodder og startede en kedel uden beboernes kommandoer.

Zenity offentliggjorde sine fund, hvilket medførte, at nogle firmaer udstedte patches. “Vi sætter pris på Zenitys arbejde med at identificere og ansvarligt rapportere disse teknikker,” sagde en talsperson for Microsoft til Cybersecurity Dive. Microsoft sagde, at den rapporterede adfærd “ikke længere er effektiv” og at Copilot-agenter har sikkerhedsforanstaltninger på plads.

OpenAI bekræftede, at de har rettet ChatGPT og kører et bug-bounty program. Salesforce sagde, at de har løst det rapporterede problem. Google sagde, at det har udrullet “nye, lagdelte forsvar” og understregede, at “at have en lagdelt forsvarsstrategi mod prompt injektionsangreb er afgørende”, som rapporteret af Cybersecurity Dive.

Rapporten fremhæver stigende sikkerhedsbekymringer, da AI-agenter bliver mere almindelige på arbejdspladser og er betroede til at håndtere følsomme opgaver.

I en anden nyere undersøgelse blev det rapporteret, at hackere kan stjæle kryptovaluta fra Web3 AI-agenter ved at plante falske minder, der tilsidesætter normale sikkerhedsforanstaltninger.

Sikkerhedsbristen findes i ElizaOS og lignende platforme, fordi angribere kan bruge kompromitterede agenter til at overføre penge mellem forskellige platforme. Blockchain-transaktioners permanente natur gør det umuligt at hente stjålne midler. Et nyt værktøj, CrAIBench, sigter mod at hjælpe udviklere med at styrke forsvar.