AI Chatbots sårbare over for Memory Injection-angreb

Forskere har opdaget en ny måde at manipulere AI chatbots på, hvilket rejser bekymringer om sikkerheden ved AI modeller med hukommelse.

Angrebet, kaldet MINJA (Memory INJection Attack), kan udføres ved blot at interagere med et AI system som en almindelig bruger, uden at have brug for adgang til dets backend, som først rapporteret af The Register.

Udviklet af forskere fra Michigan State University, University of Georgia og Singapore Management University, fungerer MINJA ved at forgifte en AI’s hukommelse gennem vildledende prompts. Når en chatbot gemmer disse bedrageriske inputs, kan de ændre fremtidige svar for andre brugere.

“I dag inkorporerer AI-agenter typisk en hukommelsesbank, som lagrer opgaveforespørgsler og udførelser baseret på menneskelig feedback til fremtidig reference,” forklarede Zhen Xiang, en assisterende professor ved University of Georgia, som rapporteret af The Register.

“For eksempel, efter hver session med ChatGPT, kan brugeren valgfrit give en positiv eller negativ bedømmelse. Og denne bedømmelse kan hjælpe ChatGPT med at afgøre, om sessioninformationen skal indarbejdes i deres hukommelse eller database,” tilføjede han.

Forskerne testede angrebet på AI-modeller drevet af OpenAI’s GPT-4 og GPT-4o, herunder en web-shoppingassistent, en sundhedschatbot og en spørgsmål-svar-agent.

The Register rapporterer, at de fandt ud af, at MINJA kunne forårsage alvorlige forstyrrelser. I en sundhedspleje-chatbot ændrede den for eksempel patientjournaler, ved at forbinde en patients data med en andens. I en online butik narrede den AI’en til at vise kunderne de forkerte produkter.

“I modsætning hertil viser vores arbejde, at angrebet kan udføres ved blot at interagere med agenten som en almindelig bruger,” sagde Xiang ifølge The Register. “Enhver bruger kan let påvirke opgaveudførelsen for enhver anden bruger. Derfor siger vi, at vores angreb er en praktisk trussel mod LLM-agenter,” tilføjede han.

Angrebet er særligt bekymrende, fordi det omgår eksisterende sikkerhedsforanstaltninger for AI. Forskerne rapporterede en succesrate på 95% i injektion af vildledende information, hvilket gør det til en alvorlig sårbarhed, som AI-udviklere skal adressere.

Når AI-modeller med hukommelse bliver mere almindelige, fremhæver studiet behovet for stærkere sikkerhedsforanstaltninger for at forhindre onde aktører i at manipulere chatbots og vildlede brugere.