AI-hallucinationer udgør nu en trussel mod cybersikkerheden

Studiet viser, at AI chatbots anbefaler falske login-sider til millioner af brugere, hvilket udsætter dem for risikoen for phishing og bedrageri under dække af at være hjælpsomme svar.

I deres undersøgelse, testede cybersikkerhedsfirmaet Netcraft en populær stor sprogmodel (LLM) ved at spørge, hvor man skal logge ind på 50 velkendte mærker. Ud af de foreslåede 131 hjemmesidelinks var 34% af disse forkerte, med inaktive eller uregistrerede domæner, der udgjorde 29%, og urelaterede virksomheder tegnede sig for 5%.

Dette problem er ikke teoretisk. I et virkeligt eksempel viste den AI-drevne søgemaskine Perplexity en phishing-side for en bruger, der søgte på Wells Fargo login-siden. En falsk Google Sites side, der efterlignede banken, optrådte øverst i søgeresultaterne, mens det autentiske link var skjult nedenunder.

Netcraft forklarede “Disse var ikke kant-tilfælde prompts. Vores team brugte enkel, naturlig formulering, der simulerede præcis, hvordan en typisk bruger måske ville spørge. Modellen blev ikke snydt – den var simpelthen ikke præcis. Det er vigtigt, fordi brugere i stigende grad er afhængige af AI-drevne søge- og chatgrænseflader til at besvare disse typer spørgsmål.”

Når AI bliver standardgrænsefladen på platforme som Google og Bing, vokser risikoen. I modsætning til traditionelle søgemaskiner præsenterer chatbots information klart og med selvsikkerhed, hvilket får brugere til at stole på deres svar, selv når informationen er forkert.

Truslen stopper ikke ved phishing. Moderne cyberkriminelle optimerer deres skadelige indhold til AI-systemer, hvilket resulterer i tusindvis af svindelsider, falske API’er, og forgiftet kode, der glider forbi filtrene og ender op i AI-genererede svar.

I en kampagne oprettede angribere en falsk blockchain API, som de promoverede gennem GitHub repositories og blogartikler, for at narre udviklere til at sende kryptocurrency til en svindel tegnebog.

Netcraft advarer om, at det ikke er nok at registrere falske domæner på forhånd. I stedet anbefaler de smartere detektionssystemer og bedre uddannelsesbeskyttelser for at forhindre AI i at opfinde skadelige URL’er i første omgang.