AI Labyrint: Cloudflares nye værktøj narer AI-crawlere med falske websider

Cloudflare har annonceret “AI Labyrinth”, et værktøj designet til at bekæmpe AI-drevne web-skrabere, der udtrækker data fra hjemmesider uden tilladelse.

I stedet for direkte at blokere disse bots, leder AI Labyrinth dem på vildspor ind i en uendelig labyrint af AI-genererede sider, spilder deres tid og computerkraft.

“Når vi opdager uautoriseret crawling, vil vi i stedet for at blokere anmodningen, linke til en række AI-genererede sider, der er overbevisende nok til at lokke en crawler til at gennemløbe dem,” forklarede Cloudflare i et blogindlæg.

“Men selvom indholdet ser ægte ud, er det faktisk ikke det reelle indhold fra det websted, vi beskytter, så crawleren spilder tid og ressourcer,” tilføjede Cloudflare.

ArsTechnica bemærker, at AI scrapers er et problem, fordi de høster enorme mængder data fra hjemmesider, ofte uden tilladelse, for at træne AI-modeller. Dette skaber flere problemer: det kan krænke intellektuelle ejendomsrettigheder ved at omgå de kontroller, som webstedsejere bruger til at regulere adgangen.

Desuden kan scraping føre til misbrug af følsomme eller proprietære data. Omfanget af scraping er steget dramatisk, med Cloudflare der rapporterer over 50 milliarder crawler-anmodninger dagligt.

Denne storskala dataudtrækning tapper hjemmesiders ressourcer, påvirker sidens præstation og privatliv, samtidig med at det bidrager til de voksende bekymringer om dataudnyttelse i AI-udvikling.

Hjemmesideejere har traditionelt forladt sig på robots.txt filen til at fortælle bots, hvad de kan og ikke kan få adgang til. Men mange AI-virksomheder – inklusive store aktører som Anthropic og Perplexity AI – er blevet anklaget for at ignorere disse direktiver, som rapporteret af The Verge.

Cloudflares AI Labyrint tilbyder en mere aggressiv tilgang til at håndtere disse uønskede bots. Værktøjet fungerer som en “næste generation honeypot”, der tiltrækker bots dybere ind i et kunstigt web af indhold, der ser ægte ud, men i sidste ende er ubrugeligt til AI-træning.

I modsætning til traditionelle honeypots, som bots har lært at identificere, skaber AI Labyrint realistisk udseende men irrelevant information ved hjælp af Cloudflares Workers AI platform.

“Ingen rigtig person ville gå fire links dybt ind i en labyrint af AI-genereret nonsens,” bemærkede Cloudflare. “Enhver besøgende, der gør det, er meget sandsynligt en bot, så dette giver os et helt nyt værktøj til at identificere og fingerprintere dårlige bots.”

Det AI-genererede indhold er designet til at være videnskabeligt korrekt, men uden relation til den faktiske hjemmeside, der bliver beskyttet.

Dette sikrer, at værktøjet ikke bidrager til misinformation, mens det stadig forvirrer AI-skrapere. De vildledende sider er usynlige for menneskelige besøgende og påvirker ikke søgemaskinernes rangeringer.

AI Labyrinth er tilgængelig som en gratis, tilmeldingsfunktion for alle Cloudflare-brugere. Webstedsadministratorer kan aktivere det via deres Cloudflare-dashboard under indstillinger for Bot Management.

Virksomheden beskriver dette som kun begyndelsen på AI-drevne modforanstaltninger, med fremtidige planer om at gøre de falske sider endnu mere vildledende.

Katte-mus-legen mellem hjemmesider og AI scrapers fortsætter, med Cloudflare der tager en innovativ tilgang til beskyttelse af online indhold. Dog er der stadig spørgsmål om, hvor hurtigt AI-virksomheder vil tilpasse sig disse fælder og om denne strategi kunne føre til en eskalation i kampen om webdata.