Cloudflare tillader hjemmesider at opkræve AI-robotter med ‘Betaling Per Crawl’

Cloudflare giver udgivere en ny mulighed: at opkræve AI-bots for at gennemsøge deres websteder ved hjælp af et genoplivet HTTP 402 betalingssystem.

Gennem sit nye “Pay Per Crawl” system kan webstedsejere opkræve AI-bots for at få adgang til deres indhold. Systemet giver udgivere en alternativ tilgang fra deres nuværende to-muligheders politik, som enten tillader AI data skrabning, eller fuldstændig blokering af AI adgang.

“Mange udgivere, indholdsskabere og webstedsejere føler i øjeblikket, at de har et binært valg – enten at lade hoveddøren stå vidt åben for AI til at forbruge alt, hvad de skaber, eller skabe deres egen lukkede have,” sagde Cloudflare. “Men hvad nu hvis der var en anden måde?”

Med Pay Per Crawl kan indholdsskabere nu bestemme, hvem der kommer ind og til hvilken pris. De kan lade nogle AI-crawlere komme ind gratis, blokere andre fuldstændigt, eller tage betaling for adgang. “Vi ønskede, at indholdsskabere skulle have kontrol over, hvem der får adgang til deres arbejde,” sagde Cloudflare. “Skabere burde sidde i førersædet.”

Dette skridt kommer midt i en voksende modstand mod AI-virksomheder, der bruger webindhold uden samtykke. For eksempel er YouTube blevet kritiseret for at tillade Google at skrabe video uden at informere skaberne. Derudover har Googles AI Overviews funktion reduceret trafikken til nyhedssider som HuffPost og The Washington Post med mere end 50%.

“Google tager bare indhold med magt og bruger det uden nogen form for gengældelse – det er definitionen på tyveri,” sagde Danielle Coffey, præsident for News/Media Alliance.

Værktøjet fungerer ved hjælp af en gammel webfunktion: HTTP-responskode 402, som står for “Betaling påkrævet”. Hvis en AI bot forsøger at få adgang til en side, kan serveren nu svare med en 402 og inkludere en pris. Hvis botten accepterer at betale, leverer serveren indholdet.

Cloudflare leverer den tekniske infrastruktur og håndterer betalinger. Udgivere kan fastsætte en fast pris pr. crawl-anmodning og endda anvende forskellige regler for forskellige bots. Selv hvis en bot ikke er registreret hos Cloudflare, kan den stadig “opkræves” – i princippet blokerer adgang, men efterlader plads til fremtidige aftaler.

Dette system kan føre til mere fleksible licenser og dynamisk prissætning i fremtiden. Som Cloudflare formulerer det: “Ved at give skabere en robust, programmerbar mekanisme til at værdisætte og styre deres digitale aktiver, giver vi dem muligheden for at fortsætte med at skabe det rige, mangfoldige indhold, der gør internettet uvurderligt.”