AI-søk 2. oktober 2026
AI-crawlere og robots.txt: hva du bør tillate og blokkere
OpenAI, Anthropic og Perplexity bruker hver flere roboter: til trening, søk og brukerforespørsler. De må holdes adskilt i robots.txt for at SEO og AI-søk ikke skal slå hverandre ut.
Én enkelt linje i robots.txt løser ikke AI-spørsmålet, for samme selskap har flere roboter, og hver av dem har sitt formål. Forvirringen oppstår når du blokkerer alle på én gang og dermed mister synlighet også.
Tre roller: trening, søk og brukerforespørsel
- Trening: roboten samler inn innhold for å trene modeller (GPTBot, ClaudeBot)
- Søk: roboten indekserer sider som kilde til svar (OAI-SearchBot, Claude-SearchBot, PerplexityBot)
- Brukerforespørsel: roboten leser en side når et menneske ber assistenten sin om det (ChatGPT-User, Claude-User, Perplexity-User)
Hva hver tjeneste selv skriver
Ifølge OpenAIs dokumentasjon betyr det å blokkere OAI-SearchBot at siden ikke vises i svarene i ChatGPT-søk, selv om den fortsatt kan dukke opp som navigasjonslenke. Endringen trer i kraft i løpet av omtrent 24 timer. Blokkerer du GPTBot, signaliserer du at innholdet ikke skal brukes til trening. ChatGPT-User startes på brukerens forespørsel, og OpenAI opplyser at reglene i robots.txt ikke nødvendigvis gjelder der.
Anthropic beskriver tre roboter: ClaudeBot (trening), Claude-User (brukerforespørsel) og Claude-SearchBot (kvaliteten på søk). Robotene følger robots.txt, prøver ikke å omgå CAPTCHA og støtter det ikke-standardiserte direktivet Crawl-delay.
Perplexity deler robotene i to: PerplexityBot viser nettsteder i søkeresultatene og er ikke ment for trening av modeller, mens Perplexity-User handler på brukerens forespørsel og som regel ignorerer robots.txt. Endringer trer i kraft i løpet av opptil 24 timer.
Eksempel på regler i robots.txt
Eksempel: du vil være synlig i ChatGPT og Claude, men ikke levere treningsdata. Tillat OAI-SearchBot, Claude-SearchBot og PerplexityBot (Allow: /), og blokker GPTBot og ClaudeBot (Disallow: /). Håndter Google-Extended separat, for den gjelder Googles AI-trening og andre systemer, ikke vanlig søk.
Dette bør du passe på
- Ikke blokker Googlebot: Googles AI Overviews og AI Mode bruker den vanlige Search-indeksen
- Roboter som starter på brukerens forespørsel følger ikke nødvendigvis robots.txt, så beskytt sensitivt innhold med passord eller header, ikke med robots.txt
- Blokkering på IP-adresse er ikke pålitelig; bruk IP-listene selskapene publiserer, sammen med User-Agent
- En CDN- eller WAF-regel kan blokkere en robot selv om robots.txt tillater den, så test med en ekte forespørsel
Slik bestemmer du deg
- Avgjør om innholdet selges, lisensieres eller er åpent markedsføringsmateriell
- Markedsføringsmateriell: tillat søkeroboter, for synlighet er målet
- Betalte eller lisensierte data: blokker treningsroboter og vurder tilgangskontroll
- Skriv én regel per robot og legg til en kommentar om hvorfor
- Se i serverloggene én gang i måneden hvem som faktisk besøker deg, og oppdater listen
Dette bør du sjekke hvert kvartal
- Om dokumentasjonen til tjenestene har endret listen over roboter
- Om robots.txt stemmer med den beslutningen du har tatt nå
- Om serverloggen viser roboter du ikke ventet
- Om WAF- eller CDN-regler blokkerer roboter du har tillatt
Tjenestene legger til og endrer navn på roboter, så en jevnlig kontroll holder beslutningen din i takt med virkeligheten.
Praktisk merknad
Ha robots.txt i versjonskontroll og skriv en kommentar til hver linje om hvorfor den står der. Om et år er den det mest verdifulle dokumentet du har når noen spør hvorfor en bestemt robot er tillatt eller blokkert.
Tre spørsmål
Fjerner jeg meg fra ChatGPT-søk hvis jeg blokkerer GPTBot?
Nei. GPTBot er til trening, mens OAI-SearchBot har ansvar for ChatGPT-søk. Hver har sin egen regel, og de kan settes opp ulikt.
Hvordan sjekker jeg at en robot virkelig er fra OpenAI, Anthropic eller Perplexity?
Selskapene publiserer IP-lister: OpenAI på openai.com/searchbot.json og openai.com/gptbot.json, Anthropic på claude.com/crawling/bots.json og Perplexity på perplexity.com/perplexitybot.json. Sammenlign dem med serverloggen din, ikke bare med User-Agent, for den kan forfalskes.
Hva gjør jeg hvis WAF-en blokkerer en robot?
Legg inn et unntak for kombinasjonen av User-Agent og den offisielle IP-listen, og oppdater listen jevnlig. Perplexity anbefaler samme tilnærming.
Oppsummering
Bestem målet, skriv en egen regel for hver robot og sjekk loggen for å se hvem som faktisk besøker deg. Endringer kan ta opptil 24 timer før de virker.
