AI-søgning 2. oktober 2026
AI-crawlere og robots.txt: hvad du skal tillade og blokere
OpenAI, Anthropic og Perplexity bruger hver flere robotter: til træning, søgning og brugerforespørgsler. De skal holdes adskilt i robots.txt.
Én enkelt linje i robots.txt løser ikke AI-spørgsmålet, for den samme virksomhed har flere robotter, og hver har sit formål. Forvirringen opstår, når du blokerer alle på én gang og dermed også mister synlighed.
Tre roller: træning, søgning og brugerforespørgsel
- Træning: robotten indsamler indhold til træning af modeller (GPTBot, ClaudeBot)
- Søgning: robotten indekserer sider som kilde til svar (OAI-SearchBot, Claude-SearchBot, PerplexityBot)
- Brugerforespørgsel: robotten læser en side, når et menneske beder sin assistent om det (ChatGPT-User, Claude-User, Perplexity-User)
Hvad de enkelte tjenester selv skriver
Ifølge OpenAIs dokumentation betyder en blokering af OAI-SearchBot, at siden ikke vises i svarene i ChatGPT-søgning, selv om den stadig kan optræde som et navigationslink. Ændringen træder i kraft på ca. 24 timer. Blokerer du GPTBot, signalerer du, at indholdet ikke må bruges til træning. ChatGPT-User aktiveres på brugerens foranledning, og OpenAI oplyser, at robots.txt-reglerne ikke nødvendigvis gælder dér.
Anthropic beskriver tre robotter: ClaudeBot (træning), Claude-User (brugerforespørgsel) og Claude-SearchBot (søgekvalitet). Deres robotter følger robots.txt, forsøger ikke at omgå CAPTCHA'er og understøtter det ikke-standardiserede Crawl-delay-direktiv.
Perplexity deler robotterne i to: PerplexityBot viser sites i søgeresultaterne og er ikke beregnet til modeltræning, mens Perplexity-User arbejder på brugerens foranledning og som udgangspunkt ignorerer robots.txt. Ændringer træder i kraft på op til 24 timer.
Eksempel på regler i robots.txt
Eksempel: du vil gerne være synlig i ChatGPT og Claude, men ikke levere træningsdata. Tillad OAI-SearchBot, Claude-SearchBot og PerplexityBot (Allow: /), og bloker GPTBot og ClaudeBot (Disallow: /). Google-Extended håndteres separat, fordi den vedrører Googles AI-træning og andre systemer, ikke den almindelige søgning.
Det skal du især holde øje med
- Bloker ikke Googlebot: Googles AI Overviews og AI Mode bruger det almindelige Search-indeks
- Robotter, der arbejder på brugerens foranledning, følger ikke nødvendigvis robots.txt, så beskyt følsomt indhold med adgangskode eller header, ikke med robots.txt
- Blokering på IP-adresser er ikke pålidelig; brug de IP-lister, virksomhederne selv udgiver, sammen med User-Agent
- En CDN- eller WAF-regel kan blokere en robot, selv om robots.txt tillader den, så test med en ægte forespørgsel
Sådan beslutter du
- Afgør, om indholdet sælges, licenseres eller er offentligt markedsføringsmateriale
- Markedsføringsmateriale: tillad søgerobotter, for synlighed er målet
- Betalingsindhold eller licenserede data: bloker træningsrobotter og overvej adgangsbegrænsning
- Skriv en regel for hver enkelt robot og tilføj en kommentar om hvorfor
- Se i serverloggene en gang om måneden, hvem der faktisk kommer forbi, og opdater listen
Hvad du bør tjekke hvert kvartal
- Om tjenesternes dokumentation har ændret listen over robotter
- Om robots.txt stadig svarer til din nuværende beslutning
- Om serverloggen indeholder robotter, du ikke forventede
- Om WAF- eller CDN-regler blokerer de robotter, du har tilladt
Tjenesterne tilføjer og omdøber robotter, så en regelmæssig kontrol holder beslutningen og virkeligheden på linje.
Praktisk bemærkning
Opbevar robots.txt i versionsstyring og skriv en kommentar til hver linje om, hvorfor den står der. Om et år er det dit mest værdifulde dokument, hvis nogen spørger, hvorfor en bestemt robot er tilladt eller blokeret.
Tre spørgsmål
Fjerner en blokering af GPTBot mig fra ChatGPT-søgning?
Nej. GPTBot er til træning, mens OAI-SearchBot står for ChatGPT-søgning. De har hver deres regel og kan konfigureres forskelligt.
Hvordan kontrollerer jeg, at en robot virkelig er fra OpenAI, Anthropic eller Perplexity?
Virksomhederne udgiver IP-lister: OpenAI openai.com/searchbot.json og openai.com/gptbot.json, Anthropic claude.com/crawling/bots.json og Perplexity perplexity.com/perplexitybot.json. Sammenlign dem med serverloggen, ikke kun med User-Agent, for den kan forfalskes.
Hvad gør jeg, hvis min WAF blokerer en robot?
Tilføj en undtagelse for kombinationen af User-Agent og den officielle IP-liste, og opdater listen jævnligt. Perplexity anbefaler samme fremgangsmåde.
Opsummering
Fastlæg formålet, skriv en separat regel for hver robot, og kontroller i loggen, hvem der faktisk kommer. Ændringer kan tage op til 24 timer om at få effekt.
