AI-otsing 2. oktoober 2026

AI-crawlerid ja robots.txt: mida lubada ja mida keelata

Autor RozPoint

1 min lugemist

OpenAI, Anthropic ja Perplexity kasutavad igaüks mitut robotit: koolituseks, otsinguks ja kasutaja palvel. Need tuleb robots.txt-is lahus hoida.

Üks robots.txt-i rida ei lahenda AI-küsimust, sest samal ettevõttel on mitu robotit ja igaühel eri eesmärk. Segadus tekib siis, kui keelad kõik korraga ja kaotad ka nähtavuse.

Kolm rolli: koolitus, otsing, kasutaja palve

Koolitus: robot kogub sisu mudelite treenimiseks (GPTBot, ClaudeBot)
Otsing: robot indekseerib lehti vastuste allikaks (OAI-SearchBot, Claude-SearchBot, PerplexityBot)
Kasutaja palve: robot loeb lehte, kui inimene seda assistendilt küsib (ChatGPT-User, Claude-User, Perplexity-User)

Mida iga teenus ise kirjutab

OpenAI dokumentatsiooni järgi tähendab OAI-SearchBot’i keelamine, et leht ei ilmu ChatGPT otsingu vastustes, kuigi navigatsioonilinkina võib ta ikka olla. Muudatus jõustub umbes 24 tunniga. GPTBot’i keelamine annab märku, et sisu ei tohi koolituseks kasutada. ChatGPT-User käivitub kasutaja palvel ja OpenAI märgib, et robots.txt reeglid ei pruugi seal kehtida.

Anthropic kirjeldab kolme robotit: ClaudeBot (koolitus), Claude-User (kasutaja päring) ja Claude-SearchBot (otsingu kvaliteet). Nende robotid järgivad robots.txt-i, ei ürita CAPTCHA-sid mööda minna ja toetavad mittestandardset Crawl-delay käsku.

Perplexity jagab roboteid kaheks: PerplexityBot näitab saite otsingutulemustes ja ei ole mõeldud mudelite koolituseks, Perplexity-User toimib kasutaja palvel ja üldiselt ignoreerib robots.txt-i. Muudatused jõustuvad kuni 24 tunniga.

Näide robots.txt-i reeglitest

Näide: soovid ChatGPT-s ja Claude’is nähtav olla, kuid ei taha koolitusandmeid anda. Luba OAI-SearchBot, Claude-SearchBot ja PerplexityBot (Allow: /) ning keela GPTBot ja ClaudeBot (Disallow: /). Google-Extended halda eraldi, sest see käib Google’i AI-koolituse ja muude süsteemide kohta, mitte tavalise otsingu kohta.

Mida kindlasti jälgida

Googlebot’i ära keela: Google’i AI Overviews ja AI Mode kasutavad tavalist Search’i indeksit
Kasutaja palvel töötavad robotid ei pruugi robots.txt-i järgida, seega kaitse tundlikku sisu parooli või päisega, mitte robots.txt-iga
IP-põhine blokeerimine ei ole töökindel; kasuta ettevõtete avaldatud IP-nimekirju koos User-Agent’iga
CDN-i või WAF-i reegel võib blokeerida roboti, kuigi robots.txt lubab, seega testi päris päringuga

Kuidas otsustada

Otsusta, kas sisu müüakse, litsentseeritakse või on avalik turundusmaterjal
Turundusmaterjal: luba otsinguroboteid, sest nähtavus on eesmärk
Tasulised või litsentseeritud andmed: keela koolitusrobotid ja kaalu ligipääsupiirangut
Kirjuta reegel iga roboti kohta eraldi ja lisa kommentaar, miks
Vaata serverilogidest kord kuus, kes päriselt käib, ja uuenda nimekirja

Mida kontrollida kord kvartalis

Kas teenuste dokumentatsioon on robotite nimekirja muutnud
Kas robots.txt vastab sinu praegusele otsusele
Kas serverilogis on roboteid, mida sa ei oodanud
Kas WAF või CDN-i reeglid ei blokeeri lubatud roboteid

Teenused lisavad ja nimetavad roboteid ümber, seega regulaarne kontroll hoiab otsuse ja tegelikkuse kooskõlas.

Praktiline märkus

Hoia robots.txt-i versioonihalduses ja kirjuta igale reale kommentaar, miks see seal on. Aasta pärast on see sinu kõige väärtuslikum dokument, kui keegi küsib, miks teatud robot on lubatud või keelatud.

Kolm küsimust

Kas GPTBot’i keelamine eemaldab mind ChatGPT otsingust?

Ei. GPTBot on koolituse jaoks, ChatGPT otsingu jaoks vastutab OAI-SearchBot. Mõlemal on oma reegel ja neid võib seadistada erinevalt.

Kuidas kontrollida, et robot päriselt on OpenAI, Anthropicu või Perplexity?

Ettevõtted avaldavad IP-nimekirjad: OpenAI openai.com/searchbot.json ja openai.com/gptbot.json, Anthropic claude.com/crawling/bots.json ja Perplexity perplexity.com/perplexitybot.json. Võrdle neid serveri logiga, mitte ainult User-Agent’iga, sest viimast saab võltsida.