Tekoälyhaku 2. lokakuuta 2026
Tekoälyrobotit ja robots.txt: mitä sallia ja mitä estää
OpenAI, Anthropic ja Perplexity käyttävät kukin useita robotteja: koulutukseen, hakuun ja käyttäjän pyynnöstä. Ne on pidettävä robots.txt-tiedostossa erillään.
Yksi robots.txt-rivi ei ratkaise tekoälykysymystä, koska samalla yrityksellä on useita robotteja ja jokaisella oma tarkoituksensa. Sekaannus syntyy, kun estät kaiken kerralla ja menetät samalla näkyvyytesi.
Kolme roolia: koulutus, haku, käyttäjän pyyntö
- Koulutus: robotti kerää sisältöä mallien kouluttamiseen (GPTBot, ClaudeBot)
- Haku: robotti indeksoi sivuja vastausten lähteiksi (OAI-SearchBot, Claude-SearchBot, PerplexityBot)
- Käyttäjän pyyntö: robotti lukee sivun, kun ihminen pyytää sitä avustajalta (ChatGPT-User, Claude-User, Perplexity-User)
Mitä kukin palvelu kertoo itse
OpenAI:n dokumentaation mukaan OAI-SearchBotin estäminen tarkoittaa, ettei sivu näy ChatGPT:n hakuvastauksissa, vaikka se voi edelleen esiintyä navigointilinkkinä. Muutos tulee voimaan noin 24 tunnissa. GPTBotin estäminen kertoo, ettei sisältöä saa käyttää koulutukseen. ChatGPT-User käynnistyy käyttäjän pyynnöstä, ja OpenAI toteaa, että robots.txt-säännöt eivät välttämättä päde siihen.
Anthropic kuvaa kolme robottia: ClaudeBot (koulutus), Claude-User (käyttäjän kysely) ja Claude-SearchBot (haun laatu). Robotit noudattavat robots.txt-tiedostoa, eivät yritä kiertää CAPTCHA-testejä ja tukevat epästandardia Crawl-delay-komentoa.
Perplexity jakaa robotit kahteen ryhmään: PerplexityBot näyttää sivustoja hakutuloksissa eikä ole tarkoitettu mallien kouluttamiseen, ja Perplexity-User toimii käyttäjän pyynnöstä ja ohittaa yleensä robots.txt-säännöt. Muutokset tulevat voimaan enintään 24 tunnissa.
Esimerkki robots.txt-säännöistä
Esimerkki: haluat näkyä ChatGPT:ssä ja Claudessa mutta et halua luovuttaa koulutusdataa. Salli OAI-SearchBot, Claude-SearchBot ja PerplexityBot (Allow: /) ja estä GPTBot ja ClaudeBot (Disallow: /). Hallitse Google-Extendedia erikseen, sillä se koskee Googlen tekoälykoulutusta ja muita järjestelmiä, ei tavallista hakua.
Mitä on tärkeää seurata
- Älä estä Googlebotia: Googlen AI Overviews ja AI Mode käyttävät tavallista Search-indeksiä
- Käyttäjän pyynnöstä toimivat robotit eivät välttämättä noudata robots.txt-tiedostoa, joten suojaa arkaluonteinen sisältö salasanalla tai otsakkeella, älä robots.txt:llä
- IP-pohjainen estäminen ei ole luotettava; käytä yritysten julkaisemia IP-listoja yhdessä User-Agentin kanssa
- CDN- tai WAF-sääntö voi estää robotin, vaikka robots.txt sallii sen, joten testaa oikealla pyynnöllä
Miten päätät
- Päätä, onko sisältö myytävää, lisensoitavaa vai julkista markkinointimateriaalia
- Markkinointimateriaali: salli hakurobotit, koska tavoitteena on näkyvyys
- Maksulliset tai lisensoidut tiedot: estä koulutusrobotit ja harkitse pääsyn rajoittamista
- Kirjoita sääntö kullekin robotille erikseen ja lisää kommentti, miksi
- Tarkista palvelinlokeista kerran kuussa, ketkä oikeasti vierailevat, ja päivitä lista
Mitä tarkistaa neljännesvuosittain
- Onko palvelujen dokumentaatio muuttanut robottilistaa
- Vastaako robots.txt nykyistä päätöstäsi
- Onko palvelinlokissa robotteja, joita et odottanut
- Estävätkö WAF- tai CDN-säännöt sallittuja robotteja
Palvelut lisäävät robotteja ja nimeävät niitä uudelleen, joten säännöllinen tarkistus pitää päätöksen ja todellisuuden linjassa.
Käytännön huomio
Pidä robots.txt versionhallinnassa ja kirjoita jokaiselle riville kommentti siitä, miksi se on siellä. Vuoden kuluttua se on arvokkain dokumenttisi, kun joku kysyy, miksi tietty robotti on sallittu tai estetty.
Kolme kysymystä
Poistaako GPTBotin estäminen minut ChatGPT:n hausta?
Ei. GPTBot on koulutusta varten, ja ChatGPT:n haun hoitaa OAI-SearchBot. Kummallakin on oma sääntönsä, ja ne voi asettaa eri tavoin.
Miten varmistan, että robotti on oikeasti OpenAI:n, Anthropicin tai Perplexityn?
Yritykset julkaisevat IP-listansa: OpenAI osoitteissa openai.com/searchbot.json ja openai.com/gptbot.json, Anthropic osoitteessa claude.com/crawling/bots.json ja Perplexity osoitteessa perplexity.com/perplexitybot.json. Vertaa niitä palvelimen lokiin, älä pelkkään User-Agentiin, koska jälkimmäisen voi väärentää.
Mitä tehdä, jos WAF estää robotin?
Lisää poikkeus User-Agentin ja virallisen IP-listan yhdistelmälle ja päivitä lista säännöllisesti. Perplexity suosittelee samaa lähestymistapaa.
Yhteenveto
Päätä tavoite, kirjoita kullekin robotille erillinen sääntö ja tarkista lokista, ketkä oikeasti vierailevat. Muutokset tulevat voimaan enintään 24 tunnissa.
