Dopuštanje ili blokiranje AI crawlera: robots.txt i llms.txt
AI usluge poput ChatGPT-a, Claudea, Geminija i Perplexityja dohvaćaju web stranice: za treniranje modela, za odgovore na pretraživanja ili za odgovor na pitanje korisnika. Pomoću datoteke robots.txt određujete koji od tih robota smiju posjećivati Vašu stranicu. Postoji i prijedlog llms.txt. U ovom članku saznat ćete koji roboti postoje, kako ih dopustiti ili blokirati te što llms.txt radi, a što ne. Kao primjer koristimo example.com.
1. Najvažniji AI roboti
Većina AI tvrtki koristi zasebne nazive za treniranje, pretraživanje i dohvaćanje na zahtjev korisnika. Tako primjerice možete blokirati treniranje, a i dalje se pojavljivati u odgovorima na pretraživanja.
| Naziv u robots.txt | Od | Za što |
|---|---|---|
GPTBot | OpenAI | Prikupljanje stranica koje se mogu koristiti za treniranje modela |
OAI-SearchBot | OpenAI | Funkcija pretraživanja ChatGPT-a. Ako ga blokirate, Vaša se stranica neće pojavljivati u odgovorima na pretraživanja u ChatGPT-u |
ChatGPT-User | OpenAI | Dohvaćanje stranice kada to korisnik zatraži. Prema OpenAI-ju robots.txt ovdje možda ne vrijedi |
ClaudeBot | Anthropic | Prikupljanje stranica koje se mogu koristiti za treniranje modela |
Claude-SearchBot | Anthropic | Indeksiranje stranica za funkciju pretraživanja u Claudeu |
Claude-User | Anthropic | Dohvaćanje stranice kada to korisnik zatraži |
Google-Extended | Nije zaseban robot, nego naziv kojim određujete smije li Google koristiti Vaš sadržaj za treniranje modela Gemini i za grounding. Prema Googleu to ne utječe na Vaš položaj u Google pretraživanju | |
PerplexityBot | Perplexity | Prikazivanje stranica i poveznica na njih u rezultatima pretraživanja Perplexityja, ne za treniranje |
Perplexity-User | Perplexity | Dohvaćanje stranice kada to korisnik zatraži. Prema Perplexityju ovaj robot uglavnom zanemaruje robots.txt |
Popis se redovito mijenja. Aktualne nazive potražite u dokumentaciji tvrtki OpenAI, Anthropic, Google i Perplexity.
2. Primjer datoteke robots.txt
Ovaj primjer blokira treniranje modela, ali dopušta robote za pretraživanje i obične tražilice:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot slijedi samo grupu sa svojim nazivom, a ako je nema, grupu
*. U primjeru GPTBot dakle nigdje ne smije pristupiti, aDisallow: /winkelmand/za GPTBot ne vrijedi. - Želite li dopustiti sve AI robote, ne morate ništa učiniti: bez pravila sve je dopušteno.
- Ako slučajno blokirate robota za pretraživanje, kao što su
OAI-SearchBot,Claude-SearchBotiliPerplexityBot, bit ćete slabije vidljivi u tim AI uslugama pretraživanja. - Blokiranje djeluje samo ubuduće. Ono što je već ranije dohvaćeno time ne vraćate.
public_html Vaše domene. Izrađujete ga ili uređujete putem Upravitelja datoteka ili FTP-a. WordPress sam izrađuje robots.txt dok god ne postoji datoteka, a AI Builder ga sam postavlja prilikom objave. Kako robots.txt inače funkcionira, pročitajte u članku Kako stranicu skloniti s Googlea: robots.txt ili noindex?.3. Što je llms.txt?
llms.txt je prijedlog iz 2024. za tekstualnu datoteku na adresi https://example.com/llms.txt. U nju u formatu Markdown upisujete kratak opis svoje stranice i poveznice na najvažnije stranice, kako bi AI usluga brzo vidjela gdje se nalaze dobre informacije. Jednostavan primjer:
# Pekarna Primjer > Obrtnička pekarna u Zagrebu s kruhom, pecivima i tortama po narudžbi. ## Važne stranice - [Ponuda](https://example.com/assortiment): kruh, peciva i torte - [Narudžba](https://example.com/bestellen): naručite tortu i preuzmite je - [Kontakt](https://example.com/contact): adresa i radno vrijeme
Dobro je znati:
- llms.txt nije službeni standard, nego prijedlog. Nema jamstva da će AI usluge čitati tu datoteku. Google je objavio da je Google pretraživanje ne koristi.
- llms.txt ništa ne blokira. Želite li zabraniti pristup robotima, koristite robots.txt.
- Datoteka se ne pojavljuje sama od sebe: izrađujete je sami ili je dajete izraditi dodatkom.
4. Izrada datoteke llms.txt u WordPressu
Poznati SEO dodaci mogu za Vas izraditi i održavati llms.txt:
- Yoast SEO: idite na Yoast SEO, Postavke, Značajke web-mjesta i među AI značajkama uključite llms.txt. Možete prepustiti Yoastu da odabere stranice ili ih odrediti sami.
- Rank Math: na Nadzornoj ploči dodatka Rank Math uključite modul LLMS Txt. Postavke zatim pronalazite pod Opće postavke.
Nazivi izbornika razlikuju se ovisno o verziji. Ako ne vidite tu opciju, ažurirajte dodatak. Zatim pogledajte datoteku na adresi https://vasadomena.hr/llms.txt.
Bez WordPressa datoteku izrađujete sami: tekstualnu datoteku llms.txt u mapi public_html, baš kao i robots.txt.
Detaljno objašnjenje sa snimkama zaslona: Sitemap i robots.txt za WordPress i Vašu vlastitu stranicu i Sitemap i robots.txt za AI Builder u priručniku Budite pronađeni na internetu.
Želite li naučiti više? Pohađajte besplatni tečaj Budite pronađeni na internetu, lekcija 3.3 robots.txt: što blokirate, a što ne.