robots.txt: što blokirati, a što ne

Modul 3: Tehnička osnova stranice · Vrijeme čitanja: 13 min

Cilj učenja: Nakon ove lekcije moći ćete čitati i pisati datoteku robots.txt, sami izračunati smije li Googlebot posjetiti neku adresu i objasniti što se događa kada datoteka nedostaje ili je nedostupna. Znat ćete i zašto robots.txt nije zaštita ni noindex.

Ključni pojmovi: robots.txt (RFC 9309), crawler, grupa, User-agent, Disallow, Allow, najdulje podudaranje, jednaka duljina (pobjeđuje Allow), * i $, Sitemap:, statusni kod datoteke robots.txt (4xx, 5xx), 500 KiB, 24 sata predmemorije, nije zaštita, nije noindex, AI crawleri (Google-Extended, GPTBot)

Natpis na ulaznim vratima

robots.txt je obična tekstualna datoteka u korijenskoj mapi Vaše web-stranice, uvijek na istoj adresi: https://www.example.com/robots.txt. Pristojan crawler (lekcija 1.2) najprije zatraži tu datoteku i pročita koje dijelove stranice ne smije posjetiti. To je natpis na ulaznim vratima, a ne brava: Googlebot i Bingbot ga poštuju, ali zlonamjerni robot jednostavno pročita natpis i uđe.

Od 2022. protokol je službeni internetski standard: RFC 9309. Google uz to točno opisuje kako Googlebot čita datoteku. U ovoj lekciji koristimo oba izvora.

Nekoliko stalnih pravila:

• Datoteka se nalazi u korijenskoj mapi hosta. Datoteka robots.txt u /blog/robots.txt neće se čitati.
• Vrijedi samo za taj host, taj protokol i taj port. https://www.example.com/robots.txt ne vrijedi za https://shop.example.com/; on treba vlastitu datoteku.
• To je običan tekst u kodiranju UTF-8.

Kako je datoteka građena

User-agent: *
Disallow: /winkelmand/
Disallow: /zoeken
Allow: /zoeken/tips

User-agent: Googlebot
Disallow: /concepten/

Sitemap: https://www.example.com/sitemap.xml

Datoteka se sastoji od grupa. Grupa počinje jednim ili više redaka User-agent:, a zatim slijede pravila Disallow: (ne posjećivati) i Allow: (smije se posjetiti). Putanja iza Disallow: početak je adrese: Disallow: /zoeken blokira /zoeken, /zoeken?q=rozen i također /zoekenmachine, jer sve počinju s /zoeken.

Redak Sitemap: ne pripada nijednoj grupi i govori gdje se nalazi Vaša karta web-stranice (lekcija 3.4). Google zahtijeva potpunu adresu s https:// i nazivom hosta.

Disallow: bez putanje ne blokira ništa. Disallow: / blokira sve.

Koja grupa vrijedi?

Crawler odabire jednu grupu: onu s najspecifičnijim nazivom koji mu odgovara. Googlebot dakle slijedi grupu User-agent: Googlebot ako postoji i tada potpuno zanemaruje grupu *. U gornjem primjeru Googlebot stoga smije u /winkelmand/: to pravilo nalazi se samo u grupi *. Ovo je jedna od najčešćih pogrešaka: tko izradi posebnu grupu za Googlebot, mora u njoj ponoviti sva pravila koja vrijede i za Google.

Naziv ne razlikuje velika i mala slova (googlebot = Googlebot). Ako postoje dvije grupe za isti crawler, Google ih spaja.

Koje pravilo pobjeđuje?

Unutar grupe jedna adresa može odgovarati više pravila. Tada vrijedi:

1. Pobjeđuje najdulje pravilo koje se podudara (najspecifičnija putanja).
2. Ako su Allow i Disallow točno jednake duljine, pobjeđuje Allow. Google to naziva "najmanje restriktivnim pravilom".

Dva znaka imaju posebno značenje:

Primjer izračuna s gornjom grupom *, za crawler Bingbot (koji nema vlastitu grupu):

Kada datoteka ne postoji ili poslužitelj zapinje

Što Google radi ovisi o statusnom kodu kojim Vaš poslužitelj odgovara na /robots.txt:

Datoteka robots.txt koja nedostaje dakle nije problem: tada je sve dopušteno. Datoteka robots.txt koja vraća pogrešku poslužitelja jest problem: Google tada privremeno prestaje s pretraživanjem. RFC 9309 tu je još stroži: kod nedostupne datoteke crawler mora pretpostaviti da je sve zabranjeno.

Nadalje:

• Google čita najviše 500 KiB; sve iza toga zanemaruje se.
• Google datoteku robots.txt obično drži u predmemoriji do 24 sata. Promjena stoga ne djeluje odmah. U Search Consoleu pod Postavke (Settings) nalazi se izvješće robots.txt: koju je verziju Google posljednju preuzeo, s pogreškama i upozorenjima, te gumb za ponovno preuzimanje.
• Google poznaje samo User-agent, Allow, Disallow i Sitemap. Pravila poput Crawl-delay ili Noindex Googlebot zanemaruje.

Što robots.txt ne radi

Nije zaštita

Svatko može pročitati Vašu datoteku robots.txt, pa i onaj sa zlim namjerama. Pravilo Disallow: /beheer-oud/ upravo pokazuje gdje se nalazi nešto zanimljivo. RFC 9309 to i sam navodi: pravila nisu oblik kontrole pristupa. Stvarnu zaštitu postižete lozinkom ili tako da poslužitelj odbija pristup, primjerice pomoću .htaccess (vidi Dodatno štivo).

Nije noindex

Ovo je najvažnija pouka. robots.txt upravlja pretraživanjem (crawlanjem), a ne indeksiranjem (lekcija 1.3). Google doslovno piše da robots.txt nije način da stranicu držite izvan Googlea. Ako druge stranice upućuju na blokiranu adresu, ta se adresa ipak može pojaviti u rezultatima pretraživanja, samo bez opisa.

Želite li stranicu zadržati izvan rezultata pretraživanja, koristite noindex (u <meta name="robots"> ili u zaglavlju X-Robots-Tag) ili stavite stranicu iza lozinke. I pazite na klasičnu zamku: ako stranicu s noindex u datoteci robots.txt također stavite na Disallow, Google ne može posjetiti stranicu pa noindex nikada neće pročitati.

Ne blokirajte dijelove koji su Googleu potrebni

Ne blokirajte mape sa stilskim datotekama, skriptama ili slikama koje su Vašoj stranici potrebne za ispravan prikaz. Google gleda Vašu stranicu kao preglednik; bez tih datoteka Google stranicu slabije razumije.

AI crawleri

Sve više tvrtki prikuplja web-stranice za umjetnu inteligenciju. Neke od njih možete usmjeriti pomoću datoteke robots.txt:

• Google-Extended nije zaseban robot, nego naziv u datoteci robots.txt kojim određujete smije li Google koristiti Vaš sadržaj za treniranje modela Gemini i za grounding. Google piše da to ne utječe na Vaše uvrštavanje ni poziciju u Google pretraživanju.
• GPTBot tvrtke OpenAI prikuplja stranice koje se mogu koristiti za treniranje modela. OAI-SearchBot služi za funkciju pretraživanja u ChatGPT-u: ako ga blokirate, Vaša se stranica neće pojavljivati u odgovorima pretraživanja ChatGPT-a.

User-agent: GPTBot
Disallow: /

Hoćete li to učiniti, Vaš je izbor, a ne tehnička nužnost. Ako slučajno blokirate robota tražilice (Googlebot, Bingbot, OAI-SearchBot), ondje ćete biti slabije vidljivi.

U praksi: gdje se nalazi Vaša datoteka robots.txt?

• AI Builder tvrtke WebOké pri objavi sam izrađuje datoteku robots.txt s User-agent: *, Allow: / i retkom Sitemap:. Ako stranicu postavite na neindeksiranje ili je riječ o besplatnoj demonstraciji, u njoj stoji Disallow: /.
• WordPress izrađuje virtualnu datoteku robots.txt s poveznicom na kartu web-stranice. Ako sami stavite datoteku robots.txt u web-mapu, ona ima prednost.
• Vlastita stranica na hosting paketu: datoteku robots.txt stavite u web-mapu (u DirectAdminu public_html) putem File Manager ili FTP.

Kod drugih pružatelja usluga postupak je sličan: datoteka uvijek mora biti dostupna na /robots.txt Vašeg hosta.

Sažetak

• robots.txt nalazi se na /robots.txt svakog hosta i pristojnim crawlerima govori što ne smiju posjetiti.
• Crawler slijedi jednu grupu (najspecifičniji naziv, inače *). Unutar grupe pobjeđuje najdulje pravilo; pri jednakoj duljini pobjeđuje Allow.
• 404 znači "sve je dopušteno", a pogreška poslužitelja privremeno zaustavlja Googleovo pretraživanje. Google čita 500 KiB i drži datoteku u predmemoriji do 24 sata.
• robots.txt nije zaštita ni noindex. Ne blokirajte stranicu s noindex u datoteci robots.txt.
• AI crawlere poput GPTBot i naziv Google-Extended možete urediti zasebno, bez posljedica za Google pretraživanje.

Kviz

Zadatak

Zadatak A3.3: Provjera Vaše datoteke robots.txt. Unesite svoju domenu i uz nju tri adrese svoje stranice (primjerice početnu stranicu, stranicu proizvoda i košaricu ili stranicu za pretraživanje) te za svaku adresu svoje očekivanje: smije li je Googlebot pretraživati, da ili ne? Program preuzima Vašu datoteku robots.txt, provjerava statusni kod, veličinu, grupe i redak Sitemap: te za svaku adresu izračunava što Googlebot smije prema pravilima iz ove lekcije. Je li Vaše očekivanje točno? Nemate vlastitu stranicu? Upotrijebite www.wikipedia.org.

Dodatno štivo

Koraci u ovim člancima vrijede za WebOké upravljačke ploče; kod drugih pružatelja usluga postupak je sličan.

• DirectAdmin priručnik 11.1: Otvaranje File Manager: mape u Vašem paketu
• Blokiranje datoteka putem .htaccess, npr. plugin-googlemap2-proxy.php
• DirectAdmin priručnik 11.4: Prikaz i uređivanje skrivenih datoteka poput .htaccess
• Google Search Central, kako Google tumači robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
• Google Search Central, uvod u robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• RFC 9309, Robots Exclusion Protocol: https://www.rfc-editor.org/rfc/rfc9309.html
• Google, pregled crawlera (Google-Extended): https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• OpenAI, pregled crawlera (GPTBot, OAI-SearchBot): https://developers.openai.com/api/docs/bots