Sprječavanje indeksiranja stranice na Googleu: robots.txt ili noindex?
Želite li da se neka stranica ne pojavljuje u Googleu, na primjer stranica zahvale, testna stranica ili stara akcija? Tada mnogi ljudi pomisle na datoteku robots.txt. No robots.txt ne sprječava pojavljivanje stranice u Googleu. Za to služi noindex. U ovom članku saznat ćete razliku, kako koristiti oboje i što napraviti sa stranicom koju ste izbrisali. Kao primjer koristimo example.com.
Razlika ukratko
| robots.txt | noindex | |
|---|---|---|
| Što govori | "Ne dohvaćaj ovu stranicu." | "Ne uvrštavaj ovu stranicu u rezultate pretraživanja." |
| Sprječava li pojavljivanje stranice u Googleu? | Ne. Ako drugi postave poveznicu prema stranici, adresa se ipak može pojaviti, bez opisa. | Da, čim Google ponovno posjeti stranicu. |
| Gdje se nalazi? | Jedna datoteka na https://example.com/robots.txt | Unutar same stranice ili kao zaglavlje koje poslužitelj šalje |
| Za što se koristi? | Usmjeravanje prometa indeksiranja, na primjer izostavljanje stranica s rezultatima pretraživanja vlastite stranice | Stranice koje ostaju dostupne, ali ne smiju biti u Googleu |
Nijedno od toga nije zaštita. Svatko može pročitati Vaš robots.txt, a stranica s noindex oznakom ostaje jednostavno dostupna. Ako nešto zaista treba biti zaštićeno, stavite to iza lozinke. Pogledajte Zaštita mape lozinkom u DirectAdminu.
Korištenje noindex oznake
Postavite ovaj redak u <head> stranice:
<meta name="robots" content="noindex">
Za datoteke bez HTML-a, poput pdf-a, poslužitelj može poslati istu uputu kao zaglavlje: X-Robots-Tag: noindex. Učinak je isti.
Obično ovo ne morate sami upisivati:
- AI Builder: otvorite odjeljak SEO, odaberite stranicu i pod Više za ovu stranicu isključite prekidač Ova stranica vidljiva u Googleu. Stranica ostaje dostupna, ali dobiva noindex oznaku. Zatim ponovno objavite.
- WordPress: SEO dodatak ima po stranici postavku kojom se stranica ne indeksira. Kvačica Obeshrabri tražilice da indeksiraju ovu stranicu pod Postavke, Čitanje vrijedi za cijelu stranicu.
- Drugi alati za izradu web stranica: potražite postavku poput "sakrij od tražilica".
Izrada ili prilagodba robots.txt datoteke
Na hosting paketu robots.txt se nalazi u web mapi Vaše domene, kod DirectAdmina u mapi public_html. Datoteku možete izraditi ili urediti putem Upravitelja datoteka ili FTP-a, pogledajte Otvaranje Upravitelja datoteka: mape u Vašem paketu. Primjer:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *vrijedi za sve tražilice.Disallow:s putanjom zabranjuje sve što počinje tom putanjom.Disallow: /zabranjuje cijelu stranicu.- Ako izradite i skupinu
User-agent: Googlebot, Google slijedi samo tu skupinu i zanemaruje skupinu*. Zato u njoj ponovite sva pravila koja također vrijede za Google. - Ne blokirajte mape sa stylesheetovima, skriptama ili slikama koje su potrebne Vašoj stranici.
- Nepostojanje robots.txt datoteke nije problem: tada je sve dopušteno. Ako adresa vraća pogrešku poslužitelja, Google privremeno prestaje s dohvaćanjem.
WordPress sam izrađuje robots.txt sve dok u web mapi ne postoji takva datoteka. AI Builder pri objavljivanju sam postavlja robots.txt s retkom Sitemap:.
Google obično pamti Vaš robots.txt do 24 sata. U Search Consoleu pod Postavke pronaći ćete izvještaj o robots.txt datoteci: koju je verziju Google zadnje dohvatio, s pogreškama i upozorenjima, te gumb za ponovno dohvaćanje.
Izbrisana stranica: 404 ili 410, ne soft 404
Ako ste izbrisali stranicu, adresa bi trebala vraćati statusni kod 404 (nije pronađeno) ili 410 (nestalo). Pri sljedećem posjetu Google tada uklanja adresu iz rezultata pretraživanja. Ako stranica ima nasljednicu, preusmjerite staru adresu s 301 preusmjerenjem na novu stranicu, pogledajte Site Omleiden: preusmjeravanje domene ili stranice.
Soft 404 je stranica koja navodi da ne postoji ili je gotovo prazna, no ipak vraća kod 200 (pronađeno). Google to često prepoznaje i takvu stranicu ne uvrštava. U Search Consoleu to vidite kao razlog Soft 404. Preusmjeravanje svih izbrisanih stranica na Vašu početnu stranicu također se može smatrati soft 404. Zato pobrinite se da stranica koja je zaista uklonjena vraća pravi 404 ili 410.
Treba li stranica brzo nestati iz rezultata, na primjer jer su na njoj slučajno bili osobni podaci? Koristite Uklanjanja u Search Consoleu. To djeluje privremeno, otprilike šest mjeseci. Zato se pobrinite i da stranica ima 404, 410, lozinku ili noindex.
Dodatno štivo
- Google: Blokiranje indeksiranja pomoću noindex oznake (engleski)
- Google: Uvod u robots.txt (engleski)
- Google: izvještaj o robots.txt datoteci
- Blokiranje datoteka putem .htaccess
Koristite li WordPress? U lekciji Vidljivost: osnove besplatnog WordPress tečaja pronaći ćete više informacija o robots.txt datoteci i kvačici Obeshrabri tražilice.