Kako stranicu izostaviti iz Googlea: robots.txt ili noindex?
Želite li da se neka stranica ne pojavljuje na Googleu, primjerice stranica zahvale, testna stranica ili stara akcija? Mnogi tada pomisle na datoteku robots.txt. No robots.txt ne drži stranicu izvan Googlea. Za to služi noindex. U ovom članku saznat ćete u čemu je razlika, kako koristiti oboje i što učiniti sa stranicom koju ste izbrisali. Kao primjer koristimo example.com.
Razlika ukratko
| robots.txt | noindex | |
|---|---|---|
| Što poručuje | "Nemoj dohvaćati ovu stranicu." | "Nemoj uvrstiti ovu stranicu u rezultate pretraživanja." |
| Drži li stranicu izvan Googlea? | Ne. Ako drugi povezuju na stranicu, adresa se ipak može pojaviti, bez opisa. | Da, čim Google ponovno posjeti stranicu. |
| Gdje se nalazi? | Jedna datoteka na https://example.com/robots.txt | U samoj stranici ili kao zaglavlje koje poslužitelj šalje |
| Za što se koristi? | Usmjeravanje prometa pretraživanja, primjerice preskakanje stranica s rezultatima pretraživanja na Vašoj web-stranici | Stranice koje ostaju dostupne, ali ne pripadaju na Google |
Nijedno od toga nije zaštita. Svatko može pročitati Vašu datoteku robots.txt, a stranica s oznakom noindex i dalje je normalno dostupna. Ako nešto doista mora biti zaštićeno, stavite to iza lozinke. Pogledajte Zaštita mape lozinkom u DirectAdminu.
Korištenje oznake noindex
Dodajte ovaj redak u <head> stranice:
<meta name="robots" content="noindex">
Za datoteke koje nisu HTML, primjerice PDF, poslužitelj može istu uputu poslati kao zaglavlje: X-Robots-Tag: noindex. Učinak je isti.
To uglavnom ne morate sami upisivati:
- AI Builder: otvorite odjeljak SEO, odaberite stranicu i pod Više za ovu stranicu isključite prekidač Ova stranica vidljiva na Googleu. Stranica ostaje dostupna, ali dobiva oznaku noindex. Zatim ponovno objavite.
- WordPress: SEO dodatak ima za svaku stranicu postavku kojom stranicu isključujete iz indeksiranja. Kvačica Odvrati tražilice od indeksiranja ove web-stranice pod Postavke, Čitanje vrijedi za cijelu web-stranicu.
- Drugi alati za izradu web-stranica: potražite postavku poput "sakrij od tražilica".
Izrada ili uređivanje datoteke robots.txt
Na hosting paketu datoteka robots.txt nalazi se u web-mapi Vaše domene, u DirectAdminu to je mapa public_html. Datoteku izrađujete ili uređujete putem File Managera ili FTP-a, pogledajte Otvaranje File Managera: mape u Vašem paketu. Primjer:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *vrijedi za sve robote tražilica.Disallow:s putanjom zabranjuje sve što počinje tom putanjom.Disallow: /zabranjuje cijelu web-stranicu.- Ako izradite i grupu
User-agent: Googlebot, Google slijedi samo tu grupu i zanemaruje grupu*. Stoga ondje ponovite sva pravila koja vrijede i za Google. - Nemojte blokirati mape sa stilskim listovima, skriptama ili slikama koje su Vašoj stranici potrebne.
- Nepostojanje datoteke robots.txt nije problem: tada je sve dopušteno. Ako adresa vraća pogrešku poslužitelja, Google privremeno prestaje dohvaćati stranice.
WordPress sam izrađuje robots.txt sve dok u web-mapi ne postoji datoteka. AI Builder pri objavi sam postavlja robots.txt s retkom Sitemap:.
Detaljno objašnjenje sa snimkama zaslona: Sitemap i robots.txt u AI Builderu i Sitemap i robots.txt u WordPressu i na Vašoj vlastitoj web-stranici u priručniku Pronađite se na internetu.
Google Vašu datoteku robots.txt obično čuva do 24 sata. U Search Consoleu pod Postavke pronaći ćete Izvješće o datoteci robots.txt: koju je verziju Google posljednju dohvatio, s pogreškama i upozorenjima, te gumb kojim zatražite ponovno dohvaćanje.
Izbrisana stranica: 404 ili 410, a ne soft 404
Ako ste izbrisali stranicu, adresa treba vraćati statusni kod 404 (nije pronađeno) ili 410 (uklonjeno). Pri sljedećem posjetu Google tada uklanja adresu iz rezultata pretraživanja. Ako stranica ima nasljednicu, preusmjerite staru adresu kodom 301 na tu novu stranicu, pogledajte Site Redirection: preusmjeravanje domene ili stranice.
Soft 404 je stranica koja kaže da ne postoji ili je gotovo prazna, ali ipak vraća kod 200 (pronađeno). Google to često prepoznaje i takvu stranicu ne uvrštava. U Search Consoleu to vidite kao razlog Soft 404. I preusmjeravanje svih izbrisanih stranica na Vašu početnu stranicu može se smatrati soft 404. Neka stranica koje doista više nema stoga vraća pravi 404 ili 410.
Mora li stranica brzo nestati iz rezultata, primjerice zato što su se na njoj greškom našli osobni podaci? Tada koristite Uklanjanja u Search Consoleu. To djeluje privremeno, otprilike šest mjeseci. Zato se pobrinite i da stranica ima 404, 410, lozinku ili oznaku noindex.
Dodatno čitanje
- Google: Blokiranje indeksiranja pomoću oznake noindex (na engleskom)
- Google: Uvod u robots.txt (na engleskom)
- Google: Izvješće o datoteci robots.txt
- Blokiranje datoteka putem .htaccess
Koristite li WordPress? U lekciji Vidljivost: osnove besplatnog WordPress tečaja saznat ćete više o datoteci robots.txt i kvačici Odvrati tražilice.
Želite li naučiti više? Pohađajte besplatni tečaj Pronađite se na internetu, lekcija 3.3 robots.txt: što blokirati, a što ne.