Indeksiranje: što ulazi u indeks, a što ne

Modul 1: Kako rade tražilice · Vrijeme čitanja: 11 min

Cilj učenja: Nakon ove lekcije moći ćete za neku stranicu procijeniti može li ući u indeks, a ako ne može, koja je od četiri "brave" zaustavlja: statusni kod, robots.txt, noindex ili canonical.

Ključni pojmovi: indeksiranje, Googleovi tehnički zahtjevi, noindex (meta robots i X-Robots-Tag), robots.txt nije noindex, kanonikalizacija, dvostruki sadržaj, soft 404, "Crawled - currently not indexed", "Discovered - currently not indexed", nema jamstva

Što se događa pri indeksiranju

Nakon što crawler dohvati stranicu (lekcija 1.2), tražilica je počinje čitati. Google analizira tekst, naslov, podnaslove, slike i videozapise te utvrđuje na kojem je jeziku stranica. Google također provjerava je li stranica kopija neke druge stranice i koja je od tih kopija "prava". Tek tada Google odlučuje ulazi li stranica u indeks.

Google o tome kaže dvije stvari koje trebate dobro zapamtiti:

• Uvrštavanje nije zajamčeno. Čak i ako Vaša stranica ispunjava sve zahtjeve, Google može odlučiti da je ne uvrsti.
• Normalno je da nije sve uvršteno. Google u pomoći za izvješće o indeksiranju doslovno piše da ne trebate očekivati da je svaka adresa Vaše web-stranice indeksirana te da to može biti sasvim u redu. Važne su Vaše ključne stranice.

Tri tehnička zahtjeva

Google navodi tri tehnička zahtjeva da bi stranica mogla ući u indeks:

1. Googlebot nije blokiran. Stranica je dostupna i robots.txt ne zabranjuje njezino dohvaćanje.
2. Stranica radi. Poslužitelj vraća statusni kod 200, a ne pogrešku.
3. Stranica ima sadržaj koji se može indeksirati. Tekst u vrsti datoteke koju Google može čitati, bez kršenja pravila o neželjenom sadržaju (spamu).

U praksi tome se pridružuju još dva izbora vlasnika web-stranice: noindex ("ne uvrštavaj ovo") i canonical koji upućuje na drugu adresu ("ne ova, nego ona"). Zajedno to čini četiri brave kroz koje stranica mora proći.

Brava 1: statusni kod

Samo stranica sa statusom 200 može ući u indeks. Kod 301 ili 308 preusmjerava tražilicu na novu adresu; tada se procjenjuje ta nova adresa. Kod 404 ili 410 uklanja prethodno uvrštenu adresu iz indeksa.

Nezgodna je varijanta soft 404 iz lekcije 1.2: status je 200, ali je sadržaj poruka o pogrešci ili gotovo prazna stranica. Google to često prepozna i takvu stranicu ne uvrsti. I prazna stranica kategorije u web-trgovini ("nema pronađenih proizvoda") može se smatrati soft 404.

Brava 2: robots.txt

Pomoću datoteke robots.txt zabranjujete crawleru da stranicu dohvati. To nije isto što i zabrana da je uvrsti. Google je tu jasan: robots.txt nije način da stranicu držite izvan Googlea. Ako druge web-stranice upućuju na blokiranu stranicu, adresa se ipak može pojaviti u rezultatima, samo bez opisa. U Search Consoleu to se zove "Indexed, though blocked by robots.txt".

Robots.txt služi za usmjeravanje prometa crawlera: primjerice kako biste spriječili da crawler prolazi kroz tisuće stranica s rezultatima pretraživanja na Vašoj vlastitoj web-stranici. Lekcija 3.3 detaljnije se bavi time.

Brava 3: noindex

Ako zaista želite da se stranica ne pojavljuje u rezultatima pretraživanja, upotrijebite noindex. To je moguće na dva načina, s istim učinkom:

<!-- u <head> stranice -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Drugi je način HTTP zaglavlje koje poslužitelj šalje uz stranicu. Ono radi i za datoteke koje nisu HTML, kao što je pdf. Vrijednost none znači isto što i noindex, nofollow. S <meta name="googlebot" content="noindex"> pravilo vrijedi samo za Google; druge tražilice mogu opće pravilo tumačiti drukčije.

Slijedi zamka u koju se vrlo često upada: noindex i blokada u robots.txt zajedno ne funkcioniraju. Ako robots.txt blokira stranicu, Google je ne dohvaća pa noindex nikada ne vidi. Stranica tada putem poveznica s drugih web-stranica ipak može ući u indeks. Želite li stranicu ukloniti iz Googlea: dopustite njezino dohvaćanje i postavite na nju noindex.

Gdje se noindex može pojaviti nenamjerno?

• U WordPressu se pod Settings, Read nalazi kvačica "Discourage search engines from indexing this site". Ona postavlja noindex na cijelu web-stranicu. Korisno tijekom izrade, katastrofalno ako je zaboravite isključiti.
• U AI Builderu web-stranicu ili stranicu možete postaviti na "ne indeksiraj"; tada se u stranicu dodaje noindex, nofollow. Ni besplatna demo stranica nikada se ne indeksira.
• SEO dodatak ili tema s pogrešnom postavkom po stranici ili po vrsti stranice.

Drugi alati za izradu web-stranica imaju slične prekidače, često s nazivom poput "sakrij od tražilica".

Brava 4: canonical

Mnoge web-stranice imaju istu stranicu pod više adresa: s www i bez njega, s http i https, s parametrom na kraju kao što je ?utm_source=nieuwsbrief. Google iz takvih skupina odabire jednu adresu kao kanonsku verziju i u rezultatima prikazuje samo nju. Ostale su duplikati.

Googleu možete pomoći pri odabiru preusmjeravanjem (jak signal) ili canonical oznakom u stranici:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Canonical je signal, a ne naredba: Google može odabrati drugu adresu. Ako Vaš canonical upućuje na drugu adresu, stranica sama kaže: "nemoj uvrstiti mene, nego onu drugu". To je dobro ako je ispravno, a problem ako je riječ o pogrešci, primjerice kad svaka stranica upućuje na početnu stranicu. Lekcija 3.5 detaljnije se bavi time.

Dvostruki sadržaj na Vašoj vlastitoj web-stranici prema Googleu nije kršenje pravila o neželjenom sadržaju i ne dovodi do ručne radnje. Ipak je neučinkovit: crawleri isto dohvaćaju više puta, a Vi sami ne odlučujete koja se adresa prikazuje u rezultatima.

Obavijesti u Search Consoleu

U izvješću Pages u Search Consoleu (lekcija 2.4) za svaku neindeksiranu stranicu vidite razlog. Sve četiri brave tamo se ponovno pojavljuju:

Posljednje dvije obavijesti nisu tehnička pogreška. "Crawled - currently not indexed" česta je obavijest; Google kaže da to nije uvijek problem. Ako je riječ o važnoj stranici, provjerite donosi li zaista nešto novo: jedinstvena, korisna stranica ima više izgleda od tanke stranice koja nalikuje na deset drugih.

Sažetak

• Nakon crawlanja tražilica odlučuje ulazi li stranica u indeks; to nikada nije zajamčeno i ne mora sve ući.
• Četiri brave: status 200, nije blokirana u robots.txt, nema noindex, canonical ne postoji ili upućuje na samu stranicu.
• robots.txt zabranjuje dohvaćanje, a ne uvrštavanje. Upotrijebite noindex kako biste nešto držali izvan rezultata i tada tu stranicu nemojte blokirati u robots.txt.
• Canonical je jak signal, a ne naredba. Dvostruki sadržaj nije spam, ali je neučinkovit.
• "Crawled - currently not indexed" nije tehnička pogreška; razmotrite vrijednost stranice.

Kviz

Zadatak

Zadatak A1.3: Smije li ova stranica u indeks? Unesite adresu stranice (stranicu Vaše vlastite web-stranice ili stranicu koju namjerno skrivate, kao što je stranica zahvale). Zatim odaberite svoje očekivanje: "smije u indeks" ili "ne smije u indeks", a ako odaberete "ne smije", i koja je brava zaustavlja (statusni kod, robots.txt, noindex, canonical na drugu adresu). Program provjerava četiri brave kao u ovoj lekciji i svoj rezultat stavlja uz Vaš.

Dodatno štivo

• Google, Tehnički zahtjevi Google pretraživanja: https://developers.google.com/search/docs/essentials/technical
• Google, Blokiranje indeksiranja pomoću oznake noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Uvod u robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Objedinjavanje dvostrukih URL-ova (kanonikalizacija): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Pomoć za Google Search Console, izvješće Page indexing: https://support.google.com/webmasters/answer/7440203