Crawlanje: kako tražilica pronalazi Vašu web-stranicu

Modul 1: Kako rade tražilice · Vrijeme čitanja: 11 min

Cilj učenja: Nakon ove lekcije moći ćete opisati kako crawler otkriva nove stranice, na koje statusne kodove nailazi i što oni znače te što crawler može zaustaviti.

Ključni pojmovi: crawler (Googlebot, Bingbot), praćenje poveznica, sitemap, HTTP statusni kod (200, 301, 302, 404, 410, 429, 5xx), preusmjeravanje, crawl budžet, JavaScript i renderiranje, stranica siroče, robots.txt

Što je crawler

Crawler (naziva se i spider ili bot) je program koji dohvaća web-stranice, baš kao Vaš preglednik, ali automatski i u golemom opsegu. Google ima Googlebot, a Bing ima Bingbot. Oni zatraže adresu, dobiju natrag HTML, pročitaju koje se poveznice u njemu nalaze i stave te nove adrese na svoj popis kako bi ih kasnije dohvatili.

Google navodi da Googlebot u prosjeku ne posjećuje web-stranicu češće od jednom u nekoliko sekundi te da većina zahtjeva dolazi od verzije za pametne telefone Googlebota. Google dakle Vašu web-stranicu uglavnom gleda onako kako je vidi telefon. Na to se vraća lekcija 4.2.

Crawler se može i lažno predstavljati kao Googlebot: naziv (user-agent) lako je krivotvoriti. Google preporučuje da sumnjiv posjet provjerite obrnutim DNS upitom IP adrese. To je korisno ako u zapisniku poslužitelja vidite "Googlebot" koji radi čudne stvari.

Kako crawler pronalazi nove stranice

Google navodi tri načina:

1. Ponovno posjećivanje stranica koje već poznaje. Ondje uočava izmjene i nove poveznice.
2. Praćenje poveznica. Poveznica sa stranice koju Google već poznaje prema novoj stranici najvažniji je način da Vas pronađu. To vrijedi za poveznice unutar Vaše vlastite web-stranice (Vaš izbornik, poveznica u tekstu) i za poveznice s drugih web-stranica.
3. Popis koji Vi dostavite: sitemap. Sitemap je datoteka s adresama Vaših stranica. Prijavite je u Search Consoleu ili je navedite u robots.txt (lekcija 3.4). Prema Googleu sitemap nije obavezan, ali je koristan, osobito za nove web-stranice s još malo poveznica, velike web-stranice i stranice koje se nalaze duboko u strukturi.

Poveznice moraju biti prave poveznice

Google može pratiti poveznicu samo ako je to običan element <a> s atributom href:

<a href="/bruidsboeketten">Bruidsboeketten</a>          <!-- dobro -->
<span onclick="ga('/bruidsboeketten')">Bruidsboeketten</span>   <!-- za Google nije poveznica -->

Gumb koji samo pomoću JavaScripta skače na drugu stranicu za crawler nije poveznica. Stranica na koju ne vodi nijedna poveznica naziva se stranica siroče (orphan page). Crawler je pronalazi samo putem sitemapa, a i posjetitelji je teško pronalaze. Nova stranica stoga uvijek treba imati poveznicu negdje u Vašem izborniku ili u tekstu.

JavaScript: najprije dohvaćanje, kasnije izvršavanje

Mnoge moderne web-stranice grade stranicu pomoću JavaScripta u pregledniku. Google to može obraditi: JavaScript izvršava pomoću novije verzije Chromiuma, temelja preglednika Chrome. To se naziva renderiranje. Google to opisuje kao tri faze za takve stranice: crawlanje, renderiranje i indeksiranje. Stranice sa statusom 200 ulaze u red čekanja za renderiranje.

Dvije posljedice:

• Ono što se na stranici pojavi tek nakon JavaScripta Google vidi kasnije od onoga što je izravno u HTML-u.
• Ne izvršava svaki crawler JavaScript. To kaže i sam Google. Tekst, naslovi i poveznice koji su izravno u HTML-u stoga su najsigurniji za sve tražilice. Google HTML koji se generira na poslužitelju naziva "i dalje dobrom idejom".

Automatske provjere u ovom tečaju čitaju HTML onako kako ga šalje poslužitelj, bez JavaScripta. Ono što Vi vidite u svojem pregledniku može se od toga razlikovati.

Statusni kodovi: što poslužitelj odgovara

Uz svaku stranicu poslužitelj šalje i statusni kod. Ne vidite ga na zaslonu, ali crawler ga čita prvi:

Pazite na soft 404: stranicu koja prikazuje "nije pronađeno", ali vraća status 200. Crawleru izgleda kao prava stranica, posjetitelju ne. Search Console takve stranice prijavljuje zasebno. Uklonjena stranica stoga treba vratiti pravi 404 ili 410 ili pomoću 301 preusmjeriti na zamjensku stranicu.

Lanac preusmjeravanja (http na https na www na novu stranicu) Google ipak prati, do otprilike deset koraka, ali svaki korak oduzima vrijeme. Lekcija 4.1 pokazuje kako to riješiti u jednom koraku.

Što zaustavlja crawler

Google kao razloge zbog kojih se stranica ne crawla navodi: probleme s poslužiteljem, mrežne probleme i pravila u robots.txt koja Googlebotu zabranjuju pristup. U praksi se uz to susreće:

• web-stranica koja je još u "načinu održavanja" ili je zaštićena lozinkom;
• u WordPressu kvačica "Discourage search engines from indexing this site", koja postavlja noindex (to je korak 2, ali učinak je isti: stranicu nije moguće pronaći);
• zaštita ili vatrozid koji nepoznate botove odbija s 403 ili 429;
• web-stranica po kojoj se može kretati samo pomoću JavaScript gumba.

robots.txt ima vlastitu lekciju (3.3). Za sada je dovoljno znati: to je tekstualna datoteka na https://www.example.com/robots.txt koja kaže koje dijelove Vaše web-stranice crawler ne smije dohvatiti.

Crawl budžet: za većinu web-stranica nije briga

Na internetu ćete mnogo pročitati o crawl budžetu: koliko stranica Google želi i može dohvatiti s Vaše web-stranice. Google navodi da je njegov vodič o tome namijenjen velikim web-stranicama, s grubom procjenom od više od milijun stranica ili više od deset tisuća stranica koje se mijenjaju svakodnevno. Ako se Vaše nove stranice dohvaćaju već na dan objave, ne morate se time baviti. Za web-stranicu poput one cvjećarnice Bloemenatelier Lotte s trideset stranica to nije tema. Ažuran sitemap i povremeni pogled u izvješće o indeksiranju sasvim su dovoljni.

U praksi: Vaš zapisnik poslužitelja

U DirectAdminu i sličnim upravljačkim pločama možete pregledati zapisnik pristupa svoje web-stranice. Potražite "Googlebot" ili "bingbot" i vidjet ćete koje su stranice zatražili i koji su statusni kod dobili. Ako ondje vidite mnogo pogrešaka 404 ili 5xx, znate odakle početi. Kod drugih pružatelja usluga zapisnike obično pronalazite pod sličnim nazivom u korisničkoj upravljačkoj ploči.

Sažetak

• Crawler dohvaća stranice i pronalazi nove adrese putem poveznica i Vašeg sitemapa.
• Prate se samo prave poveznice <a href>; stranica na koju ne vodi nijedna poveznica je siroče.
• Google izvršava JavaScript, ali kasnije; drugi crawleri često ne. Važan sadržaj treba biti u HTML-u.
• Statusni kod određuje što crawler radi: 200 obrađuje, 301 premješta, 404/410 uklanja, 5xx i 429 usporavaju crawlanje.
• Crawl budžet važan je samo za vrlo velike web-stranice ili one koje se vrlo brzo mijenjaju.

Kviz

Zadatak

Zadatak A1.2: Što crawler vidi na Vašoj početnoj stranici? Upišite adresu svoje web-stranice (ili www.wikipedia.org ako nemate vlastitu web-stranicu). Zatim upišite što očekujete: statusni kod konačne stranice, adresu na kojoj završavate nakon preusmjeravanja i ima li stranica noindex. Program dohvaća početnu stranicu kao crawler, bez JavaScripta, i prikazuje lanac preusmjeravanja, statusni kod, broj pravih poveznica prema Vašoj vlastitoj web-stranici u HTML-u te je li tekst stranice čitljiv bez JavaScripta.

Dodatno štivo

Koraci u ovim člancima odnose se na upravljačke ploče tvrtke WebOké; kod drugih pružatelja usluga postupak je sličan.

• DirectAdmin priručnik 4.7: Preusmjeravanje stranice: proslijedite domenu ili stranicu
• DirectAdmin priručnik 17.2: Site summary & logs: log pogrešaka i log pristupa
• Obavezno preusmjeravanje posjetitelja na https
• Google, Kako HTTP statusni kodovi i mrežne pogreške utječu na Google pretraživanje: https://developers.google.com/search/docs/crawling-indexing/http-network-errors
• Google, Osnove JavaScript SEO-a: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
• Google, Crawl budžet za velike web-stranice: https://developers.google.com/crawling/docs/crawl-budget