Sitemap i robots.txt za WordPress i Vašu vlastitu stranicu

Sitemap je popis adresa koje želite imati u tražilicama. Datoteka robots.txt govori tražilicama koje adrese ne smiju posjećivati i gdje se nalazi Vaš sitemap. Ovako ih možete provjeriti u WordPressu i na stranici koju sami izrađujete.

WordPress

WordPress od verzije 5.5 sam izrađuje sitemap i robots.txt:

• Sitemap se nalazi na https://jouwdomein.nl/wp-sitemap.xml.
• Datoteka robots.txt je virtualna: u Vašoj web mapi ne postoji takva datoteka, ali WordPress je prikazuje na https://jouwdomein.nl/robots.txt, s poveznicom na sitemap.
• Koristite li SEO dodatak, poput Yoast SEO ili Rank Math? On često izrađuje vlastiti sitemap, na primjer sitemap_index.xml. Adresu ćete pronaći u postavkama dodatka. Tu adresu prijavite Googleu i Bingu.

Standardni robots.txt u WordPressu izgleda otprilike ovako:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Blokira li WordPress tražilice?

1. Prijavite se u WordPress i idite na Postavke, a zatim na Čitanje.
2. Kod vidljivosti za tražilice pogledajte kvačicu Odvrati tražilice od indeksiranja ove stranice.
3. Ta kvačica mora biti isključena. Kliknite na Spremite promjene.

Ako je kvačica uključena, WordPress traži od tražilica da preskoče cijelu Vašu stranicu. Često se uključi tijekom izrade stranice, a zatim se zaboravi.

Više o vidljivosti u WordPressu pročitajte u članku Vidljivost: osnove.

Vlastiti robots.txt

Ako sami postavite datoteku robots.txt u svoju web mapu, ona ima prednost pred virtualnim robots.txt iz WordPressa. Kod paketa web hostinga tvrtke WebOké web mapa je public_html Vaše domene. Datoteku u nju postavite putem alata File Manager u DirectAdminu (pogledajte Otvaranje upravitelja datoteka: mape u Vašem paketu) ili putem FTP-a.

Jednostavan robots.txt koji sve dopušta i upućuje na Vaš sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Stranica koju sami izrađujete

Izrađujete li stranicu sami ili pomoću nekog drugog programa? Provjerite izrađuje li taj program sitemap. Ako ne izrađuje, možete i bez njega: mala stranica s dobrim poveznicama između stranica također će biti pronađena. Ipak, sitemap pomaže. Postavite ga u svoju web mapu i navedite ga u svojem robots.txt, kao što je prikazano gore.

Provjera

• Otvorite https://jouwdomein.nl/robots.txt. Piše li Disallow: / ispod User-agent: *? U tom slučaju nijedna tražilica ne smije posjećivati Vašu stranicu. Uklonite taj redak kada je stranica gotova.
• Postoji li redak Sitemap:? Otvorite tu adresu u pregledniku. Trebali biste vidjeti popis adresa Vaše stranice, s https i Vašom vlastitom domenom.

Savjet: robots.txt ne sprječava da se stranica pojavi na Googleu. Stranica koju tražilice ne smiju posjećivati ipak se može pojaviti u rezultatima pretraživanja ako druge stranice na nju upućuju. Želite li stranicu zaista držati izvan Googlea, koristite noindex. Razliku pročitajte u lekciji robots.txt: što blokirate, a što ne tečaja Pronalaženje na internetu.