Ako zakázať indexovaniu stránok robots.txt a sitemap.xml?

Vedeli ste, že do výsledkov vyhľadávanie sa môže dostať súbor robots.txt a sitemap.xml, a dokonca sa môže aj zobrazovať na jednotlivé vyhľadávacie fráze? John Meuller z Google sa vyjadril, ako tomu zabrániť.

John Meuller sa tak vyjadril na základe informácie, ktorú poskytol jeho „kolega“ Gary Illyes, keď na Twitteri spomínal, že z technického pohľadu sa jedná o stránku, ako každú inú, a preto sa môže jednoducho dostať do indexu vyhľadávača.

SERP – indexované stránky sitemap.xml a robots.txt

Na zabránenie indexácie týchto stránok je podľa Johna vhodné použiť X-Robots-Tag HTTP header. John však v súvislosti s tým spomínal aj to, že pokiaľ sa tieto stránky zobrazujú vo výsledkoch vyhľadávania na bežné kľúčové slová (napr. brandové kľúčové slovo), je to skutočne silný indikátor toho, že je váš web zlý a mali by ste zapracovať na jeho zlepšení!

Tweet od Johna Muellera o indexácií sitemap.xml a robots.txt

A prečo by vás vôbec malo zaujímať, či sú tieto stránky dohľadateľné pre verejnosť? Uvediem jeden príklad:

Ak je váš súbor sitemap.xml dohľadateľný, mohla by to využiť napríklad vaša konkurencia a jednoducho si stiahnuť zoznam všetkých dôležitých stránok vášho webu, s ktorými by následne mohla pracovať (zistiť štruktúru, analyzovať obsah atd.). V tomto prípade rozhodne nechcete, aby bol súbor sitemap.xml dohľadateľný, a preto vám neindexovanie bude hrať vo váš prospech. Nezabudnite však na to, že ak chcete súbor sitemap.xml „skryť“ pred verejnosťou, nemôžete do súboru sitemap.xml odkazovať v robots.txt a ani nesmiete mať Sitemapu pod štandardným názvom domena.com/sitemap.xml, pretože by to iste každý uhádol. 😊

Má to však jeden háčik. Súbor sitemap.xml by ste vyhľadávaču Google dokázali predložiť cez nástroj Google Search Console avšak v prípade vyhľadávača Seznam nedokážete nijak zaistiť, aby súbor sitemap.xml pravidelne navštevoval (jedine cez robots.txt).