Tester souboru robots.txt a validátor XML sitemap
Najde sitemap (z robots.txt nebo na obvyklých adresách), zpracuje ji, spočítá URL, zkontroluje jejich vzorek a přečte robots.txt řádek po řádku a hledá chyby, které potichu skrývají web před vyhledávači.
zbývá 20 z 20 bezplatných spuštění na tuto hodinu. Vyčerpali jste je? Spuštění navíc stojí $1.49 a platí pro každý nástroj tady, bez účtu.
Jak to funguje
- Stáhneme /robots.txt a zpracujeme ho: user-agenty, pravidla Disallow a Allow, řádky Sitemap, syntaktické chyby.
- Sitemap se bere z robots.txt, jinak se zkusí /sitemap.xml a /sitemap_index.xml.
- XML se načte: obyčejná sitemap nebo index sitemap, počet URL, data lastmod, limity velikosti.
- Vyžádá se vzorek uvedených URL, aby se ověřilo, že odpovídají kódem 200, nejsou přesměrované a nejsou blokované v robots.txt.
Časté otázky
Potřebuji sitemap?
Pro web s více než pár stránkami ano. Je to seznam, od kterého vyhledávače začínají, a data lastmod jim říkají, co znovu projít. Bez něj nacházejí stránky jen přes odkazy.
Proč záleží na robots.txt, když je sitemap v pořádku?
Vyhrává robots.txt. Stránka uvedená v sitemap, ale zakázaná v robots.txt, se neprochází — velmi častý pozůstatek ze spuštění, kdy „Disallow: /“ mělo jen držet stranou testovací web.
Jaké jsou limity sitemap?
50 000 URL a 50 MB nekomprimovaně na soubor. Nad to ho rozdělte a části uveďte v indexu sitemap.
Patří noindex do robots.txt?
Ne — Google přestal respektovat noindex v robots.txt v roce 2019. Použijte meta tag robots nebo hlavičku X-Robots-Tag přímo na stránce.
Moje sitemap má URL, která přesměrovávají. Je to špatné?
Ano: každá položka má být konečná kanonická adresa, která odpovídá 200. Přesměrované nebo 404 položky plýtvají rozpočtem na procházení a celý soubor působí nedůvěryhodně.
Zdarma, bez registrace. Běží na našich serverech, nic se neinstaluje. Chcete všechno najednou? Kontrola celého webu spustí 30+ testů najednou.