poslední kolo dnes 22:56 UTC 2165 živých 12 na hřbitově další kolo za —
TrueTier
Dohledatelnost · nástroj zdarma · bez registrace

Tester souboru robots.txt a validátor XML sitemap

Najde sitemap (z robots.txt nebo na obvyklých adresách), zpracuje ji, spočítá URL, zkontroluje jejich vzorek a přečte robots.txt řádek po řádku a hledá chyby, které potichu skrývají web před vyhledávači.

zbývá 20 z 20 bezplatných spuštění na tuto hodinu. Vyčerpali jste je? Spuštění navíc stojí $1.49 a platí pro každý nástroj tady, bez účtu.

Jak to funguje

  1. Stáhneme /robots.txt a zpracujeme ho: user-agenty, pravidla Disallow a Allow, řádky Sitemap, syntaktické chyby.
  2. Sitemap se bere z robots.txt, jinak se zkusí /sitemap.xml a /sitemap_index.xml.
  3. XML se načte: obyčejná sitemap nebo index sitemap, počet URL, data lastmod, limity velikosti.
  4. Vyžádá se vzorek uvedených URL, aby se ověřilo, že odpovídají kódem 200, nejsou přesměrované a nejsou blokované v robots.txt.

Časté otázky

Potřebuji sitemap?

Pro web s více než pár stránkami ano. Je to seznam, od kterého vyhledávače začínají, a data lastmod jim říkají, co znovu projít. Bez něj nacházejí stránky jen přes odkazy.

Proč záleží na robots.txt, když je sitemap v pořádku?

Vyhrává robots.txt. Stránka uvedená v sitemap, ale zakázaná v robots.txt, se neprochází — velmi častý pozůstatek ze spuštění, kdy „Disallow: /“ mělo jen držet stranou testovací web.

Jaké jsou limity sitemap?

50 000 URL a 50 MB nekomprimovaně na soubor. Nad to ho rozdělte a části uveďte v indexu sitemap.

Patří noindex do robots.txt?

Ne — Google přestal respektovat noindex v robots.txt v roce 2019. Použijte meta tag robots nebo hlavičku X-Robots-Tag přímo na stránce.

Moje sitemap má URL, která přesměrovávají. Je to špatné?

Ano: každá položka má být konečná kanonická adresa, která odpovídá 200. Přesměrované nebo 404 položky plýtvají rozpočtem na procházení a celý soubor působí nedůvěryhodně.

Zdarma, bez registrace. Běží na našich serverech, nic se neinstaluje. Chcete všechno najednou? Kontrola celého webu spustí 30+ testů najednou.

Související nástroje