Tester robots.txt a validátor XML sitemap
Nájde sitemap (z robots.txt alebo na bežných adresách), spracuje ju, spočíta URL, skontroluje ich vzorku a prečíta robots.txt riadok po riadku a hľadá chyby, ktoré potichu skrývajú web pred vyhľadávačmi.
zostáva 20 z 20 bezplatných spustení na túto hodinu. Minuli ste ich? Spustenie navyše stojí $1.49 a platí pre každý nástroj tu, bez účtu.
Ako to funguje
- Stiahneme /robots.txt a spracujeme ho: user-agenty, pravidlá Disallow a Allow, riadky Sitemap, syntaktické chyby.
- Sitemap sa berie z robots.txt, inak sa skúsia /sitemap.xml a /sitemap_index.xml.
- XML sa načíta: obyčajná sitemap alebo index sitemap, počet URL, dátumy lastmod, limity veľkosti.
- Vyžiada sa vzorka uvedených URL, aby sa overilo, že odpovedajú kódom 200, nie sú presmerované a nie sú blokované v robots.txt.
Časté otázky
Potrebujem sitemap?
Pre web s viac ako pár stránkami áno. Je to zoznam, od ktorého vyhľadávače začínajú, a dátumy lastmod im hovoria, čo znova prejsť. Bez neho nachádzajú stránky len cez odkazy.
Prečo záleží na robots.txt, keď je sitemap v poriadku?
Vyhráva robots.txt. Stránka uvedená v sitemap, ale zakázaná v robots.txt, sa neprechádza — veľmi častý pozostatok zo spustenia, keď „Disallow: /“ malo len držať bokom testovací web.
Aké sú limity sitemap?
50 000 URL a 50 MB nekomprimovane na súbor. Nad to ho rozdeľte a časti uveďte v indexe sitemap.
Patrí noindex do robots.txt?
Nie — Google prestal rešpektovať noindex v robots.txt v roku 2019. Použite meta značku robots alebo hlavičku X-Robots-Tag priamo na stránke.
Moja sitemap má URL, ktoré presmerúvajú. Je to zlé?
Áno: každá položka má byť konečná kanonická adresa, ktorá odpovedá 200. Presmerované alebo 404 položky plytvajú rozpočtom na prechádzanie a celý súbor pôsobia nedôveryhodne.
Zadarmo, bez registrácie. Beží na našich serveroch, nič sa neinštaluje. Chcete všetko naraz? Kontrola celého webu spustí 30+ testov naraz.