posledné kolo dnes 00:42 UTC 2165 živých 12 na cintoríne ďalšie kolo o —
TrueTier
Nájditeľnosť · bezplatný nástroj · bez registrácie

Tester robots.txt a validátor XML sitemap

Nájde sitemap (z robots.txt alebo na bežných adresách), spracuje ju, spočíta URL, skontroluje ich vzorku a prečíta robots.txt riadok po riadku a hľadá chyby, ktoré potichu skrývajú web pred vyhľadávačmi.

zostáva 20 z 20 bezplatných spustení na túto hodinu. Minuli ste ich? Spustenie navyše stojí $1.49 a platí pre každý nástroj tu, bez účtu.

Ako to funguje

  1. Stiahneme /robots.txt a spracujeme ho: user-agenty, pravidlá Disallow a Allow, riadky Sitemap, syntaktické chyby.
  2. Sitemap sa berie z robots.txt, inak sa skúsia /sitemap.xml a /sitemap_index.xml.
  3. XML sa načíta: obyčajná sitemap alebo index sitemap, počet URL, dátumy lastmod, limity veľkosti.
  4. Vyžiada sa vzorka uvedených URL, aby sa overilo, že odpovedajú kódom 200, nie sú presmerované a nie sú blokované v robots.txt.

Časté otázky

Potrebujem sitemap?

Pre web s viac ako pár stránkami áno. Je to zoznam, od ktorého vyhľadávače začínajú, a dátumy lastmod im hovoria, čo znova prejsť. Bez neho nachádzajú stránky len cez odkazy.

Prečo záleží na robots.txt, keď je sitemap v poriadku?

Vyhráva robots.txt. Stránka uvedená v sitemap, ale zakázaná v robots.txt, sa neprechádza — veľmi častý pozostatok zo spustenia, keď „Disallow: /“ malo len držať bokom testovací web.

Aké sú limity sitemap?

50 000 URL a 50 MB nekomprimovane na súbor. Nad to ho rozdeľte a časti uveďte v indexe sitemap.

Patrí noindex do robots.txt?

Nie — Google prestal rešpektovať noindex v robots.txt v roku 2019. Použite meta značku robots alebo hlavičku X-Robots-Tag priamo na stránke.

Moja sitemap má URL, ktoré presmerúvajú. Je to zlé?

Áno: každá položka má byť konečná kanonická adresa, ktorá odpovedá 200. Presmerované alebo 404 položky plytvajú rozpočtom na prechádzanie a celý súbor pôsobia nedôveryhodne.

Zadarmo, bez registrácie. Beží na našich serveroch, nič sa neinštaluje. Chcete všetko naraz? Kontrola celého webu spustí 30+ testov naraz.

Súvisiace nástroje