ostatnia runda dziś 22:58 UTC 2165 żywych 12 na cmentarzu następna runda za —
TrueTier
Wyszukiwalność · darmowe narzędzie · bez rejestracji

Tester robots.txt i walidator mapy witryny XML

Znajduje mapę strony (z robots.txt lub pod typowymi adresami), analizuje ją, liczy adresy URL, sprawdza ich próbkę i czyta robots.txt linijka po linijce w poszukiwaniu błędów, które po cichu ukrywają stronę przed wyszukiwarkami.

zostało 20 z 20 darmowych uruchomień na tę godzinę. Wykorzystane? Dodatkowe uruchomienie kosztuje $1.49 i działa dla każdego narzędzia tutaj, bez konta.

Jak to działa

  1. Pobieramy /robots.txt i analizujemy go: user-agenty, reguły Disallow i Allow, linie Sitemap, błędy składni.
  2. Mapa strony jest brana z robots.txt, w przeciwnym razie próbowane są /sitemap.xml i /sitemap_index.xml.
  3. XML jest odczytywany: zwykła mapa strony lub indeks map, liczba URL-i, daty lastmod, limity rozmiaru.
  4. Pobierana jest próbka wymienionych adresów URL, by sprawdzić, czy odpowiadają kodem 200, nie są przekierowywane i nie są blokowane przez robots.txt.

Częste pytania

Czy potrzebuję mapy strony?

Dla strony z więcej niż kilkoma podstronami — tak. To lista, od której zaczynają wyszukiwarki, a daty lastmod mówią im, co ponownie przeskanować. Bez niej znajdują strony tylko przez linki.

Dlaczego robots.txt ma znaczenie, skoro mapa strony jest w porządku?

Wygrywa robots.txt. Strona w mapie strony, ale zablokowana w robots.txt, nie jest skanowana — bardzo częsta pozostałość po starcie, gdy „Disallow: /” miało tylko trzymać z dala stronę testową.

Jakie są limity mapy strony?

50 000 URL-i i 50 MB bez kompresji na plik. Powyżej podziel go i wymień części w indeksie map witryny.

Czy noindex należy do robots.txt?

Nie — Google przestał respektować noindex w robots.txt w 2019 roku. Użyj tagu meta robots lub nagłówka X-Robots-Tag na samej stronie.

Moja mapa strony ma URL-e, które przekierowują. Czy to źle?

Tak: każdy wpis powinien być końcowym, kanonicznym adresem odpowiadającym 200. Przekierowane lub 404 wpisy marnują budżet indeksowania i sprawiają, że cały plik wygląda niewiarygodnie.

Za darmo, bez rejestracji. Działa na naszych serwerach, nic nie instalujesz. Chcesz wszystko naraz? Pełna kontrola strony wykonuje 30+ testów za jednym razem.

Powiązane narzędzia