Tester robots.txt i walidator mapy witryny XML
Znajduje mapę strony (z robots.txt lub pod typowymi adresami), analizuje ją, liczy adresy URL, sprawdza ich próbkę i czyta robots.txt linijka po linijce w poszukiwaniu błędów, które po cichu ukrywają stronę przed wyszukiwarkami.
zostało 20 z 20 darmowych uruchomień na tę godzinę. Wykorzystane? Dodatkowe uruchomienie kosztuje $1.49 i działa dla każdego narzędzia tutaj, bez konta.
Jak to działa
- Pobieramy /robots.txt i analizujemy go: user-agenty, reguły Disallow i Allow, linie Sitemap, błędy składni.
- Mapa strony jest brana z robots.txt, w przeciwnym razie próbowane są /sitemap.xml i /sitemap_index.xml.
- XML jest odczytywany: zwykła mapa strony lub indeks map, liczba URL-i, daty lastmod, limity rozmiaru.
- Pobierana jest próbka wymienionych adresów URL, by sprawdzić, czy odpowiadają kodem 200, nie są przekierowywane i nie są blokowane przez robots.txt.
Częste pytania
Czy potrzebuję mapy strony?
Dla strony z więcej niż kilkoma podstronami — tak. To lista, od której zaczynają wyszukiwarki, a daty lastmod mówią im, co ponownie przeskanować. Bez niej znajdują strony tylko przez linki.
Dlaczego robots.txt ma znaczenie, skoro mapa strony jest w porządku?
Wygrywa robots.txt. Strona w mapie strony, ale zablokowana w robots.txt, nie jest skanowana — bardzo częsta pozostałość po starcie, gdy „Disallow: /” miało tylko trzymać z dala stronę testową.
Jakie są limity mapy strony?
50 000 URL-i i 50 MB bez kompresji na plik. Powyżej podziel go i wymień części w indeksie map witryny.
Czy noindex należy do robots.txt?
Nie — Google przestał respektować noindex w robots.txt w 2019 roku. Użyj tagu meta robots lub nagłówka X-Robots-Tag na samej stronie.
Moja mapa strony ma URL-e, które przekierowują. Czy to źle?
Tak: każdy wpis powinien być końcowym, kanonicznym adresem odpowiadającym 200. Przekierowane lub 404 wpisy marnują budżet indeksowania i sprawiają, że cały plik wygląda niewiarygodnie.
Za darmo, bez rejestracji. Działa na naszych serwerach, nic nie instalujesz. Chcesz wszystko naraz? Pełna kontrola strony wykonuje 30+ testów za jednym razem.