Testeur robots.txt et validateur de sitemap XML
Trouve le sitemap (via robots.txt ou aux adresses habituelles), l’analyse, compte les URL, en vérifie un échantillon et lit robots.txt ligne par ligne à la recherche des erreurs qui cachent discrètement un site aux moteurs de recherche.
il reste 20 exécutions gratuites sur 20 cette heure. Tout utilisé ? Une exécution supplémentaire coûte $1.49 et vaut pour chaque outil ici, sans compte.
Comment ça marche
- Nous récupérons /robots.txt et l’analysons : user-agents, règles Disallow et Allow, lignes Sitemap, erreurs de syntaxe.
- Le sitemap est pris dans robots.txt ; sinon, /sitemap.xml et /sitemap_index.xml sont essayés.
- Le XML est analysé : sitemap simple ou index de sitemaps, nombre d’URL, dates lastmod, limites de taille.
- Un échantillon des URL listées est demandé pour vérifier qu’elles répondent 200, ne sont pas redirigées et ne sont pas bloquées par robots.txt.
Questions fréquentes
Ai-je besoin d’un sitemap ?
Pour un site de plus de quelques pages, oui. C’est la liste par laquelle commencent les moteurs de recherche, et les dates lastmod leur indiquent quoi réexplorer. Sans lui, ils ne découvrent les pages qu’en suivant les liens.
Pourquoi robots.txt compte-t-il si le sitemap est bon ?
robots.txt l’emporte. Une page listée dans le sitemap mais interdite dans robots.txt n’est pas explorée — un reste très courant du lancement, quand « Disallow: / » devait seulement écarter le site de préproduction.
Quelles sont les limites d’un sitemap ?
50 000 URL et 50 Mo non compressés par fichier. Au-delà, découpez-le et listez les parties dans un index de sitemaps.
Noindex a-t-il sa place dans robots.txt ?
Non — Google a cessé de respecter noindex dans robots.txt en 2019. Utilisez une balise meta robots ou un en-tête X-Robots-Tag sur la page elle-même.
Mon sitemap contient des URL qui redirigent. Est-ce grave ?
Oui : chaque entrée doit être l’adresse finale et canonique qui répond 200. Les entrées redirigées ou en 404 gaspillent le budget d’exploration et rendent tout le fichier peu fiable.
Gratuit, sans inscription. Tourne sur nos serveurs, rien à installer. Tout d’un coup ? La vérification complète du site lance plus de 30 tests en une fois.