Testador de robots.txt e validador de sitemap XML
Encontra o sitemap (no robots.txt ou nos endereços usuais), analisa, conta as URLs, verifica uma amostra e lê o robots.txt linha por linha em busca dos erros que escondem um site da busca sem ninguém perceber.
restam 20 de 20 execuções gratuitas nesta hora. Acabaram? Uma execução extra custa $1.49 e vale para todas as ferramentas daqui, sem conta.
Como funciona
- Buscamos o /robots.txt e analisamos: user-agents, regras Disallow e Allow, linhas Sitemap, erros de sintaxe.
- O sitemap é obtido do robots.txt; senão, são testados /sitemap.xml e /sitemap_index.xml.
- O XML é lido: sitemap simples ou índice de sitemaps, número de URLs, datas lastmod, limites de tamanho.
- Uma amostra das URLs listadas é solicitada para ver se respondem 200, não são redirecionadas e não estão bloqueadas pelo robots.txt.
Perguntas frequentes
Preciso de um sitemap?
Para um site com mais do que algumas páginas, sim. É a lista por onde os buscadores começam, e as datas lastmod dizem o que rastrear de novo. Sem ele, só descobrem páginas seguindo links.
Por que o robots.txt importa se o sitemap está ok?
O robots.txt vence. Uma página listada no sitemap mas bloqueada no robots.txt não é rastreada — uma sobra muito comum do lançamento, quando “Disallow: /” só deveria manter fora o site de testes.
Quais são os limites de um sitemap?
50.000 URLs e 50 MB sem compressão por arquivo. Acima disso, divida e liste as partes em um índice de sitemaps.
Noindex vai no robots.txt?
Não — o Google deixou de respeitar noindex no robots.txt em 2019. Use uma meta tag robots ou um cabeçalho X-Robots-Tag na própria página.
Meu sitemap tem URLs que redirecionam. Isso é ruim?
Sim: cada entrada deve ser o endereço final e canônico que responde 200. Entradas redirecionadas ou 404 desperdiçam orçamento de rastreamento e deixam o arquivo todo pouco confiável.
Grátis, sem cadastro. Roda nos nossos servidores, nada é instalado. Quer tudo de uma vez? A verificação completa do site roda mais de 30 testes de uma vez.