última rodada hoje 01:32 UTC 2246 no ar 12 no cemitério próxima rodada em —
TrueTier
Encontrabilidade · ferramenta grátis · sem cadastro

Testador de robots.txt e validador de sitemap XML

Encontra o sitemap (no robots.txt ou nos endereços usuais), analisa, conta as URLs, verifica uma amostra e lê o robots.txt linha por linha em busca dos erros que escondem um site da busca sem ninguém perceber.

restam 20 de 20 execuções gratuitas nesta hora. Acabaram? Uma execução extra custa $1.49 e vale para todas as ferramentas daqui, sem conta.

Como funciona

  1. Buscamos o /robots.txt e analisamos: user-agents, regras Disallow e Allow, linhas Sitemap, erros de sintaxe.
  2. O sitemap é obtido do robots.txt; senão, são testados /sitemap.xml e /sitemap_index.xml.
  3. O XML é lido: sitemap simples ou índice de sitemaps, número de URLs, datas lastmod, limites de tamanho.
  4. Uma amostra das URLs listadas é solicitada para ver se respondem 200, não são redirecionadas e não estão bloqueadas pelo robots.txt.

Perguntas frequentes

Preciso de um sitemap?

Para um site com mais do que algumas páginas, sim. É a lista por onde os buscadores começam, e as datas lastmod dizem o que rastrear de novo. Sem ele, só descobrem páginas seguindo links.

Por que o robots.txt importa se o sitemap está ok?

O robots.txt vence. Uma página listada no sitemap mas bloqueada no robots.txt não é rastreada — uma sobra muito comum do lançamento, quando “Disallow: /” só deveria manter fora o site de testes.

Quais são os limites de um sitemap?

50.000 URLs e 50 MB sem compressão por arquivo. Acima disso, divida e liste as partes em um índice de sitemaps.

Noindex vai no robots.txt?

Não — o Google deixou de respeitar noindex no robots.txt em 2019. Use uma meta tag robots ou um cabeçalho X-Robots-Tag na própria página.

Meu sitemap tem URLs que redirecionam. Isso é ruim?

Sim: cada entrada deve ser o endereço final e canônico que responde 200. Entradas redirecionadas ou 404 desperdiçam orçamento de rastreamento e deixam o arquivo todo pouco confiável.

Grátis, sem cadastro. Roda nos nossos servidores, nada é instalado. Quer tudo de uma vez? A verificação completa do site roda mais de 30 testes de uma vez.

Ferramentas relacionadas