letzte Runde heute 22:56 UTC 2165 live 12 auf dem Friedhof nächste Runde in —
TrueTier
Auffindbarkeit · kostenloses Tool · ohne Anmeldung

robots.txt-Tester & XML-Sitemap-Validator

Findet die Sitemap (aus robots.txt oder unter den üblichen Adressen), parst sie, zählt die URLs, prüft eine Stichprobe und liest robots.txt Zeile für Zeile auf die Fehler, die eine Website still vor der Suche verstecken.

20 von 20 kostenlosen Durchläufen übrig in dieser Stunde. Aufgebraucht? Ein zusätzlicher Durchlauf kostet $1.49 und gilt für jedes Tool hier, ohne Konto.

So funktioniert’s

  1. Wir laden /robots.txt und parsen sie: User-Agents, Disallow- und Allow-Regeln, Sitemap-Zeilen, Syntaxfehler.
  2. Die Sitemap kommt aus robots.txt, sonst werden /sitemap.xml und /sitemap_index.xml probiert.
  3. Das XML wird ausgelesen: einfache Sitemap oder Sitemap-Index, Anzahl der URLs, lastmod-Daten, Größenlimits.
  4. Eine Stichprobe der aufgeführten URLs wird abgerufen, um zu prüfen, dass sie mit 200 antworten, nicht weitergeleitet und nicht durch robots.txt blockiert werden.

Häufige Fragen

Brauche ich eine Sitemap?

Für eine Website mit mehr als einer Handvoll Seiten, ja. Sie ist die Liste, mit der Suchmaschinen beginnen, und die lastmod-Daten sagen ihnen, was neu zu crawlen ist. Ohne sie finden sie Seiten nur über Links.

Warum ist robots.txt wichtig, wenn die Sitemap stimmt?

robots.txt gewinnt. Eine Seite, die in der Sitemap steht, aber in robots.txt gesperrt ist, wird nicht gecrawlt — ein sehr häufiger Rest vom Launch, als „Disallow: /“ nur die Staging-Seite fernhalten sollte.

Welche Grenzen hat eine Sitemap?

50.000 URLs und 50 MB unkomprimiert pro Datei. Darüber aufteilen und die Teile in einem Sitemap-Index auflisten.

Gehört noindex in die robots.txt?

Nein — Google beachtet noindex in robots.txt seit 2019 nicht mehr. Nutze ein meta-robots-Tag oder einen X-Robots-Tag-Header auf der Seite selbst.

Meine Sitemap hat URLs, die weiterleiten. Ist das schlecht?

Ja: Jeder Eintrag sollte die endgültige, kanonische Adresse sein, die mit 200 antwortet. Weitergeleitete oder 404-Einträge verschwenden Crawl-Budget und lassen die ganze Datei unzuverlässig wirken.

Gratis, ohne Anmeldung. Läuft auf unseren Servern, nichts wird installiert. Alles auf einmal? Die komplette Website-Prüfung macht 30+ Tests in einem Rutsch.

Passende Tools