Die XML-Sitemap bleibt das zuverlässigste Mittel, um einen umfassenden Überblick über die veröffentlichten URLs auf einer Website zu erhalten. Auf Net Work ist diese Datei unter einer standardisierten Adresse zugänglich, ihre Nutzung geht jedoch über die einfache Betrachtung in einem Browser hinaus.
XML-Sitemap und robots.txt: zwei komplementäre Dateien zur Kartierung von Net Work
Eine XML-Sitemap listet die URLs auf, die ein Herausgeber von Suchmaschinen crawlen lassen möchte. Sie garantiert weder die Indizierung noch das Ranking, bietet jedoch ein strukturiertes Inventar.
Die Datei robots.txt, geregelt durch die RFC 9309 (veröffentlicht im September 2022 durch die IETF), formalisiert das Robots Exclusion Protocol. Die darin eingefügte Sitemap:-Direktive ist eine ergänzende Konvention, die von Google und Bing weitgehend unterstützt wird, jedoch nicht Teil des Kerninhalts dieser RFC ist. Mit anderen Worten, die Deklaration der Sitemap in robots.txt hilft kooperativen Crawlern, sie zu finden, stellt jedoch keinen Zugangskontrollmechanismus dar.
Um direkt auf die Liste der Seiten von Net Work zuzugreifen, genügt es, den Pfad /sitemap/ zur Hauptdomain hinzuzufügen. Je nach Konfiguration des CMS leitet dieser Einstieg entweder zu einer einzelnen XML-Datei oder zu einem Index von Sitemaps, die nach Inhaltstyp (Artikel, Seiten, Kategorien) unterteilt sind.
Was die Sitemap nicht zeigt
Die durch eine Disallow-Direktive in robots.txt blockierten URLs oder mit noindex gekennzeichneten Seiten erscheinen in der Regel nicht in der Sitemap. Verwaiste Seiten, also solche, die keinen internen Link erhalten, können ebenfalls fehlen, wenn der Sitemap-Generator ausschließlich auf dem internen Linkaufbau basiert.
Wir empfehlen, die Sitemap mit einem vollständigen Crawl der Website zu kombinieren, um diese Abweichungen zu erkennen. Ein SEO-Spider-Tool durchläuft die Struktur der tatsächlichen Links und zeigt die URLs an, die die Sitemap ignoriert.

lastmod-Tag und Google-Ping: Was sich seit 2023 geändert hat
Google hat das Sitemap-Ping über HTTP abgewertet. Der frühere Benachrichtigungsendpunkt hat keine Wirkung mehr. Die empfohlene Methode besteht nun darin, die Sitemap in der Google Search Console zu deklarieren und dann ein genaues lastmod-Feld in jedem XML-Eintrag anzugeben.
Die häufige Falle: Das Regenerieren der Sitemap aktualisiert das lastmod-Datum aller URLs, auch derjenigen, deren Inhalt sich nicht geändert hat. Google erwartet ein Datum, das einer signifikanten Änderung des Inhalts entspricht, nicht der bloßen Rekonstruktion der Datei. Ein systematisch zurückgesetztes lastmod wird schließlich vom Crawler ignoriert.
IndexNow als Ergänzung, nicht als Ersatz
Das IndexNow-Protokoll ermöglicht es, Bing und teilnehmenden Suchmaschinen schnell zu signalisieren, dass eine URL geändert wurde. Wir beobachten eine wiederkehrende Verwirrung: IndexNow garantiert weder das Crawlen noch die Indizierung der benachrichtigten Seite. Es beschleunigt die potenzielle Berücksichtigung, ersetzt jedoch nicht die Deklaration der Sitemap in den Webmaster-Tools.
Für eine Website wie Net Work deckt die Kombination aus der Einreichung der Sitemap in der Search Console, der Sitemap:-Direktive in robots.txt und der Integration von IndexNow die drei Hauptentdeckungswege ab.
Die Liste der Seiten von Net Work für ein internes Link-Audit nutzen
Die Betrachtung der Sitemap in einem Browser zeigt eine rohe, schwer lesbare XML-Datei. Mehrere Ansätze machen die Analyse nutzbar.
- Die Sitemap in ein Tabellenkalkulationsprogramm (Google Sheets, Excel) importieren, um die URLs nach Verzeichnis, Datum der letzten Änderung oder angegebener Aktualisierungsfrequenz zu filtern.
- Die URL der Sitemap in einen speziellen SEO-Crawler laden, der die aufgelisteten Seiten mit den tatsächlich durch den Crawl entdeckten vergleicht und verwaiste Seiten oder Weiterleitungen meldet.
- Den Suchoperator
site:net-work.frin Google verwenden, um die Anzahl der indizierten Ergebnisse mit der Anzahl der in der Sitemap vorhandenen URLs zu vergleichen und mögliche Indizierungsabweichungen zu erkennen.
Die Diskrepanz zwischen aufgelisteten Seiten und indizierten Seiten ist ein direkter Indikator für die technische Gesundheit der Website. Eine Sitemap, die URLs mit Fehler 404 oder Weiterleitungen 301 enthält, sendet ein negatives Signal an die Crawling-Roboter.

Bereinigung der Sitemap: Einträge, die entfernt werden sollten
Wir empfehlen, aus der Sitemap die URLs zu entfernen, die einen HTTP-Code ungleich 200 zurückgeben. Paginierte Seiten ohne eigenen Inhalt, leere Tag-Archive und URLs mit Tracking-Parametern haben in dieser Datei nichts zu suchen.
Eine saubere Sitemap, die auf kanonische Seiten beschränkt und aktuell ist, verbessert das Crawl-Budget, das von den Suchmaschinen zugewiesen wird. Auf einer mittelgroßen Website wie Net Work bleibt dieser Einfluss bescheiden, aber eine geräuschlose Sitemap erleichtert die Diagnose bei einem technischen Audit.
Robots.txt und KI-Crawler: eine Unterscheidung, die nicht vernachlässigt werden sollte
Die RFC 9309 stellt klar, dass robots.txt eine Anfrage an kooperative Roboter darstellt. Ein nicht-kooperativer Crawler, insbesondere einige Bots zum Trainieren von Sprachmodellen, kann diese Richtlinien ohne technische Konsequenzen ignorieren. Die Datei schützt daher keine Liste vertraulicher Seiten.
Für Herausgeber, die den Zugriff von GPTBot oder anderen KI-Agenten kontrollieren möchten, bleibt der einzige zuverlässige Ansatz, die Disallow-Direktive in robots.txt mit serverseitigen Authentifizierungsmechanismen zu kombinieren. Die Sitemap legt die vollständige Struktur der Website offen: Jede URL, die dort aufgeführt ist, ist per Definition dazu bestimmt, entdeckt zu werden.
Vor der Veröffentlichung einer Sitemap empfehlen wir, sicherzustellen, dass sie keine URLs von Verwaltungsseiten, Staging-Seiten oder internen Ressourcen enthält. Diese einfache Reflexion verhindert, dass ein detaillierter Plan der Website unerwünschten Agenten angeboten wird.
Der Zugriff auf die Liste der Seiten einer Website über ihre XML-Sitemap beschränkt sich nicht auf das Öffnen einer URL. Die Datei wird zu einem Audit-Tool, wenn man sie mit einem Crawl kombiniert, die Konsistenz des lastmod überwacht und veraltete Einträge bereinigt. Bei Net Work bleibt dieser Ansatz ohne fortgeschrittene technische Kenntnisse zugänglich, vorausgesetzt, man weiß, wonach man in der Datei suchen muss.



