Crawling-Check: Sind deine Seiten für Google und KI erreichbar?

Wenn wichtige Seiten Ihrer Website nicht in der Google-Suche erscheinen oder KI-Dienste sie nicht finden, prüfen Sie zuerst, ob Suchdienste die Seiten abrufen können. Beim Crawling ruft ein Suchdienst eine Seite ab. Danach entscheidet er, ob er sie in seinen Index aufnimmt und in Suchergebnissen oder Antworten anzeigt.

Google muss wichtige Seiten abrufen können. Der Server muss dabei einen erfolgreichen Statuscode wie 200 zurückgeben, und die Seiten müssen Inhalte enthalten, die Google indexieren darf. Das garantiert weder die Aufnahme in den Index noch die spätere Anzeige. KI-Dienste verwenden unterschiedliche Crawler und Regeln.

Prüfliste für wichtige Seiten

Prüfen Sie eine konkrete wichtige URL und suchen Sie anschließend nach denselben Fehlern auf ähnlichen Seiten:

• Crawling: Ist die Seite öffentlich erreichbar, liefert sie 200, und blockieren weder robots.txt noch Firewall, CDN oder Login den Zugriff?
• Indexierung: Zeigt die Google Search Console einen Ausschluss, ein noindex oder eine andere kanonische URL?
• Interne Links: Führt mindestens ein normaler HTML-Link mit href auf die Seite?
• Meta-Informationen: Sind Seitentitel, Meta-Description und kanonische URL sinnvoll und frei von unbeabsichtigten Robots-Vorgaben?
• Lesbarkeit: Ist der Hauptinhalt als verständlicher Text verfügbar und nach dem Laden vollständig sichtbar?
• Seitenstruktur: Können Besucher die Seite über Navigation, Kategorien oder thematisch passende Links finden?

Crawling und Zugriff prüfen

Rufen Sie die betroffene URL zunächst direkt auf und kontrollieren Sie den HTTP-Status. 200 bedeutet, dass der Server die Seite erfolgreich ausliefert. Eine Weiterleitung ist für sich genommen kein Fehler, aber mehrere Weiterleitungen hintereinander erschweren den Abruf. Eine Fehlerseite, die trotzdem 200 zurückgibt, stuft Google möglicherweise als fehlerhaft ein.

Prüfen Sie anschließend die robots.txt sowie mögliche Sperren auf dem Server, im CDN oder in der Firewall. Ein Bot kann ausgeschlossen sein, obwohl die Seite im Browser normal lädt. Bei OpenAI-Diensten sollten Sie außerdem den OAI-SearchBot für ChatGPT-Suchergebnisse vom GPTBot unterscheiden, der Inhalte für mögliche Trainingszwecke crawlt. Diese Crawler erfüllen unterschiedliche Aufgaben und werden unabhängig gesteuert.

Bei Seiten mit JavaScript vergleichen Sie, was im Browser zu sehen ist, mit der Darstellung in der URL-Prüfung der Search Console. Google kann JavaScript ausführen, verarbeitet Seiten aber in mehreren Schritten. Andere Crawler führen JavaScript möglicherweise nicht aus. Stellen Sie wichtige Inhalte, Navigation und Links deshalb möglichst im HTML oder im gerenderten Dokument bereit.

Indexierung richtig einordnen

Ein erfolgreicher Abruf bedeutet noch nicht, dass Google eine URL indexiert. Öffnen Sie die URL-Prüfung in der Search Console, um den aktuellen Indexierungsstatus zu sehen und einen Live-Test auszuführen. Für wiederkehrende Probleme auf vielen URLs helfen der Indexierungsbericht und die Crawl-Statistiken.

Achten Sie auf unbeabsichtigte noindex-Angaben und fehlerhafte kanonische URLs. Eine kanonische URL ist die Adresse, die Google als bevorzugte Version eines Inhalts behandeln soll. Wenn diese Angaben nicht zu den Weiterleitungen und zur Sitemap passen, erhält Google widersprüchliche Hinweise.

Verwechseln Sie robots.txt nicht mit noindex: robots.txt steuert, ob ein Crawler eine URL abrufen darf. noindex weist Google an, eine Seite nicht in den Index aufzunehmen. Google muss die Seite abrufen können, um diese Anweisung zu lesen. Vertrauliche Inhalte schützen Sie deshalb mit einem Zugangsschutz, nicht mit einer Crawling-Sperre.

Interne Links und Sitemap kontrollieren

Wichtige Seiten sollten von erreichbaren Seiten aus verlinkt sein. Google kann reguläre HTML-Links mit einem href-Attribut zuverlässig verfolgen. Navigationselemente, die nur durch JavaScript auf eine Aktion reagieren, und Schaltflächen ohne echtes Linkziel eignen sich dafür weniger. Verwaiste Seiten, auf die kein interner Link führt, sind für Crawler schwerer zu entdecken.

Kontrollieren Sie auch, ob Ihre Sitemap erreichbare, kanonische URLs enthält, die indexiert werden sollen. Eine Sitemap hilft bei der Entdeckung von URLs, erzwingt aber weder einen Crawl noch eine Indexierung. Kleine Websites benötigen sie nicht zwingend, wenn alle wichtigen Seiten über interne Links erreichbar sind.

Titel und Snippets verbessern

Jede wichtige Seite braucht einen eigenen, aussagekräftigen Seitentitel und eine Meta-Description, die den tatsächlichen Inhalt knapp zusammenfasst. Prüfen Sie zugleich, ob noindex, nosnippet, nofollow oder ein X-Robots-Tag unbeabsichtigt gesetzt wurde. Solche Vorgaben beeinflussen, ob Google eine Seite indexiert oder Inhalte daraus als Vorschau anzeigt.

Google kann Titel und Snippets in den Suchergebnissen selbst bestimmen. Der angezeigte Titel muss daher nicht exakt dem title-Eintrag entsprechen. Auch eine Meta-Description garantiert nicht, dass Google genau diesen Text verwendet. Sie sollte trotzdem die Seite treffend beschreiben und keine falschen Erwartungen wecken.

Lesbaren Inhalt bereitstellen

Der zentrale Inhalt sollte als Text vorliegen. Wenn wichtige Informationen ausschließlich in einem Bild, einer Animation oder einem Element stecken, das erst nach einer fehleranfälligen Skriptausführung erscheint, fehlen sie möglicherweise im abgerufenen Dokument. Öffnen Sie die Seite in der URL-Prüfung und vergleichen Sie den gerenderten Inhalt mit dem, was Besucher sehen.

Gliedern Sie längere Seiten mit aussagekräftigen Zwischenüberschriften und verständlichen Absätzen, damit Menschen den Inhalt erfassen und den Seitenaufbau leichter erkennen. Eine bestimmte Textlänge oder Schreibweise sorgt jedoch nicht dafür, dass Google oder ein KI-Dienst die Seite zitiert.

Seitenstruktur verständlich halten

Ordnen Sie Inhalte so, dass Besucher wichtige Seiten über die Navigation und Kategorien erreichen. Breadcrumbs und passende Querverweise bieten weitere Wege. Verwenden Sie stabile und verständliche URLs. Bei JavaScript-Websites sollte ein Seitenwechsel eine reguläre URL erhalten. Werden Inhalte ausschließlich über Fragmente wie #/seite geladen, kann die Auffindbarkeit erschwert sein.

Stimmen Sie Seitentitel, Hauptüberschrift und Inhalt auf dasselbe Thema ab. Große Umbauten sind nicht in jedem Fall nötig. Korrigieren Sie zuerst konkrete Hindernisse wie fehlende Links, fehlerhafte Weiterleitungen oder unklare URL-Ziele.

Fehler systematisch eingrenzen

Beginnen Sie mit einer betroffenen URL. Prüfen Sie ihren Statuscode und Zugriffsschutz sowie die robots.txt. Sehen Sie danach in der Search Console nach, ob Google die URL kennt, wie es die Seite rendert und weshalb es sie gegebenenfalls ausgeschlossen hat. Wenn mehrere Seiten dasselbe Problem zeigen, vergleichen Sie ihre gemeinsamen Vorlagen, Weiterleitungen und Robots-Vorgaben.

Beheben Sie die Ursache und prüfen Sie die URL erneut. Sie können Google um einen erneuten Crawl bitten. Dadurch startet die Verarbeitung, führt aber nicht zwingend zu einer sofortigen Indexierung. Nach einer Änderung an robots.txt kann es bei OpenAI ungefähr 24 Stunden dauern, bis die Änderung in den Systemen für ChatGPT-Suchergebnisse berücksichtigt wird. Diese Angabe gilt nicht für Google oder andere Anbieter.

Für Google AI Overviews und AI Mode gelten grundsätzlich dieselben SEO-Grundlagen wie für die Suche: Die Seite muss indexiert und für ein Suchergebnis mit Snippet geeignet sein. Google nennt dafür keine besondere technische Auszeichnung. Andere KI-Dienste haben eigene Crawler und Einstellungen. Prüfen Sie daher die Regeln des jeweiligen Anbieters, statt von einer einheitlichen KI-Freigabe auszugehen.