Alle URLs einer Website auslesen: Der SEO-Leitfaden

Im SEO-Bereich bringen dich datenbasierte Entscheidungen und clevere Strategien ans Ziel. Entscheidend sind vor allem zwei Faktoren: ein gutes Gespür für den Markt und fundiertes Wissen über deine Website.

In diesem Artikel konzentrieren wir uns auf das Letzte – Deine Website besser kennenzulernen. Denn genau auf den Seiten, die leicht übersehen werden, verbergen sich oft die größten Potenziale und Herausforderungen.

Ich zeige dir, warum es so wichtig ist, alle Seiten deiner Website im Blick zu haben, welche Tools dir dabei helfen und wie du sie gezielt einsetzen kannst.

Warum sollte ich alle Seiten meiner Website kennen?

Suchmaschinen aktualisieren regelmäßig ihre Algorithmen und verhängen manuelle Maßnahmen gegen einzelne Seiten oder ganze Websites. Wenn du nicht alle Seiten deiner Website kennst, gehst du ein Risiko ein.

Um größere Rückschläge zu vermeiden, solltest du jede Seite im Blick behalten. So entdeckst du auch versäumte oder übersehene Seiten, die dir sonst entgehen würden.

Es gibt verschiedene Situationen, in denen es entscheidend ist, alle URLs einer Website zu finden.

Wie man alle URLs einer Website finden kann?

Um sämtliche Seiten zu identifizieren, die zu einer Website gehören, stehen dir folgende Optionen zur Verfügung:

Im weiteren Fortgang sehen wir uns an, wie du diese Tools gezielt einsetzt, um eine Website vollständig zu scannen.

Crawlbare Seiten mit dem Website-Audit von SE Ranking finden

Beginnen wir damit, alle URLs zu erfassen, die sowohl für Nutzer als auch für Suchmaschinen über die internen Links deiner Website erreichbar sind. Diese Seiten solltest du als Erstes analysieren, da sie die meiste Aufmerksamkeit enthalten.

Öffne dazu SE Ranking, gehe zum Website-Audit-Tool und klicke auf „Neues Audit“, um den Scan zu starten.

Alternativ kannst du in den erweiterten Einstellungen beim Anlegen des Projekts automatische Website-Audits festlegen.

Hinweis: Die 14-tägige Testphase gewährt dir Zugriff auf alle Funktionen von SE Ranking, einschließlich des Website-Audits.

Als Nächstes konfigurieren wir die Einstellungen, damit der Crawler genau die richtigen Seiten scannt. Klicke oben rechts auf das Zahnrad-Symbol, um die Website-Audit-Einstellungen zu öffnen.

Wechsle im Einstellungsmenü zum Tab „Quelle der Seiten für das Website-Audit“ und aktiviere die Optionen „Seiten der Website“, „Subdomains“ und „XML Sitemap“, um sicherzustellen, dass nur klar definierte Seiten, sowie alle Subdomains mit ihren Seiten gescannt werden.

Wechsle anschließend zu Regeln für das Scannen von Seiten und aktiviere die Option „robots.txt-Direktiven berücksichtigen“, damit der Crawler die Anweisungen aus der robots.txt-Datei beachtet. Klicke danach auf „Änderungen anwenden“.

Wenn deine Website auf JavaScript basiert, gehe zu den Parser-Einstellungen und aktiviere JavaScript-Rendering, damit auch dynamisch geladene Inhalte korrekt erfasst werden.

Du kannst diese Einstellung auch direkt beim Start eines neuen Audits im Website-Audit-Assistenten aktivieren.

Wechsle jetzt zurück zum Tab „Übersicht“ und starte das Audit mit den neuen Einstellungen durch Klick auf „Audit neu starten“.

Sobald das Audit abgeschlossen ist, gehe zum Bereich „Gecrawlte Seiten“, um die vollständige Liste aller crawlbaren Seiten anzusehen.

Zusätzlich zu der Liste aller gefundenen URLs erhältst du wichtige SEO-Kennzahlen zu jeder Seite, darunter:

Die oben genannten Kennzahlen erscheinen standardmäßig als Spalten im Tab „Gecrawlte Seiten“. Du kannst den Bericht jedoch an deine individuellen Anforderungen anpassen, indem du weitere Parameter hinzufügst. Gehe dazu oben rechts über der Tabelle zum Bereich „Spalten“ und aktiviere oder deaktiviere beliebige Metriken.

Die gecrawlten Seiten lassen sich nach Fehlern, Warnungen und Hinweisen sortieren. So kannst du bei der Fehlerbehebung gezielt priorisieren. Sobald du deine Website mindestens zweimal auditiert hast, kannst du die Berichte außerdem vergleichen. Das hilft dir dabei, Änderungen bei den gecrawlten Seiten im Zeitverlauf zu beobachten.

Es ist auch möglich, Filter zu verwenden, um Seiten anhand verschiedener Parameter zu sortieren. Wenn du zum Beispiel nur Seiten mit dem Statuscode 200 anzeigen möchtest – also Seiten, die korrekt funktionieren – füge einfach den entsprechenden Filter hinzu.

Jetzt ist es Zeit, die Ergebnisse zu exportieren. Klicke auf „Exportieren“ und wähle, ob du die Daten im .xls- oder .csv-Format speichern möchtest.

Alle Seiten über die Google Search Console finden

Ein weiteres Tool, mit dem du alle URLs einer Website auslesen kannst, ist die Google Search Console. Beachte jedoch, dass dir GSC nur Seiten anzeigt, auf die Google auch tatsächlich zugreifen kann.

Öffne zunächst dein Konto und gehe zum Tab „Indexierung“. Wähle dort den Bericht „Seiten“ aus und klicke auf „Alle bekannten Seiten“ statt „Alle eingereichten Seiten“.

Das grüne Feld mit der Bezeichnung „Indexiert“ zeigt dir die Anzahl der von Google indexierten URLs. Klicke unterhalb der Grafik auf Daten zu indexierten Seiten ansehen. Dort kannst du alle URLs finden, die von Google indexiert wurden, sowie das Datum des letzten Crawls. Du kannst die Daten nach Google Sheets exportieren oder im .xls- oder .csv-Format herunterladen.

Wechsle nun zurück zu den „Nur nicht eingereichte Seiten“ – also Seiten, die nicht indexiert wurden und deshalb in Google nicht erscheinen. Mach dich darauf gefasst, hier einiges an manueller Arbeit leisten zu müssen.

Wenn du nach unten scrollst, siehst du eine Liste mit Gründen, warum bestimmte Seiten deiner Website nicht indexiert wurden.

Du kannst verschiedene Kategorien ansehen, etwa Weiterleitungsfehler, Seiten mit dem „noindex“-Tag, durch robots.txt blockierte Seiten und weitere.

Wenn du auf eine Fehlerkategorie klickst, wird dir eine Liste der betroffenen Seiten angezeigt. Durch die Prüfung jeder einzelnen Seite erhältst du einen vollständigen Überblick über alle Seiten, die Google auf deiner Website gefunden hat.

Ein weiterer hilfreicher Bericht in der Google Search Console zum Auffinden aller Seiten ist der Suchergebnisse-Bericht. Dieser zeigt alle Seiten, die mindestens eine Impression in den Suchergebnissen erhalten haben. Um darauf zuzugreifen, gehe im Tab „Leistung“ zu „Google Suche-Ergebnisse“, wähle den umfangreichsten Zeitraum aus und klicke auf „Seiten“. Exportiere anschließend den Bericht.

Du kannst auch das Add-on Search Analytics for Sheets verwenden, um Daten aus der Google Search Console bei Bedarf abzurufen und automatische Backups in Google Sheets zu erstellen.

Alle Seiten mit Seitenaufrufen über Google Analytics finden

Du kannst alle Seiten deiner Website auch über die Auswertung deiner Google-Analytics-Daten ermitteln. Dabei gibt es eine Voraussetzung: Deine Website muss von Anfang an mit deinem Google-Analytics-Konto verknüpft sein, damit im Hintergrund Daten gesammelt werden können.

Die Logik dahinter ist einfach: Wenn eine Seite deiner Website jemals besucht wurde, hat Google Analytics die entsprechenden Daten. Und da diese Besuche von echten Nutzern stammen, solltest du sicherstellen, dass diese Seiten einen klaren SEO- oder Marketingzweck erfüllen.

Gehe zu Berichte → Engagement → Seiten und Bildschirme und klicke auf Seitenpfad und Bildschirmklasse.

Du kannst außerdem auf Aufrufe klicken, um die Sortierungspfeile zu aktivieren, und die Seiten nach der Anzahl der Seitenaufrufe sortieren – von wenig zu viel. So erscheinen die häufigsten besuchten Seiten ganz oben in der Liste.

Anschließend kannst du die Daten teilen oder als .csv-Datei exportieren.

Alle Seiten einer Website mit den Bing Webmaster Tools finden

Google gilt zwar als führende Suchmaschine, doch Bing ist nach wie vor die zweitbeliebteste. Im Januar 2025 lag der weltweite Marktanteil von Bing bei 4,04 %, was zeigt, dass es sich lohnt, die eigene Website auch für Bing zu optimieren.

Mit den Bing Webmaster Tools kannst du alle URLs einer Website finden, die von Bing indexiert wurden. Der Prozess ist unkompliziert, aber bevor du beginnst, stelle sicher, dass deine Website hinzugefügt und verifiziert wurde.

Sobald alles eingerichtet ist, gehe in der linken Navigationsleiste zu Site Explorer und wähle den Filter „Alle URLs“. Der Bericht zeigt dir alle Seiten, die Bing auf deiner Website erkannt hat. Klicke anschließend auf Herunterladen, um die Daten zu exportieren.

Alle Seiten einer Website über die Kommandozeile finden

Eine technischere Methode, um alle Seiten einer Website zu erfassen, ist die Verwendung der Kommandozeile. Dabei interagierst du über Textbefehle direkt mit deinem Computer.

Um über die Kommandozeile alle URLs einer Website zu erhalten, musst du zunächst Wget installieren. Dieses Tool erlaubt es dir, Dateien aus dem Web herunterzuladen. Die Installation hängt vom verwendeten Betriebssystem ab. Unter macOS musst du zum Beispiel zunächst den Paketmanager Homebrew installieren, bevor du Kommandozeilentools wie Wget nutzen kannst.

Um Wget zu installieren, öffne ein Terminalfenster und gib folgenden Befehl ein:

brew install wget

Anschließend kannst du deine Website herunterladen. Gib dazu ein:

wget -r www.examplesite.com

Wget lädt deine Website rekursiv herunter. Es beginnt mit der Startseite und lädt alle verlinkten Seiten, Bilder und andere Dateien. Danach folgt es den Links auf diesen Seiten und lädt auch deren Inhalte herunter. Dieser Vorgang wird fortgesetzt, bis die gesamte Website gespeichert ist.

Sobald der Download abgeschlossen ist, kannst du dir mit folgendem Befehl eine Liste aller URLs ausgeben lassen:

find www.examplesite.com

Alle Seiten einer Website über die Sitemap.xml finden

Die XML-Sitemap ist eine hilfreiche Möglichkeit, alle Seiten einer Website zu finden, da sie eine Liste aller Seiten enthält, die der Websitebetreiber für die Indexierung vorgesehen hat. Sie funktioniert wie ein Fahrplan, der Suchmaschinen-Bots durch die Website-Struktur führt und ihnen hilft, die Website besser zu verstehen.

So gehst du vor, um die Liste zu erhalten:

Sitemap finden:

Die Sitemap befindet sich meist im Stammverzeichnis der Website oder ist über die URL-Endung /sitemap.xml erreichbar, z. B. unter http://seitename.de/sitemap.xml. Wenn die Website mehrere Sitemaps verwendet, findest du diese im Haupt-Sitemap-Dokument, das häufig sitemap-index.xml heißt. Dort kannst du die relevanten Sitemaps auswählen, um die vollständige Seitenliste zu erhalten.

URLs in Google Sheets extrahieren:

Diese Methode erfordert zwar etwas technisches Know-how, spart dir aber viel Zeit, da du alle URLs in wenigen Sekunden in ein Google Sheet importieren kannst. Du musst jedoch etwas vorbereitende Arbeit leisten. Beginne mit dem Erstellen eines neuen Sheets und gehe dann zu Erweiterungen. Wähle anschließend Apps Script.

Jetzt musst du den folgenden benutzerdefinierten JavaScript-Code in den Script-Editor einfügen, um eine neue Funktion zu erstellen:

function sitemap(sitemapUrl,namespace) {

  try {
    var xml = UrlFetchApp.fetch(sitemapUrl).getContentText();
    var document = XmlService.parse(xml);
    var root = document.getRootElement()
    var sitemapNameSpace = XmlService.getNamespace(namespace);
    var urls = root.getChildren('url', sitemapNameSpace)
    var locs = []
    for (var i=0;i <urls.length;i++) {
      locs.push(urls[i].getChild('loc', sitemapNameSpace).getText()) 
    }
    return locs  
  } catch (e) {
    return e 
  }
}

Von hier aus speichere und führe den Test aus. Der Editor wird nach Zugriffsberechtigung fragen. Wenn das Skript erfolgreich implementiert wurde, erscheinen keine Fehlermeldungen. Stattdessen siehst du, dass die Ausführung gestartet und abgeschlossen wurde.

Jetzt kannst du zu deinem Google Sheet zurückkehren und folgende Formel eingeben:

=sitemap("Sitemap Url","Namespace Url")

Sobald du deine Sitemap gefunden hast, solltest du die Sitemap-URL griffbereit haben, von der du direkt die Namespace-URL kopieren kannst. Im Screenshot unten siehst du, wie das mit der Sitemap von SE Ranking funktioniert:

• Die Sitemap-URL befindet sich in der Adressleiste des Browsers.
• Die Namespace-URL steht in der ersten Zeile des Sitemap-Inhalts.

Kopiere diese Adressen und füge sie als Links in die Formel ein. Das sollte am Ende so aussehen:

=sitemap("https://seranking.com/sitemap.xml","http://www.google.com/schemas/sitemap/0.9")

Füge diese Formel in dein Google Sheet ein und drücke Enter, um alle URLs aus deiner Sitemap zu extrahieren.

Alle Seiten einer Website über WordPress-Plugins finden

Wenn deine Website auf WordPress basiert, gibt es Plugins, die dir helfen können, alle Seiten zu finden. Die zwei am häufigsten verwendeten Optionen sind:

• List all URLs
• Export All URLs

Um diese Plugins zu verwenden, lade sie herunter und installiere sie im Verzeichnis /wp-content/plugins/.

Sobald sie installiert sind, aktiviere sie auf der Plugins-Seite in WordPress.
Nach der Aktivierung kannst du alle URLs deiner Website auflisten oder exportieren.

Wenn du ein anderes CMS verwendest, prüfe, ob es integrierte Plugins für diesen Zweck gibt oder ob ein separates Plugin im Erweiterungsverzeichnis verfügbar ist.

Joomla beispielsweise bietet viele Plugins zur Generierung von Sitemaps, mit denen du eine Seitenliste erhalten kannst. Auch Drupal verfügt über ein Sitemap-Modul, das dir beim Sammeln der Seiten deiner Website helfen kann.

Alle Seiten einer Website bei Google anzeigen lassen

Wir haben verschiedene Tools vorgestellt, mit denen du alle URLs einer Website finden kannst, aber die einfachste Methode haben wir uns bis zum Schluss aufgehoben – und das aus gutem Grund. Auch wenn diese Methode am leichtesten umzusetzen ist, solltest du sie mit Vorsicht verwenden. 

Google deine Website, aber richtig. Verwende dazu Google-Suchoperatoren, also spezielle Befehle, mit denen du Suchergebnisse nach bestimmten Kriterien einschränken kannst.

Gehe einfach zu Google und gib „site:website name„ ein, zum Beispiel „site:seranking.com“. Du musst kein http:// oder www angeben, aber achte darauf, dass kein Leerzeichen zwischen Operator und Suchanfrage steht, sonst erhältst du fehlerhafte Ergebnisse.

Beachte jedoch, dass dieser Befehl nicht dafür gedacht ist, alle indexierten Seiten einer Website anzuzeigen. Das hat auch John Mueller von Google bestätigt:

John Mueller

Search Advocate bei Google

Kurz gesagt: Eine site:-Abfrage ist nicht vollständig und nicht zur Fehlerdiagnose gedacht … Diese Abfrage beschränkt die Ergebnisse auf eine bestimmte Website. Sie ist nicht als umfassende Sammlung aller Seiten dieser Website gedacht.

Ein letzter Tipp: Verwende die Google Search Console, aber etwas anders als in den vorherigen Abschnitten beschrieben. Konzentriere dich auf die Impressionen einer Seite (also wie oft sie in der Suche angezeigt wurde), jedoch über einen kurzen Zeitraum, zum Beispiel sieben Tage.

Fazit

Alle Seiten deiner Website zu erfassen, ist ein entscheidender Schritt zur Verbesserung deines SEO und bildet die Grundlage für weitere Optimierungsmaßnahmen. Mit diesen Daten kannst du Seiten identifizieren, die überarbeitet werden müssen, angestaubte Inhalte aktualisieren, alle Website-Links erfassen und defekte beheben sowie die interne Verlinkungsstruktur optimieren.

Wenn du die in diesem Artikel beschriebenen Tools und Methoden nutzt, findest du zügiger alle Seiten deiner Website und erhältst wertvolle Einblicke in ihre Leistung. Nimm dir also kurz Zeit, um eine vollständige URL-Liste zu erstellen – so bleibst du bei SEO und Marketing immer auf dem neuesten Stand.

Und glaub uns: Mit den Tools von SE Ranking ist das schnell erledigt.

Geschrieben von

Olha Honcharova

Olha ist Content Marketer und Übersetzerin bei SE Ranking. Sie liebt alles rund um SEO und digitales Marketing – vor allem, wenn sie komplexe Themen in spannende, leicht verständliche Geschichten verwandeln kann. Abseits des Bildschirms ist sie meist mit einem Buch, auf Reisen oder beim Tennisspielen zu finden.