Robots.txt Generator
Überprüfe deine robots.txt, sitemap.xml und andere Crawling-Probleme
Wofür wird robot.txt verwendet?
Wenn ein Suchbot deine Website besucht, bittet er zunächst um Erlaubnis, sie zu crawlen, indem er versucht, die robots.txt-Datei abzurufen, die sich im Hauptverzeichnis befindet.
Da die robots.txt-Datei Informationen darüber enthält, wie Suchmaschinen deine Website crawlen sollen, kannst du sie nutzen, um Bots daran zu hindern, bestimmte Teile deiner Website zu crawlen, und um Suchmaschinen hilfreiche Tipps zu geben, wie sie deine Seiten, Dateien und Abschnitte am besten crawlen können.
Robots.txt ist öffentlich zugänglich. Du kannst diese Textdatei einsehen, indem du https://yourwebsite/robots.txt in die Adressleiste eingibst.
Die robots.txt-Syntax besteht aus Richtlinien, Parametern und Sonderzeichen. Wenn du willst, dass die Datei richtig funktioniert, solltest du bei der Erstellung einer robots.txt-Datei bestimmte inhaltliche Anforderungen einhalten:
1. Jede Richtlinie muss in einer neuen Zeile beginnen. Es kann nur einen Parameter pro Zeile geben.
Disallow: /folder1/
Disallow: /folder2/
2. In der robots.txt wird zwischen Groß- und Kleinschreibung unterschieden. Wenn zum Beispiel der Name eines Website-Ordners groß geschrieben wird, aber in der robots.txt-Datei klein geschrieben ist, kann das die Crawler verwirren.
3. Du kannst keine Anführungszeichen, Leerzeichen am Zeilenanfang oder Semikolons nach den Zeilen verwenden.
Disallow: /“folder2”/
Disallow: /folder2/
Sobald du die User-Agent-Direktive ausgefüllt hast, solltest du das Verhalten bestimmter (oder aller) Bots festlegen, indem du Crawl-Anweisungen hinzufügst. Hier sind einige wichtige Tipps:
1. Lass die Disallow-Direktive nicht ohne einen Wert. In diesem Fall wird der Bot den gesamten Inhalt der Website crawlen.
Disallow: - Erlauben, die gesamte Website zu crawlen
2. Du musst nicht jede Datei auflisten, die du für das Crawling sperren willst. Es reicht, wenn du den Zugriff auf einen Ordner verbietest, damit alle Dateien darin vom Crawlen und Indexieren ausgeschlossen werden.
Disallow: /folder/
3. Blockiere den Zugriff auf die Website nicht mit dieser Richtlinie:
Disallow: / - Zugriff auf die gesamte Website blockieren
Andernfalls kann die Seite komplett aus den Suchergebnissen entfernt werden.
Außerdem solltest du sicherstellen, dass wichtige Seiten deiner Website nicht für das Crawling gesperrt werden: die Startseite, Landing Pages, Produktkarten usw. Mit dieser Richtlinie solltest du nur Dateien und Seiten angeben, die nicht in den SERPs erscheinen sollen.
Falls nötig, kannst du deine Sitemap zur robots.txt-Datei hinzufügen. Das erleichtert es den Bots, den Inhalt der Website zu crawlen. Die Sitemap-Datei befindet sich unter http://your website/sitemap.xml. Du musst eine Direktive mit der URL deiner Sitemap hinzufügen, wie unten gezeigt:
User-agent: *
Disallow: /folder1/
Allow: /image1/
Sitemap: https://your-site.com/sitemap.xml
Du musst keine robots.txt-Datei an die Suchmaschinen übermitteln. Wenn Crawler eine Website besuchen, bevor sie sie crawlen, suchen sie nach einer robots.txt-Datei. Und wenn sie eine finden, lesen sie diese Datei zuerst, bevor sie deine Website scannen.
Wenn du gleichzeitig Änderungen an der robots.txt-Datei vorgenommen hast und Google darüber informieren möchtest, kannst du deine robots.txt-Datei an die Google Search Console senden. Verwende den Robots.txt-Tester, um die Textdatei einzufügen und klicke auf Senden.
Wenn du die robots.txt erstellst und Crawling-Regeln konfigurierst, solltest du den Namen des Bots angeben, dem du Crawling-Anweisungen gibst. Das kannst du mit Hilfe der User-agent-Direktive tun.
Wenn du allen Crawlern den Zugriff auf bestimmte Inhalte verwehren oder erlauben willst, kannst du das tun, indem du * (Sternchen) als User-Agent angibst:
User-agent: *
Oder du möchtest, dass alle deine Seiten in einer bestimmten Suchmaschine erscheinen, zum Beispiel in Google. In diesem Fall verwendest du den Googlebot User-agent wie folgt:
User-agent: Googlebot
Denke daran, dass jede Suchmaschine ihre eigenen Bots hat, die sich im Namen von der Suchmaschine unterscheiden können (z.B. Yahoos Slurp). Außerdem haben einige Suchmaschinen je nach Crawl-Ziel mehrere Crawler. Google zum Beispiel hat neben seinem Haupt-Crawler Googlebot noch weitere Bots:
- Der Googlebot News kriecht durch die Nachrichten;
- Google Mobile crawlt mobile Seiten;
- Googlebot Video-crawlt Videos;
- Googlebot Bilder - durchforstet Bilder;
- Google AdSense durchforstet Websites, um den Inhalt zu ermitteln und relevante Anzeigen zu schalten.
Die Allow-Direktive wird verwendet, um der Disallow-Direktive entgegenzuwirken. Wenn du die Allow- und Disallow-Richtlinien zusammen verwendest, kannst du Suchmaschinen mitteilen, dass sie auf einen bestimmten Ordner, eine Datei oder eine Seite in einem ansonsten verbotenen Verzeichnis zugreifen können.
Disallow: /album/ - Suchmaschinen ist der Zugriff auf das Verzeichnis /album/ nicht gestattet
Allow: /album/picture1.jpg - aber sie dürfen auf die Datei picture1 des Verzeichnis /album/
Mit dieser Direktive solltest du auch wichtige Website-Dateien angeben: Skripte, Styles und Bilder. Zum Beispiel:
Allow: */uploads
Allow: /wp-/*.js
Allow: /wp-/*.css
Allow: /wp-/*.png
Allow: /wp-/*.jpg
Allow: /wp-/*.jpeg
Allow: /wp-/*.gif
Allow: /wp-/*.svg
Allow: /wp-/*.webp
Allow: /wp-/*.pdf
Suchmaschinen und andere Crawling-Bots suchen nach einer robots.txt-Datei, wenn sie eine Website besuchen. Aber sie suchen nur an einem bestimmten Ort nach dieser Datei - dem Hauptverzeichnis. Nachdem du also die robots.txt-Datei erstellt hast, solltest du sie zum Hauptverzeichnis deiner Website hinzufügen. Du findest sie unter https://your-site.com/robots.txt.
Wie du eine robots.txt-Datei hinzufügst, hängt von dem Server und dem CMS ab, das du verwendest. Wenn du keinen Zugriff auf das Stammverzeichnis hast, wende dich an deinen Webhosting-Anbieter.
Erkunden Sie weitere Features
- Analysieren Sie die Ziel-URL für das gewünschte Keyword.
- Bereitstellung von Link-Analysen, technischen, inhaltlichen und 11 weiteren Arten von Analysen
- Holen Sie sich die analysierten Parameter als “bestanden”, “Warnungen” und “Fehler”.
- Verwenden Sie praktische Tipps zur Lösung der Probleme und zur Beseitigung der Warnungen.
- Bieten Sie Ihren Kunden ein kostenloses On-Page SEO-Audit an.
- Hinzufügen eines benutzerdefinierten Widgets zu Ihrer Website
- Erhalten Sie Informationen über Ihre Besucher und wandeln Sie sie in Kunden um.
- Analysieren und gruppieren Sie Suchanfragen, die mit den URLs derselben Website übereinstimmen.
- Gruppierung beliebiger lokaler Keywords
- Überprüfen Sie das Suchvolumen direkt auf Anhieb
- Einfache Gruppierung von Long-Tail-Suchanfragen
- Ermöglicht es Ihnen, Domain-Logo, Header und Footer, Farbschema und vieles mehr anzupassen.
- Setzen Sie automatisierte oder manuell generierte Brand-Reports.
- Individueller Zugriff auf verschiedene SEO-Einrichtungen
- Verwenden Sie Ihre eigene Domain mit einem separaten persönlichen Zugang.
- Entdecken Sie Wettbewerber nach Keywords, Domains, Subdomains und URLs.
- Analysieren Sie die Adwords-Werbegeschichte.
- Erhalten Sie eine Liste aller Ihrer Mitbewerber in den Suchergebnissen.
- Holen Sie sich Ideen für alternative Keywords für Ihre Werbekampagne und organische Werbung.
- Analysieren Sie alle wichtigen SEO-Parameter auf allen Seiten Ihrer Website.
- Vergleichen Sie die Crawls Ihrer vorherigen Audits.
- Befolgen Sie unsere Richtlinien, um die Probleme zu lösen.
- Sehen Sie sich die analysierten Parameter an, die in die Kategorien “bestanden”, “Warnungen” und “Fehler” unterteilt sind.
- Für die Recherche stehen 14 Länderdatenbanken zur Verfügung.
- Systematische Aktualisierung der Suchanfrage
- Finden Sie wertvolle Long-Tail-Keyword-Vorschläge für die Suchanfrage.
- Analysieren Sie organische und bezahlte Keywords, die mit dem Google Adwords-Verlauf geliefert werden.
- Überprüfen Sie die Keyword-Rankings von Google, Bing, Yahoo, YouTube.
- Alle Länderdatenbanken/alle Standorte/alle Sprachen sind für die Positionsüberwachung verfügbar.
- Verfolgen Sie Desktop- und mobile Ergebnisse, globale und regionale Rankings.
- Google SERP-Features und Google Adwords-Ergebnisse können für ein verfolgtes Keyword gefunden werden.