Robots.txt erstellen

Die robots.txt-Syntax setzt sich aus Direktiven, Parametern und Sonderzeichen zusammen. Damit die Datei korrekt funktioniert, müssen beim Erstellen bestimmte Anforderungen eingehalten werden:

1. Jede Direktive beginnt in einer neuen Zeile. Pro Zeile ist nur ein Parameter erlaubt.
   ❌User-agent: * Disallow: /folder1/ Disallow: /folder2/
   ✅ User-agent: *
   Disallow: /folder1/
   Disallow: /folder2/
2. robots.txt ist case-sensitive. Wenn ein Website-Ordner großgeschrieben ist, in der robots.txt aber kleingeschrieben wird, kann das Crawler verwirren.
   Disallow: /folder/
   Disallow: /Folder/
3. Anführungszeichen, Leerzeichen am Zeilenanfang und Semikolons am Zeilenende sind nicht zulässig.
   ❌ Disallow: /folder1/;
   ❌ Disallow: /”folder2″/
   ✅ Disallow: /folder1/
   ✅ Disallow: /folder2/

Nachdem du die User-agent-Direktive ausgefüllt hast, legst du das Verhalten bestimmter oder aller Bots durch Crawling-Anweisungen fest. Hier sind die wichtigsten Regeln:

1. Lass die Disallow-Direktive nicht ohne Wert. Ohne Wert crawlt der Bot alle Inhalte der Website.
   Disallow: – erlaubt das Crawlen der gesamten Website
2. Führe nicht jede einzelne Datei auf, die du sperren möchtest. Sperr stattdessen den Zugriff auf den gesamten Ordner – alle darin enthaltenen Dateien werden dann automatisch vom Crawling und der Indexierung ausgeschlossen.
   Disallow: /folder/
3. Sperre den Zugriff auf die gesamte Website nicht versehentlich:
   Disallow: / – sperrt die gesamte Website

Andernfalls kann die Website vollständig aus den Suchergebnissen entfernt werden.

Bei Bedarf kannst du deine Sitemap in die robots.txt-Datei einbinden. Das erleichtert Bots das Crawlen deiner Website-Inhalte. Die Sitemap liegt unter https://deinewebsite/sitemap.xml. Füge sie als Direktive mit ihrer URL ein:

User-agent: *

Disallow: /folder1/

Allow: /image1/

Sitemap: https://deinewebsite/sitemap.xml

Du musst deine robots.txt nicht aktiv bei Suchmaschinen einreichen. Crawler suchen automatisch nach einer robots.txt-Datei, bevor sie eine Website crawlen, und lesen diese, wenn sie eine finden.

Wenn du Änderungen vorgenommen hast und Google darüber informieren möchtest, kannst du die Datei über die Google Search Console einreichen. Nutze dafür den Robots.txt-Tester: Füge den Dateiinhalt ein und klicke auf „Einreichen“.

Beim Konfigurieren der Crawling-Regeln gibst du den Namen des Bots an, für den die Anweisungen gelten sollen. Das geschieht über die User-agent-Direktive.

Wenn du alle Crawler für bestimmte Inhalte sperren oder freigeben möchtest, verwendest du * (Asterisk) als User-agent:

User-agent: *

Wenn alle deine Seiten in einer bestimmten Suchmaschine erscheinen sollen – zum Beispiel bei Google – nutze den Googlebot-User-agent:

User-agent: Googlebot

Jede Suchmaschine hat eigene Bots, deren Namen vom Suchmaschinen-Namen abweichen können (z. B. heißt Yahoos Crawler Slurp). Einige Suchmaschinen setzen außerdem mehrere Crawler für unterschiedliche Crawling-Ziele ein. Google nutzt neben dem Hauptcrawler Googlebot weitere spezialisierte Bots:

• Googlebot News – crawlt Nachrichteninhalte
• Google Mobile – crawlt mobile Seiten
• Googlebot Video – crawlt Videos
• Googlebot Images – crawlt Bilder
• Google AdSense – crawlt Websites, um Inhalte zu analysieren und passende Anzeigen auszuspielen

Mit der Allow-Direktive lässt sich die Disallow-Direktive gezielt aufheben. Durch die Kombination beider Direktiven kannst du Suchmaschinen mitteilen, dass sie auf eine bestimmte Datei oder Seite innerhalb eines ansonsten gesperrten Verzeichnisses zugreifen dürfen.

Disallow: /album/ – Suchmaschinen dürfen nicht auf das Verzeichnis /album/ zugreifen

Allow: /album/bild1.jpg – auf die Datei bild1 im Verzeichnis /album/ dürfen sie aber zugreifen

Mit dieser Direktive solltest du außerdem wichtige Website-Dateien freigeben: Skripte, Stylesheets und Bilder. Zum Beispiel:

Allow: */uploads
Allow: /wp-/*.js
Allow: /wp-/*.css
Allow: /wp-/*.png
Allow: /wp-/*.jpg
Allow: /wp-/*.jpeg
Allow: /wp-/*.gif
Allow: /wp-/*.svg
Allow: /wp-/*.webp
Allow: /wp-/*.pdf

Crawler suchen bei jedem Website-Besuch nach einer robots.txt – aber nur an einem einzigen Ort: im Hauptverzeichnis. Nach dem Generieren muss die Datei daher in den Root-Ordner deiner Website hochgeladen werden. Danach ist sie unter https://deine-seite.com/robots.txt erreichbar.

Die genaue Vorgehensweise hängt von deinem Server und CMS ab. Hast du keinen direkten Zugriff auf das Root-Verzeichnis, wende dich an deinen Hosting-Anbieter.

Die robots.txt-Datei teilt Suchmaschinen mit, welche Seiten gecrawlt werden dürfen und welche Bots Zugriff auf die Inhalte deiner Website haben. Damit lassen sich zwei konkrete Ziele erreichen:

• Die Wahrscheinlichkeit verringern, dass bestimmte Seiten gecrawlt, indexiert und in den Suchergebnissen angezeigt werden.
• Crawl-Budget gezielt einsparen.

Eine robots.txt-Datei funktioniert zuverlässig, wenn drei Bedingungen erfüllt sind:

• User-agent und Direktiven sind korrekt angegeben – jede Gruppe beginnt mit einer User-agent-Zeile, und pro Zeile steht nur eine Direktive.
• Die Datei liegt ausschließlich im .txt-Format vor.
• Die robots.txt befindet sich im Root-Verzeichnis des Website-Hosts, für den sie gilt.