Was ist Robots.txt?
Datei, die Suchmaschinen sagt, welche Bereiche einer Website sie crawlen dürfen.
Robots.txt im Detail
Die robots.txt liegt im Stammverzeichnis einer Domain und enthält Anweisungen pro Suchmaschinen-Bot, welche Verzeichnisse er crawlen darf und welche nicht. Wichtig ist die Abgrenzung zum Noindex-Tag: Die robots.txt verhindert nur das Crawlen, nicht zwingend die Aufnahme einer URL in den Google-Index – eine verlinkte, aber gesperrte Seite kann trotzdem ohne Inhalt in den Suchergebnissen auftauchen. Sinnvoll eingesetzt lenkt die Datei das Crawling-Budget auf relevante Inhalte und schließt etwa interne Suchergebnisse oder Admin-Bereiche aus. Ein Fehler in der Syntax kann jedoch versehentlich die gesamte Website für Suchmaschinen sperren.
Was heißt das für Ihr Unternehmen?
Nach jedem Relaunch oder Serverumzug sollte die robots.txt geprüft werden – ein vergessenes 'Disallow: /' aus der Entwicklungsumgebung sperrt sonst die komplette Live-Website für Google. Für sensible Bereiche, die wirklich nicht im Suchindex erscheinen sollen, reicht die robots.txt allein nicht aus; hier ist zusätzlich ein Noindex-Tag auf der jeweiligen Seite nötig.
Passende Leistung
SEO – Suchmaschinenoptimierung
On-Page, Off-Page & Local SEO – bessere Platzierungen für Suchanfragen mit Kaufabsicht.
Robots.txt für Ihr Wachstum nutzen.
Im kostenlosen Erstgespräch zeigen wir Ihnen, was davon für Ihr Unternehmen wirklich relevant ist – ehrlich und ohne Fachjargon.