Robots.txt-Editor

Der Robots.txt Editor erzeugt eine Datei, mit der Sie den Robots von bestimmten Suchmaschinen den Zugriff verweigern können oder bestimmte Bereiche Ihrer Website vom Zugriff ausschließen können. Diese muss im Stammverzeichnis der Domain platziert werden, so dass Suchmaschinen-Robots sie finden können. Um mit dem Robots.txt-Generator zu arbeiten, wählen Sie ihn unter Extras im Hauptmenü aus.

Die Robots.txt-Datei ist wie folgt aufgebaut: Mit User-Agent: Name des Robots wird festgelegt, für welchen Robot die Einträge gelten. Mit den einzelnen Disallow-Einträgen bestimmt man dann Verzeichnisse, die von diesem nicht indexiert werden sollen. Außerdem besteht die Möglichkeit, eigene Kommentare mit einzufügen, die mit einem # gekennzeichnet und von den Robots ignoriert werden.

Um alle Robots gleichzeitig zu adressieren, wird das Zeichen * verwendet.

Um eine komplett Neue Datei zu erzeugen, klicken Sie auf den entsprechende Schaltfläche der Menüleiste oder klicken Sie andernfalls auf Datei öffnen.

Klicken Sie auf Neu, um den Ausschluss von Robots und den Pfad zu Ihrer Sitemap festzulegen. Klicken Sie auf Bearbeiten, um Änderungen an den bestehenden Einträgen vorzunehmen.

Unterhalb der Liste mit User-Agents und Disallow-Pfaden sehen Sie den Quelltext Ihrer Robots.txt-Datei. Klicken Sie auf Aktualisieren, um Änderungen, die Sie oben vorgenommen haben in diesem Text wirksam zu machen und umgekehrt.

Sobald Sie die Bearbeitung beendet haben, können Sie die Datei speichern oder Ihren Inhalt in eine Textdatei exportieren.