DE
Der Robots-Generator erzeugt eine Datei, mit der Sie den Robots von bestimmten Suchmaschinen den Zugriff verweigern können oder bestimmte Bereiche Ihrer Website vom Zugriff ausschließen können. Diese muss im Stammverzeichnis der Domain platziert werden, sodass Suchmaschinen-Robots sie finden können. Um mit dem Robots-Generator zu arbeiten, wählen Sie ihn unter Werkzeuge aus.
Die Robots.txt-Datei ist wie folgt aufgebaut: Mit User-Agent: Name des Robots wird festgelegt, für welchen Robot die Einträge gelten. Mit den einzelnen Disallow-Einträgen bestimmt man dann Verzeichnisse, die von diesem nicht indexiert werden sollen. Außerdem besteht die Möglichkeit, eigene Kommentare mit einzufügen, die mit einem # gekennzeichnet und von den Robots ignoriert werden.
Um alle Robots gleichzeitig zu adressieren, wird das Zeichen * verwendet.
Um eine komplett neue Datei zu erzeugen, klicken Sie auf die entsprechende Schaltfläche der Menüleiste oder klicken Sie andernfalls auf Datei öffnen.
Klicken Sie auf Neu, um den Ausschluss von Robots und den Pfad zu Ihrer Sitemap festzulegen. Klicken Sie auf Bearbeiten, um Änderungen an den bestehenden Einträgen vorzunehmen.
Tipp: In dem Bereich Site-Scanner können Sie die Struktur Ihrer Seite einlesen und Verzeichnisse auswählen, die für die gewünschten Agenten gesperrt werden sollen.
Unterhalb der Liste mit User-Agents und Disallow-Pfaden sehen Sie den Quelltext Ihrer Robots.txt-Datei. Klicken Sie auf Aktualisieren, um Änderungen, die Sie oben vorgenommen haben in diesem Text wirksam zu machen und umgekehrt.
Sobald Sie die Bearbeitung beendet haben, können Sie die Datei Speichern oder ihren Inhalt in eine Textdatei Exportieren.
DE