Editor für Robots-Elemente

Im Editor für Robots-Elemente können Sie alle Elemente zusammenstellen, die Sie für Ihre Robots.txt-Datei benötigen.

Als Element-Typ können Sie auswählen:

• Ausschluss von Robots: Verwenden Sie dieses Element, um alle Robots von einem bestimmten Verzeichnis Ihrer Website auszuschließen.
• Sitemap: Verwenden Sie dieses Element, um den Pfad zu Ihrer Sitemap anzugeben, sodass die Robots diese leicht finden können.
• Kommentar: Fügen Sie Ihre eigenen Anmerkungen ein, die von den Robots nicht beachtet werden.

Wenn Sie Ausschluss von Robots auswählen, können Sie Robots und Disallow-Pfade hinzufügen, indem Sie rechts auf die entsprechende Schaltfläche klicken.

Um Robots hinzuzufügen, können Sie entweder alle Robots auswählen, indem Sie das * Zeichen auswählen oder bestimmte Robots, indem Sie sie aus der Drop-Down-Liste heraussuchen. Zum Hinzufügen von Disallow-Pfaden, geben Sie einfach das Verzeichnis an, das Sie ausschließen möchten.

Sie können natürlich auch Elemente aus der Liste noch nachträglich bearbeiten oder entfernen.

Zum Beispiel könnte ein Ausschlusselement dann so aussehen:

User-agent: *

Disallow: /temp/

Dies würde bedeuten, dass alle Robots das Verzeichnis /temp/ Ihrer Website nicht indexieren sollen.

 

Um den Ort anzugeben, an dem sich Ihre Sitemap befindet, geben Sie die URL in das entsprechende Feld ein und fügen Sie optional eine Anmerkung hinzu.

 

Um persönliche Anmerkungen zu der gesamten Robots.txt-Datei einzufügen, wählen Sie den Element-Typ Kommentar aus und geben Sie Ihren Text ein.