Wie schließe ich URLs oder Verzeichnisse von der Indexierung aus?

URLs oder Verzeichnisse können Sie über die sogenannte robots.txt-Datei ausschließen. Sie können eine eigene Datei erstellen und auf dem FTP-Server hochladen. Eine robots.txt-Datei ist folgendermaßen aufgebaut:

# robots.txt zu http://www.beispiel.de/

User-agent: UniversalRobot/2.0

User-agent: robot

Disallow: /source/dts/

User-agent: * Disallow: /unsinn/

Disallow: /temp/

Disallow: /bold/beispiel.html

Mit Disallow verbieten Sie die Indexierung. Hier wird das gesamte Verzeichnis temp und die Unterseite beispiel.html des Verzeichnisses bold aus der Indexierung ausgeschlossen.

2016-10-21T15:45:50+00:00

Leave A Comment