Um den Zugriff von Crawling-Bots auf bestimmte Bereiche einer Webseite zu kontrollieren, ist es immer noch der einfachste Weg eine robots.txt einzusetzen und dort entsprechende Regeln zu hinterlegen. Trotz des eigentlich sehr simplen Aufbaus dieser Datei kann diese doch sehr fehleranfällig sein und die Bots sich unvorgesehen verhalten. Jetzt hat Google ein neues Tool zum testen dieser Datei veröffentlicht.
In den Google Webmaster Tools konnte schon seit jeher die eigene robots.txt-Datei angesehen werden, so wie sie für den Googlebot ausgeliefert wird. Jetzt lässt sich auch testen, welche Konsequenzen und Regeln daraus gezogen werden und welche Inhalte zugänglich sind und welche nicht. Das robots.txt-Tool steht für alle hinterlegten Webseiten in den Webmaster Tools zur Verfügung.
Nach dem Aufruf des Tools wird die aktuelle robots.txt in einer Code-Ansicht inklusive nummerierter Zeilen angezeigt. Im unteren Bereich werden außerdem möglicherweise enthaltene Fehler und Warnungen angezeigt, so dass ein kleiner Flüchtigkeitsfehler (die meist am schwersten zu finden sind) sofort gefunden wird. Der eigentliche Test befindet sich dann am unteren Rand und erlaubt das testen von spezifischen URLs.
Im Eingabefeld kann eine beliebige URL auf dieser Webseite eingetragen und auch noch ein bestimmter Google-Bot ausgewählt werden. Anschließend wird sofort angezeigt, ob eben dieser Bot Zugriff auf diese URL hat. Ist der Zugriff nicht erlaubt, wird die dafür verantwortliche Zeile in der Datei-Ansicht rot hinterlegt. Diese kann dann direkt gelöscht oder angepasst und der Test erneut ausgeführt werden. Hat man dann alle Fehler beseitigt, kann die eigene Datei mit diesem Inhalt gefüllt werden.
Wenn die Webseite früher fehlerfrei funktioniert hat und heute nicht mehr, kann Google nun auch in diesem Fall aushelfen. Ab sofort werden auch ältere Versionen der robots.txt gesammelt und können direkt in diesem Tool wieder aufgerufen werden. Klickt dazu einfach auf den Titel über dem Eingabefeld und schon gibt es eine Liste aller vergangenen Dateien – allerdings reicht dieser derzeit nur wenige Wochen zurück. Neben dem Datum wird diese auch mit dem Server-Status und der Größe in Byte angezeigt.
» Webmaster Tools robots.txt
» Ankündigung im Webmaster Central Blog