Blogger-Blogs jetzt mit eigener robots.txt

Blogger
Ich weiß nicht ob es neu ist, aber zumindest mir war es auch noch nicht bekannt: Seit einiger Zeit besitzt jeder Blogger-Blog eine eigene robots.txt in der das durchsuchen des „search“-Verzeichnisses verboten und der Pfad zur Sitemap des jeweiligen Blogs angegeben wird.

» Beispiel robots.txt

[thx to: Heiner Otterstedt]




Teile diesen Artikel:

Facebook twitter Pocket Pocket

comment 4 Kommentare zum Thema "Blogger-Blogs jetzt mit eigener robots.txt"

  • Ich sehe die gesperrten Dateien seit gestern im Webmaster-Central (sehe eigentlich regelmäßig nach).

    Echter Vorteil ist, dass auch /search/label/ gesperrt ist. Hatte mich schon länger geärgert, dass die Labels immer vor den Artikeln im Index erscheinen. Vermutlich haben sie das aber jetzt eingebaut, weil MSN seit neustem die URL der Sitemap aus der robots.txt holt.

Kommentare sind geschlossen.