GoogleWatchBlog

Blogger-Blogs jetzt mit eigener robots.txt

» Web-Version «


Ich weiß nicht ob es neu ist, aber zumindest mir war es auch noch nicht bekannt: Seit einiger Zeit besitzt jeder Blogger-Blog eine eigene robots.txt in der das durchsuchen des „search“-Verzeichnisses verboten und der Pfad zur Sitemap des jeweiligen Blogs angegeben wird.

» Beispiel robots.txt

[thx to: Heiner Otterstedt]


Keine Google-News mehr verpassen:
GoogleWatchBlog bei Google News abonnieren | Jetzt den GoogleWatchBlog-Newsletter abonnieren