Neuer robots.txt-Eintrag: google.com/movies

In Googles robots.txt gibt es schon wieder einen neuen Eintrag: Diesmal für die Movie-Suche. Unter dieser Adresse gibt es schon lange eine Suche nach Kinofilmen + Spielzeiten und seit neuestem auch Trailer. Ein neues Feature gab es noch nicht, wahrscheinlich möchte Google nur alle Spider aussperren die diese Angaben benutzt hatten – aber ob die sich an die robots.txt halten?…

[ZDnet-Blog]

robots.txt