Google News werden mit dem Googlebot gecrawlet

 

Einige Verlage wollen, dass ihre Artikel in den Suchergebnissen von Google Websuche erscheinen, aber eben nicht in Google News. Daher hat Google vor einiger Zeit einen neuen Bot eingeführt – den Googlebot-News. Nun gab Google bekannt, dass Google News wieder mit dem normalen Googlebot erstellt wird. 

Laut Ankündigung wird sich der Googlebot aber an die gleichen Regeln halten wie die Regeln, die der Webmaster speziell für den Google News Bot festgelegt hat. Webmaster, die zum Beispiel eingerichtet haben, dass nur 5 Artikel pro Tag kostenlos über eine Suchmaschine angesehen werden können, müssten laut Google keine Änderungen vornehmen, wenn sie sich an die  Guidelines für den Googlebot halten.

Möchte man nicht in Google News erscheinen, kann man weiterhin den Zugriff für den Googlebot-News sperren und den Googlebot zulassen. Auch wenn es keinen Bot speziell für Google News mehr gibt, wird sich der normale Googlebot an diese Regel in der robots.txt halten.

Google begründet den Schritt übrigens damit, dass man Änderungen an seiner Infrastruktur durchgeführt hat und seitdem die Artikel für Google News eben hauptsächlich mit dem Googlebot gesammelt werden.

Wir sind schon auf erste Reaktionen der Verlage gespannt. Grundsätzlich soll sich laut Google aber damit nichts ändern. In den Logs wird es lediglich keine Einträge des Googlebot-News mehr.

---

---