Google Bard: Webmaster können den Crawler jetzt per robots.txt aussperren – mit Google Extended

 

Google wird mit dem KI-ChatBot Bard in den nächsten Wochen wieder größere Sprünge machen und den Funktionsumfang immer stärker erweitern. Aber auch die Datenbasis muss erweitert werden und so hat man bereits vor einigen Wochen angekündigt, auch Inhalte aus dem Web in Bard einfließen zu lassen. Weil das nicht alle Webmaster begeistert, ermöglicht man es nun, die eigene Webseite davon auszunehmen.

Die KI-ChatBots haben ein recht umfangreiches Wissen, müssen aber natürlich ständig dazulernen und sich aktuelle Informationen holen, statt auf dem Stand eines bestimmten Datums stehenzubleiben. Google wird dafür, so wie andere Anbieter auch, die Bard-KI mit Daten aus dem Web füttern. Das kommt bei einigen Webmastern allerdings nicht ganz so gut an, denn somit werden ihre veröffentlichten Fakten ohne Lizenzierung oder eine Form der Bezahlung von einem anderen Produkt verwendet.

Zwar will Google die Quellen transparent angeben, aber nur die wenigsten Nutzer dürften daraufklicken. Auf der anderen Seite könnten so manche Webmaster es als Ziel ansehen, mit den eigenen Fakten und Aussagen dort aufzutauchen – der Wikipedia-Effekt. Je nachdem, zu welcher Seite ihr gehört, könnt ihr das jetzt mit Google Extended einstellen. Dabei handelt es sich um eine temporäre Erweiterung der robots.txt-Datei, in der der Zugriff von Bard festgelegt werden kann. Dies hat keine Auswirkungen auf das Listing in der Google Websuche.

Schon vor einigen Monaten hatte Google eine Diskussion über eine moderne robots.txt angeregt und bis es zu einer Lösung kommt, schafft man erst einmal die Extended-Variante, um sich ein wenig abzusichern.

[Google-Blog]

---

---