Bard: Google will einige Webstandards für KI-ChatBots anpassen – Diskussion über robots.txt soll beginnen

 

Google hat kürzlich die Bedingungen dafür geschaffen, dass der KI-ChatBot Bard das gesamte Web nach Informationen abgrasen und diese zum Training verwenden darf. Das stieß nicht überall auf Zustimmung, sodass man jetzt eine neue Diskussion über die robots.txt anregen will. Diese seit Jahrzehnten existierende und von allen großen Suchmaschinen beachtete Datei soll für die modernen Anforderungen angepasst werden.

Jedem Webmaster und Webentwickler ist die robots.txt bekannt. Dabei handelt es sich um eine Datei im Stammverzeichnis einer Webseite, in der sich genau festlegen lässt, welche Suchmaschine bzw. welcher Crawler Informationen abrufen und verwenden darf. Es ist Ehrensache, dass sich alle seriösen Suchmaschinen-Anbieter daran halten. Doch kürzlich hatte Google angekündigt, dass man Bard mit allen öffentlich zugänglichen Daten trainieren will und dabei die robots.txt mit keinem Wort erwähnt. Ein Beitrag im Google-Blog scheint den Verdacht nun zu erhärten, dass man das klassische Format wohl nicht beachten will.

Im Beitrag geht es darum, dass viele Webtechnologien, Standards und Regeln vor Jahrzehnten eingeführt wurden, bevor überhaupt irgendjemand etwas mit KI anfangen konnte. Doch die Zeiten haben sich geändert und so möchte Google nun eine Diskussion über moderne Anforderungen anstoßen und dabei auch die robots.txt überarbeitet sehen. Man will Möglichkeiten schaffen, sowohl den Publishern als auch Betreibern mehr Kontrollmöglichkeiten zu geben. Das einfache Zulassen oder Aussperren von KI-Bots reicht wohl nicht aus.

Ein konkretes Ziel hat man sich nicht gesetzt, sondern will eine öffentliche Diskussion anregen und viele Mitglieder der Web-Community, KI-Community einladen. Man will Stimmen von Web-Publishern, Wissenschaftlern und aus vielen weiteren Bereichen rund um die Welt einbinden, um den Standard zu erweitern. Solltet ihr daran Interesse haben, könnt ihr Hier auf die Einladung reagieren.

» Der Beitrag im Google-Blog

[9to5Google]

---

---