Google wird mit dem KI-ChatBot Bard in den nächsten Wochen wieder größere Sprünge machen und den Funktionsumfang immer stärker erweitern. Aber auch die Datenbasis muss erweitert werden und so hat man bereits vor einigen Wochen angekündigt, auch Inhalte aus dem Web in Bard einfließen zu lassen. Weil das nicht alle Webmaster begeistert, ermöglicht man es nun, die eigene Webseite davon auszunehmen.
Schlagwort: robots.txt
Google wird mit dem KI-ChatBot Bard in den nächsten Wochen wieder größere Sprünge machen und den Funktionsumfang immer stärker erweitern. Aber auch die Datenbasis muss erweitert werden und so hat man bereits vor einigen Wochen angekündigt, auch Inhalte aus dem Web in Bard einfließen zu lassen. Weil das nicht alle Webmaster begeistert, ermöglicht man es nun, die eigene Webseite davon auszunehmen.
Die seit einiger Zeit sehr populären KI-ChatBots wie ChatGPT oder Google Bard beziehen ihr Wissen nicht nur aus offiziellen Quellen und Datenbanken, sondern auch aus dem gesamten Web. Erst die Webcrawler machen es möglich, wirklich umfassende Informationen zu liefern, doch bei einigen Webmastern kommt das gar nicht gut an. Jetzt schafft man bei OpenAI Fakten und bietet die Möglichkeit, den GPT-Bot auszusperren. Google ist noch nicht so weit.
Google hat kürzlich die Bedingungen dafür geschaffen, dass der KI-ChatBot Bard das gesamte Web nach Informationen abgrasen und diese zum Training verwenden darf. Das stieß nicht überall auf Zustimmung, sodass man jetzt eine neue Diskussion über die robots.txt anregen will. Diese seit Jahrzehnten existierende und von allen großen Suchmaschinen beachtete Datei soll für die modernen Anforderungen angepasst werden.
Fast jede Webpräsenz besitzt eine robots.txt-Datei, die für die Nutzer bzw. Besucher der Webseite nicht relevant oder interessant ist, aber von Suchmaschinen bzw. dessen Crawlern beachtet werden sollte. Eine Pflicht zum Beachten gibt es nicht, aber es gehört zum guten Ton und wird auch von allen bekannten Suchmaschinen umgesetzt. Auch Google beachtet die Datei natürlich, wird aber nun schon bald im Zuge der angestrebten Standardisierung nicht mehr alle Regeln befolgen - und das kann große Auswirkungen haben.
Das Internet hat sich in den vergangenen zwei Jahrzehnten wahnsinnig verändert und wird auch heute noch immer wieder um neue Technologien und Möglichkeiten erweitert. Ein sehr grundlegender Teil der Crawler-Infrastruktur hingegen hat sich ewig nicht mehr geändert, ist aber dennoch bis heute nicht standardisiert: Die robots.txt. Jetzt will Google die Standardisierung vorantreiben und hat zugleich einen robots.txt-Parser veröffentlicht.
Um den Zugriff von Crawling-Bots auf bestimmte Bereiche einer Webseite zu kontrollieren, ist es immer noch der einfachste Weg eine robots.txt einzusetzen und dort entsprechende Regeln zu hinterlegen. Trotz des eigentlich sehr simplen Aufbaus dieser Datei kann diese doch sehr fehleranfällig sein und die Bots sich unvorgesehen verhalten. Jetzt hat Google ein neues Tool zum testen dieser Datei veröffentlicht.
Nahezu jede Webseite setzt zur Steuerung von Suchmaschinen auf die robots.txt-Datei, mit der den Bots mitgeteilt wird, welche Webseiten gecrawlt und indexiert werden dürfen und welche nicht - und alle großen Suchmaschinen halten sich auch an diese Standard-Angaben. Zum 20-jährigen Jubiläum dieser Datei sorgt Google nun für die Zukunft vor und verfügt seit einigen Tagen auch über eine killer-robots.txt.
Zusätzlich zur geleakten Mac-Software und dem kolportierten Release-Termin nächste Woche ist jetzt auch die URL zum GDrive aufgetaucht: drive.google.com. Unter dieser Subdomain findet sich bereits die robots.txt und auch das Support-Center steht bereits in den Startlöchern.
Jedem Webmaster dürfte wohl die robots.txt bekannt sein. Mit dieser kann man verhindern, dass bestimmte Seiten oder Verzeichnisse des Servers in den Index der Suche aufgenommen werden. Eigentlich alle großen Suchmaschinen halten sich daran. Vor einigen Wochen gab es eine Idee eine humans.txt einzuführen.
Google reagiert auf das Vorhaben von einigen Verlegern, die Google blockieren wollen, sodass sie nicht mehr über die Google News zu finden. Zum einen wird der Inhalt für die Google News nun über einen neuen Bot gecrawelt, zum anderen können die Publisher festlegen wie viele kostenpflichtige Artikel ein Nutzer pro Tag maximal anschauen kann.
Mit dem Programm "First Click Free" kann festgelegt werden, dass ein Nutzer bspw. maximal 5 Artikel via Google Search bzw. Google News anschauen kann, bevor er dafür beim Verleger bezahlen muss.
Wer nicht möchte, dass seine Artikel in den Google News laden, kann dies nun über die robots.txt festlegen. Google News wird ab sofort von von Googlebot-News gecrawelt. So lässt sich festlegen, dass bspw. das Archiv nicht aufgenommen werden darf oder die neusten Artikel nicht sofort in den News laden. Weitere Beispiele gibt es hier.
Der user agent lautet Googlebot-News.