Bard & ChatGPT: OpenAI ermöglicht Aussperren des Crawlers & Google will Diskussion über neue robots.txt

 

Die seit einiger Zeit sehr populären KI-ChatBots wie ChatGPT oder Google Bard beziehen ihr Wissen nicht nur aus offiziellen Quellen und Datenbanken, sondern auch aus dem gesamten Web. Erst die Webcrawler machen es möglich, wirklich umfassende Informationen zu liefern, doch bei einigen Webmastern kommt das gar nicht gut an. Jetzt schafft man bei OpenAI Fakten und bietet die Möglichkeit, den GPT-Bot auszusperren. Google ist noch nicht so weit.

KI-ChatBots sind für einige Nutzer eine tolle Sache, doch für Webmaster, Redakteure und ähnliche Berufsgruppen ein zweischneidiges Schwert, denn „ihre“ Informationen werden von den ChatBots abgegrast und häufig ohne Quellenangabe verwendet. Bisher ließ sich das nicht verhindern, doch zumindest für ChatGPT ist das jetzt möglich. Denn man macht den eigenen ChatBot nun deutlicher erkennbar und wird zusätzlich die in der robots.txt hinterlegten Angabe beachten. Webmaster, die nur den GPT-Bot aussperren wollen, können das jetzt tun.

Dieser Schritt wurde bereits herbeigesehnt und es ist zu erwarten, dass in diesem Fall mehr Webmaster solche Bots aussperren als gewöhnlich – zumindest so lange bis diese ein vernünftiges und funktionierendes (im Sinne von Traffic-bringen) Quellensystem haben. OpenAI kommt damit Google zuvor, das bisher noch keine solche Möglichkeit bietet. Bei Google hingegen kann man nur den gesamten Bot aussperren, sich damit selbst aus der Websuche befördern, und ist damit noch immer nicht 100%ig sicher, dass Google die Informationen nicht doch für Bard verwendet.

Google hatte schon vor einigen Wochen durchblicken lassen, dass die robots.txt möglicherweise nicht beachtet wird. Gleichzeitig will man dazu einladen, eine Diskussion über neue robots.txt-Standards zu schaffen. Jetzt wird man aber wohl erst einmal auf den OpenAI-Schritt reagieren müssen.

» Der Beitrag bei OpenAI ChatGPT

» Bard: Google will einige Webstandards für KI-ChatBots anpassen – Diskussion über robots.txt soll beginnen

---

---