Live.com ignoriert Googles robots.txt: Millionen AdWords-Links im Index

Veröffentlicht am von Jens

Microsoft vs. AdWords
Einer der wichtigsten Grundsätze jeder Suchmaschine ist, dass sich der Spider gefälligst an die robots.txt zu halten hat und die darin verbotenen Links/Verzeichnisse/Regeln garnicht erst aufruft bzw. beachtet. Microsofts Live-Suchmaschine tut dies eigentlich relativ zuverlässig, hat aber ausgerechnet beim Konkurrenten Google dabei geschlampt. Und so finden sich jetzt Millionen AdWords-Links in Microsofts Suchindex… das kann teuer werden!

live.com
Eine Suche nach site:www.google.com/pagead bei Live.com gibt derzeit über 4 Millionen Suchergebnisse zurück. Google hat das spidern dieser Links in seiner robots.txt ausdrücklich verboten und das aus gutem Grund. Klickt jetzt jemand auf eines dieser Links bei live.com wird dies bei Googles AdServer als Klick auf einen Werbebanner gewertet und der Inserent muss blechen. Leider kann man in der Suchergebnisseite nicht sehen wohin man geleitet wird und von daher dürfte die beworbene Seite für 99% uninteressant sein – was dem Inserenten der dafür Teuer Geld (sic!) bezahlt wohl garnicht gefallen dürfte.

Jetzt ist es natürlich interessant wie Microsoft dieses Malheur passieren könnte. Hat man die Google robots.txt manuell einfach aus dem eigenen Spider ausgefiltert und die gesamte Website mal eben abgeklappert? Will Microsoft Googles Suchergebnisseiten spidern und diese Daten eventuell für sich selbst nutzen? Rein zufällig wird das sicherlich nicht passiert sein, aber den genauen Grund wird MS wohl nicht rausrücken.

Außerdem wird sich die Frage stellen wer den Schaden jetzt zu bezahlen hat: Variante 1: Die Inserenten können sich jetzt nicht sicher sein ob der Klick tatsächlich von google.com kommt und der User überhaupt weiß auf welcher Seite er landen wird. In diesem Fall könnten die Inserenten Geld von Google zurückfordern – und Google wird sich das Geld sicherlich bei Microsoft eintreiben.

Variante 2 wäre, dass Google auf seinem AdWords-Server nur Klicks wertet die von Google.com ausgeführt werden und so dem Inserenten nichts in Rechnung gestellt wird. Dann allerdings hätte Google den Inserenten kostenlos Besucher verschafft, was natürlich auch nicht ganz im Sinne von Google sein kann. In dem Falle hat nur der Google den Schaden und der Inserent freut sich über die zusätzliche Promotion.

Mal schauen wie lange Microsoft diese Links in seiner Suchmaschine listen wird…

» Suche nach Google Ads

[infopirat, thx to: seekXL, raven SEO Tools]


Teile diesen Artikel:

Facebook twitter Pocket Pocket

comment 9 Kommentare zum Thema "Live.com ignoriert Googles robots.txt: Millionen AdWords-Links im Index"

  • google kann am header sehen von welcher seite aus gelinkt wurde, wenn da also microsoft steht, wird das dann einfach nicht gewertet 😉 -> referer

  • Jedem AdSense-Publisher, sowie AdWords-Merchant klingelts wenn er „unzulässiger Klick“ hört/liest.

    Da deklariert Google dann einfach alles als unzulässig, was von live.com kam und das wars. Dass das aber einen gewissen Aufwand bedeutet, was möglicherweise noch Folgen hat ist mal dahingestellt.

    Wenn ich blöd fragen darf, wie seid ihr darauf gekommen? Einfach mal probiert oder gabs da irgendwo ne Meldung?

    Ciao
    Tobi

  • Unter jedem Artikel haben wir doch immer Quellenangaben 😉
    Wie die darauf gekommen sind musst du die selbst fragen 😀

  • Dadurch kann man auch Nicht öffentliche Picasa Web Alben sehen…

    ?dit: Lol, das geht sogar mit Google. Picasa Web ist ja alles andere als sicher.

  • @ Tobi … drauf gestossen bin ich auf YiGG, wo ein Beitrag vom Infopirat eingestellt wurde. Mal schauen ob Live Search noch weitere Robots.txt Ordner „interessiert“ haben…

  • Inzwischen gibt die Suche keine Ergebnisse mehr zurück. Da hat wohl jemand gemerkt, dass man ihn erwischt hat.

    Dass die geschädigten ihr Geld zurückfordern können bezweifle ich. Das Problem besteht ja prinzipiell Grundsätzlich, diverse Spambot etc ignorieren die robots.txt ebenfalls.

    Auf die entsprechenden Suchergebnisse in msn wird wohl kaum jemand draufklicken.

  • Ich muß das korrigieren, auch Google zeigt in seinen Suchergebnissen Seiten an, die per Robots.txt das spidern verbieten (wenn sich da nichts geändert hat in der Zwischenzeit, es war zumindest jahrelang so). Google *spidert* diese Seiten halt nicht, was es aber nicht davon abhält, diese anzuzeigen… es kann ja z.B. auf öffentlichen Seiten auf die entsprechende Seite verwiesen worden sein. Google benutzt für solche Ergebnisse seit einiger Zeit auch halbwegs gute Titel, indem es sich die Texte aus Links zu dieser Seite anschaut.

    Ob so ein Verhalten nun unbedingt toll ist sei dahingestellt, es ist nicht unbedingt intuitiv nachvollziehbar für Robots.txt-benutzende Webmaster.

Kommentare sind geschlossen.