Webmaster Tools jetzt mit robots.txt -Generator

Veröffentlicht am 28. März 2008 von Jens

Googles Webmaster Tools bieten schon seit langer Zeit eine umfangreiche robots.txt-Analyse mit der jeder die Auswirkungen der eigenen robots.txt überprüfen und fehlerhafte Einträge anzeigen lassen kann. Da manche Webmaster es aber selbst damit nicht hinbekommen eine standardmäßige robots.txt zu basteln, kann diese jetzt direkt in den Webmaster Tools erstellt werden.

Unter dem Menüpunkt Tools->Generate robots.txt kann in 3 Schritten die eigene robots.txt erstellt werden. Als erstes kann ausgewählt werden ob Robots standardmäßig zugelassen oder blockiert werden sollen. Danach kann das ganze spezifischer für einzelne Verzeichnisse eingestellt werden. Als Bot-Auswahl stehen alle offiziellen Google-Bots zur Verfügung - die Bots der Konkurrenz muss man selbst eintragen. Als 3. und letzten Schritt kann die fertige Datei dann kopiert und auf dem Server abgespeichert werden. Wirklich nutzerfreundlich ist es natürlich nicht dass nur die eigenen 5 Bots zur Auswahl stehen. Wenigstens die Bots der anderen großen 4 (Yahoo!, MSN, AOL, Ask) hätte Google mit einbauen können - aber vielleicht wollte das die Konkurrenz auch garnicht und nimmt das basteln lieber selbst in die Hand. Ansonsten ist das Tool wirklich sehr nützlich, schade nur dass es nicht außerhalb der Webmaster Tools zugänglich ist. » Ankündigung im Webmaster Central Blog

iGoogle-Tab: 9 Gadgets rund um die Webmaster Tools

Veröffentlicht am 9. März 2008 von Jens

Das Team rund um die Google Webmaster Tools hat eine Reihe von Gadgets entwickelt mit denen sich der Status der eigenen Webseite schnell und einfach überwachen lässt. Der dazugehörige iGoogle-Tab besteht aus 5 Gadgets mit denen etwa Crawling-Errors, Statistiken und Verlinkungen innerhalb und außerhalb des Webs angezeigt werden können. Gadgets

Eigentlich besteht der Tab aus 8 Gadgets, aber 3 sind zumindest bei mir derzeit nicht verfügbar und werden dementsprechend auch nicht zur Startseite hinzugefügt. Wahrscheinlich haben die Googler schlicht und einfach vergessen diese Gadgets freizuschalten, man darf also darauf hoffen dass sich das Problem in den nächsten Tagen von selbst lösen wird.

Derzeit besteht der Tab aus folgenden Gadgets: » Crawl Errors [Gadget hinzufügen] » What Googlebot Sees [Gadget hinzufügen] » Top Search Queries [Gadget hinzufügen] » Internal Links [Gadget hinzufügen] » External Links [Gadget hinzufügen] Ich denke die einzelnen Gadgets muss ich nicht weiter erklären, das habe ich in früheren Artikeln über die Webmaster Tools oft genug getan und wer sich dafür interessiert wird schon selbst herausfinden worum es geht ;-) Eigentlich interessant für den Webmaster sind eigentlich nur die Crawling Errors, alle anderen Gadgets zeigen zwar nützliche Informationen, aber die braucht man nicht unbedingt so dringlich dass man sie als Gadget bräuchte. Kleiner Tipp: Natürlich kann man die Gadgets auch wieder in Google Desktop einbinden ;-) » iGoogle-Tab hinzufügen [thx to: Snigga]

Videos an Google übermitteln: Google Video Sitemaps

Veröffentlicht am 18. Dezember 2007 von Jens

Schon seit einiger Zeit zeigt Googles Videosuchmaschine Videos von großen Videohostern, aber auch von weiteren externen Seiten an. Es scheint Google aber schwer zu fallen Videos im Web aufzufinden, daher kann man seit einigen Tagen auch eine eigene Sitemap nur für Videos erstellen. Um eine Video-Sitemap an Google zu übermitteln müsst ihr nur - genau wie bei den normalen Sitemaps - eine Sitemap mit diesen Spezifikationen erstellen und diese entweder in der robots.txt eintragen oder sie manuell an Google und die anderen Suchmaschinen übermitteln. Daraufhin sollten eure Videos innerhalb von kürzester Zeit auch bei Google Video zu finden sein. Der Sitemap kann nicht nur die Video-URL, sondern auch der Name des Videos, eine Beschreibung und ein Thumbnail-Foto übermittelt werden. Es werden so gut wie alle gängigen Videoformate unterstützt: Von MPEG bis WMV über RM und natürlich die fast schon klassischen FLV-Flashvideos. Interessant wird sein wie Google die Videos abspielen wird, vorallem die bei denen bisher ein Browser-Plugin nötig war. Eventuell wird Google diese cachen und mit dem eigenen Player abspielen - wird den Player-Herstellern nicht gefallen, aber ist am wahrscheinlichsten. » Video Sitemap Spezifikationen » Ankündigung im Webmaster Central Blog

Webmaster Tools jetzt auch mit Content Analyse

Veröffentlicht am 14. Dezember 2007 von Jens

Die Google Webmaster Tools beschränken sich nicht mehr nur auf die Analyse der Platzierung der eigenen Seite im Google-Index, sondern hilft dem Webmaster mittlerweile auch dabei Fehler zu finden. Das neueste Feature der Sitemaps ist eine Content Analyse mit der man bspw. doppelte Seiten-Titel, Seiten ohne Titel, zu lange oder auch zu kurze Titel finden kann.

Der Titel und die Beschreibung einer Seite sind zwar heute für das Crawling und Ranking einer Seite vollkommen unwichtig geworden, aber zumindest werden diese Angaben auch heute noch in den meisten Suchmaschinen genutzt - der Titel auf jeden Fall und die Meta-Description in einigen Ausnahmefällen. Doppelte Titel sollten deswegen vermieden werden, da eine Seite mit komplett anderem Inhalt so in den Suchergebnisse vom User als gleiche Seite erkannt und womöglich garnicht angeklickt wird. Wie man auf dem Screenshot sieht strotzt der GWB _theoretisch_ nur so vor Fehlern. Zwar wird hier bei der Anzeige eines Tags oder einer Kategorie der Titel "GoogleWatchBlog - Tag: update" verwendet, aber auch auf den folgenden Seite der Tag-Anzeige wird dieser verwendet - obwohl es sich um eine völlig andere Seite handelt. Korrekt wäre jetzt also "GoogleWatchBlog - Tag: update - Seite X". Für mich sinnlos, von daher können diese Fehler ignoriert werden. Der nächste Fehler ist merkwürdig: Google kreidet es als eventuellen Fehler an dass 4229 Seiten die gleiche META-Description beinhalten. In den meisten Fällen wird in dieser Description aber nicht der Inhalt der gerade angezeigten Seite sondern eine allgemein Beschreibung der kompletten Homepage gegeben. Von daher ist es völlig normal dass sich diese Angabe nie ändert und sollte nicht als Fehler angekreidet werden. -- Ich konnte mit diesen Fehlern jetzt zwar nichts anfangen, aber anderen Webmaster kann dies vielleicht helfen auf einen Blick zu sehen welche Seiten noch keinen Aussagekräftigen Titel besitzen - SEO ist eben alles. Was mir jetzt immer noch fehlt ist ein Angebot dass die Sitemaps und Google Analytics verbindet. Auf diese Weise könnten eigentlich unendlich viele Analysen aufgestellt werden die dem Webmaster wirklich weiterhelfen. » Ankündigung im Webmaster Central Blog [Google Blogoscoped]

Webmastertools: Geografisches Ziel festlegen

Veröffentlicht am 1. November 2007 von Pascal

Google Webmastertools warten mit einer neuen Funktion auf. Diese macht es möglich Webseiten mit einen geographischen Adresse zu versehen. Laut Google für:

Manche Websites wenden sich an Nutzer an einem bestimmten geografischen Standort. So gibt es beispielsweise Websites, die für alle Nutzer in einem Land von Interesse sind, und andere, die sich nur an die Nutzer wenden, die innerhalb dieses Lands in einer bestimmten Gegend leben.

Die Oberfläche: (Zu finden unter Tools)

Ankündigung im Webmaster Central Blog [Googlified]

Webmaster Tools: Sitelinks bearbeiten & Keyword-Archiv

Veröffentlicht am 19. Oktober 2007 von Jens

Wenn der GoogleBot bei einer Webseite eine bestehende Struktur erkennt und diese als relevant einstuft, besteht die Möglichkeit dass die Navigation der Seite schon innerhalb der Suchergebnisse angezeigt wird. Auf diese so genannten Sitelinks hatte man bisher keinen Einfluss, doch das ändert sich mit der neuesten Version der Webmaster Tools. Außerdem können jetzt historische Suchanfragen ausgewertet werden. Sitelinks

Zwar werden die Sitelinks nur angezeigt wenn sich der GoogleBot absolut sicher ist dass die Links relevant sind und wirklich zur Navigation gehören, aber dennoch kann es vorkommen dass in der Praxis dann unpassende Links auftauchen, wie z.B. zu einzelnen Beiträgen auf einer Seite. Um dies zu verhindern können Links jetzt auch aus dieser Liste entfernt werden. Um einen Link zu entfernen müsst ihr einfach nur auf "block" klicken und bei der nächsten Suchanfrage ist der Link aus der Liste verschwunden. Die Webseite kann aber jederzeit wieder mit einem Klick in die Liste aufgenommen werden. Mit der Funktion werden sich sicherlich einige unsinnige Links entfernen lassen, die Frage ist nur welcher Webmaster das will - warum sollte man freiwillig einen Link von google.com entfernen? Auch wenn es nur eine Unterseite ist, Traffic ist Traffic... Das ausblenden der Links dürfte sich also in Grenzen halten. Leider ist es nicht möglich einen neuen Link hinzuzufügen oder bestehende zu bearbeiten. Dass es so eine Funktion nicht gibt ist verständlich, sonst wäre die Suchergebnisseite voll mit "HIER KLICKEN!!!" und co. Aber eventuell könnte man eine "Link prüfen" Funktion einbauen mit der man dem GoogleBot die Arbeit erleichtert. Ich würde für den Blog hier z.B. vorschlagen dass das Wiki und das Forum dort auftauchen sollten und der Bot prüft ob diese Seite relevant sind und schaltet sie dann später frei. Denkt mal drüber nach Googler ;-) Top Keywords

Ab sofort werden nicht mehr nur die aktuellen Top Keywords angezeigt, sondern auch die der Vergangenheit. Zur Zeit stehen die Zeitabschnitte 7 Tage, 2 Wochen, 1 Monat, 2 Monate, 3 Monate, 4 Monate, 5 Monate und 6 Monate zur Verfügung - weiter zurück scheinen die Daten wohl noch nicht zu reichen. Zumindest beim GWB reichen sie sogar nur 3 Wochen zurück. Die Keywords können zusätzlich nach Suchtyp und der lokalen Google-Suche eingeschränkt werden. Die Navigation dieses Keywords-Archiv erinnert ein wenig an das von Google Finance, da über der aktuellen Anzeige eine Art Schieberegler angezeigt wird - allerdings lässt sich dieser nicht verschieben. Das könnte aber bedeuten dass die Navigation demnächst ein wenig interaktiver gestaltet wird und es zu bestimmten Keywords eine Verlaufsgrafik geben wird. Wäre doch wirklich spannend wie sich ein Keyword im Laufe der Zeit entwickelt hat und welches sehr beständig immer wieder User auf die Seite lockt. » Ankündigung im Webmaster Central Blog [Google OS]

Kleines Redesign für die Google Webmaster Tools + Feed-Analyse

Veröffentlicht am 14. September 2007 von Jens

Nachdem in der letzten Woche die Webmaster Central redesignt worden ist, hat das frühere Mutter- und heute Tochter-Produkt heute nachgezogen. Die ehemals Google Sitemaps heißen jetzt endgültig Google Webmaster Tools, haben ihr eigenes Logo bekommen, die Seite wurde neu designt und seit heute werden auch Statistiken über Feeds gesammelt und angezeigt. Webmaster Tools

Die Navigation der Seite hat einen komplett neuen Anstrich bekommen und ist an die linke Seite gewandert, hat sich aber ansonsten in seiner Anordnung nicht verändert. Meiner Meinung nach ist das neue Design schlechter als das alte, zumindest mir kommt das ganze jetzt unübersichtlich vor. Ein Design ala Google Analytics wäre wünschenswert gewesen - da werden die Googler hoffentlich bald noch einmal den Pinsel schwingen. Feed-Statistiken Als bisher einzige Neuerung sind die Feed-Statistiken dazu gekommen, und auch diese sagen nur sehr wenig aus. Es wird einfach eine Liste mit allen verfügbaren Feeds und deren Abonnenten-Zahl angezeigt. Leider zählt hierbei nur die Zahl der Abonnenten die Google Services benutzen, genauer gesagt iGoogle, Google Reader und Orkut. Die Integration der Daten von FeedBurner wäre wirklich interessant. Eine Verbindung des Google Accounts mit FeedBurner steht ja noch an, und ab diesem Zeitpunkt könnten die beiden Dienst untereinander Daten austauschen und bei erfolgter FeedBurner-Installation für einen Feed auch an diesem Punkt eine komplette Statistik anzeigen. Noch steht das zwar in weiter Ferne, aber immerhin der Anfang ist getan ;-) P.S. Irgendwas kann bei den Daten übrigens nicht stimmen. Laut FeedBurner haben wir 2134 Google-Abonnenten für den Hauptfeed, aber laut obigem Screenshot gerade einmal 175. Hm? Das Feedburner falsche Daten liefert wissen wir ja schon lange, aber soo falsch? Hat jemand eine Idee? P.S.S. Darf ich die 20 feed.php-Nutzer bitten ihre Feed-URL auf googlewatchblog.de/feed zu ändern? :-D » Google webmaster Tools [thx to: Dennis & Tino Teuber]

Webmaster Tools mit verbesserter robots.txt-Analyse

Veröffentlicht am 16. August 2007 von Jens

Ein falscher oder fehlerhafter Eintrag in der robots.txt-Datei kann nicht nur ärgerlich sein, sondern unter Umständen auch die ganze Webpräsenz gefährden. Durch einen kleinen falschen Eintrag, kann man alle Suchmaschinen vom parsen ausschließen und schon sind die Besucherströme dahin. Um solchen Dinge vorzubeugen, hat Google den robots.txt-Parser der Webmaster Tools stark ausgebaut und verbessert.

Die Analyse der robots.txt zeigt jetzt nicht mehr nur die eigentliche Einträge an, sondern gibt auch Vorschläge und Hinweise über eventuell nicht beabsichtigte Dinge. Ein "Disalow" statt "Disallow" wird von Google akzeptiert, von anderen Suchmaschinen aber eventuell nicht - daher sollte man diesen Fehler ausbessern. Auch der fehlende Slash vor dem Verzeichnisnamen sollte dann - auf Vorschlag - dringenst nachgebessert werden. So langsam werden die Webmaster Tools wirklich unverzichtbar, vorallem bei der Einrichtung einer neuen Webpräsenz und deren anfänglicher Testphase. Ich persönlich brauche aber zumindest diesen Test nicht, da sich meine robots.txt lediglich auf den Aufenthaltsort der Sitemaps-Datei beschränkt ;-) » Ankündigung im Webmaster-Blog

Gefälschte Google-Mails im Umlauf

Veröffentlicht am 10. Mai 2007 von Jens

Zur Zeit verschicken Unbekannte massenhaft Mails im Namen von Google in denen Webmaster darauf hingewiesen werden dass ihre Webseite wegen einer Richtlinien-Verletzung aus dem Google-Index geflogen ist und bieten auch gleich ein Tool zum Download an mit dem dies rückgängig gemacht werden kann. Dabei handelt es sich natürlich nicht um Mails von Google und in der Datei könnte sich ein Trojaner verstecken. Folgende Mail wird derzeit massenhaft in mehreren Sprachen verschickt:

Sehr geehrter Seiteninhaber oder Webmaster der Domain [Domain], bei der Indexierung Ihrer Webseiten mussten wir feststellen, dass auf Ihrer Seite Techniken angewendet werden, die gegen unsere Richtlinien verstossen [...] Zurzeit sind Seiten von www.ix.de fuer eine Entfernung ueber einen Zeitraum von wenigstens 30 Tagen vorgesehen [...] Anbei erhalten Sie ein Google Webmastertool um Ihre Seite erneut zu indexieren.

Besonders dreist ist, dass die Mails den echten eMails von Google täuschend echt sehen und das angebotene Tool mit dem Namen "Google Webmaster Tool" ebenfalls an die echten Webmaster Tools erinnert und somit eine perfekte Täuschung provoziert. In der angehangenen Datei befinden sich derzeit zwar nur Befehle wie "cmd.exe c:clear complete harddisc" die nichts bewirken, aber dies könnte sich in der nächsten Mail-Runde natürlich ändern... Auf jeden Fall sollte man über die Mails kurz lachen, über die echtheit staunen und natürlich den Anhang nicht öffnen. Aber der Webmaster der auf so eine Mail reinfällt hat es natürlich auch nicht anders verdient... [heise]

Webmaster Tools: URL aus dem Index entfernen

Veröffentlicht am 19. April 2007 von Jens

Eigentlich ist es das Ziel von jedem Webmaster und SEOler möglichst weit oben und oft in Googles Suchergebnissen gelistet zu werden. Aber manchmal kann dann natürlich auch mal eine Seite im Index auftauchen die nicht für die Öffentlichkeit gedacht sind. Für solche Fälle gibt es jetzt den neuen Punkt "URL Removals" in den Google Webmaster Tools. Unter dem Menüpunkt "URL Removals" kann entweder eine einzelne Webseite, ein Bild, ein ganzes Verzeichnis, die gesamte Domain oder Subdomain oder eine gecachte Version einer Seite entfernt werden. Es können maximal 100 verschiedene Filter zu den Webmaster Tools hinzugefügt werden deren Dateien nicht mehr in der Web- oder Bildersuche auftauchen dürfen. Allerdings funktioniert das ganze nur wenn die Seite entweder nicht erreichbar ist oder via robots.txt oder robots-meta-text eh bald aus den Suchergebnissen verschwinden würde. Die Webmaster Tools tun also nichts weiteres als die URL-Entfernung ein wenig zu beschleunigen, sofort funktioniert es aber leider trotzdem nicht. Jede Entfernung wird anscheinend manuell bearbeitet, oder zumindest erst nach und nach aus den einzelnen Datenbanken entfernt, denn es dauert einige Stunden bis die Seite dann wirklich aus dem Index verschwunden ist. Unklar ist allerdings ob Webseiten mit Feeds dann auch aus den Google News oder der Blogsuche verschwinden. Denn es ist eindeutig nur die Rede von der Web- und Bildersuche. Dennoch ist das ein ganz nettes Feature, vorallem das entfernen von einer gecachten Version - schließlich gab es sogar deswegen schon einige Klagen. Mit diesem Tool nimmt Google jeder Klage den Wind aus den Segeln - gut gemacht ;-) » Ankündigung im Webmaster Zentrale Blog [thx to: Tino Teuber]