Überblick über die Funktionen der 16 GoogleBots
Den GoogleBot kennt wohl jeder Webseiten-Betreiber – er ist dafür zuständig quasi das gesamte Web abzugrasen und zu indexieren, der Datenlieferant für die Websuche. Was aber kaum jemand weiß: Er hat noch 15 Brüder!
Insgesamt 16 Bots aus dem Hause Google hat SEO-United aufgelistet, darunter befinden sich auch der FeedFetcher, der AdSense-Bot und der Video-Bot. Aufgelistet werden sie mit ihren jeweiligen Homepages, dem ungefähren Intervall in dem sie vorbeischauen und ob sie angestoßen werden müssen oder Webseiten automatisch aufrufen.
Natürlich durchforstet nicht jeder Bot das ganze Web, dies ist einzig und allein dem GoogleBot vorbehalten. Alle anderen werden nur bei Bedarf bzw. im „Auftrag“ des GoogleBots oder von AdSense & co losgeschickt. Andere, wie z.B. Translate oder Site Verification werden auch direkt im Auftrag des Users auf den Weg gebracht.
» Komplette Liste bei SEO-United
GoogleWatchBlog bei Google News abonnieren | GoogleWatchBlog-Newsletter
Warum werden vom Googlebot eigentlich nicht alle Seiten indexiert ? Kleines Beispiel: Auf einer meiner Seiten Freakinthecage Webdesign habe ich per XML Sitemap 110 Seiten übermittelt, indexiert wurden aber nur 41 wobei die indexierten Seiten mit der Zeit mehr werden. Nach welchen Kriterien werden die Seiten ausgesucht ? Relevanz ?
Woran siehst du wieviele Seiten indexiert wurden? In der Websuche oder in den Webmaster Tools?
In den Webmastertools…