1 Billionen oder eine 1 mit 12 Nullen – 1.000.000.000.000 – ist eine gigantische Zahl. Vor einigen Tagen hat der Google Bot die Billionste unique URL gefunden. Alle Seiten sind nicht in den Index aufgenommen.
Kleiner Rückblick: Der erste Google Index von 1998 hatte 26.000.000 Seiten, 2000 waren es eine Milliarde.
Wie findet der Bot so viele unique Webseiten? Eigentlich ist es ganz einfach. Google lässt den Bot auf einige bekannte Webseiten los und gibt dem Bot den Befehl allen Links zu folgen. Auf den verlinkten Seiten geht der Vorgang wieder von vorne los. So erreicht man sehr schnell viele Seiten.
Google hat sogar mehr als 1 Billion Seiten gefunden, aber nicht alle davon waren einzigartig (unique). Oft gibt es Texte, die über mehrere URL erreichbar sind, aber exakt Wort für Wort gleich sind. Diese wurden für den Meilenstein abgezogen. Täglich kommen einige Milliarden solcher Duplikate hinzu, schreiben Jesse Alpert & Nissan Hajaj auf dem Google Blog.
Bis vor einigen Jahren wurde auf der Startseite die Zahl der indexierten Seiten angezeigt.