Eines der wichtigsten und meist-genutzten Angeboten von Google sind die Google Maps, sowohl im Browser als auch die App für Smartphones. Für den User stecken schon jede Menge Informationen in der Oberfläche, doch im Hintergrund sind die Maps ein wahres Datenmonster das ständig aktuell gehalten werden will. Ein Blick hinter die Kulissen des Kartenwerks.
Schlagwort: technik
Eines der wichtigsten und meist-genutzten Angeboten von Google sind die Google Maps, sowohl im Browser als auch die App für Smartphones. Für den User stecken schon jede Menge Informationen in der Oberfläche, doch im Hintergrund sind die Maps ein wahres Datenmonster das ständig aktuell gehalten werden will. Ein Blick hinter die Kulissen des Kartenwerks.
Dass Google umweltbewusster wurde, zeigt sich an der riesigen Solaranlage, die man letztes Jahr auf dem Dach des Google Plexes installiert hat. Nun möchte man die Server in der Firmenzentrale in Mountain View noch energiesparender und effizienter nutzen und plant Solid State Drives anstelle von Festplatten einzubauen.
Solid State Drives (SSDs) sind Flashspeicher und verbrauchen deutlich weniger Energie als normale Festplatten. Diese Energiesparer haben aber auch einen Nachteil: Die Anschaffung ist zur Zeit noch sehr teuer.
Da im Moment aber mehr SSDs nachgefragt werden als die Unternehmen fertigen können, ist es möglich, dass nun dieses Vorhaben von Google zur einer Knappheit von SSDs führen kann.
Bereits in anderthalb Monaten sollen die ersten Server mit SSDs ans Netz gehen. Dafür nötige Komponenten wie Flash-Chips wird Intel liefern, der Controller soll von Marvell bereitgestellt werden.
[Winfuture]
Wieviele Rechenzentren Google rund um die Welt betreibt bzw. in wieviele Zentren man sich eingemietet hat gilt als eines der größten Firmengeheimnisse - dementsprechend sind auch nur sehr wenige genaue Standorte bekannt. Der gesunde Menschenverstand sagt und, dass Google mittlerweile die Fläche einer Kleinstadt nur für sich beanspruchen wird - aber genau weiß das niemand. Die Website Royal Pingdom hat jetzt eine Karte veröffentlicht in der zumindest ein Großteil der Rechenzentren eingetragen ist.
In der Karte sind 36 Standorte eingetragen in denen Rechenzentren von Google vermutet werden - die Liste ist keinesfalls vollständig bzw. könnte auch Fehleintragungen enthalten. 19 der 36 Rechenzentren sind quer durch die USA verteilt, 12 in Europa, 3 in Asien und jeweils 1 in Russland und Südamerika. In Planung befinden sich derzeit angeblich Rechenzentren in Taiwan, Malaysia, Litauen und ein weiteres in South Carolina. » Karte der Rechenzentren » Liste der Rechenzentren
Der Leiter von Google Research, Peter Norvig, hat auf der "Emerging Technology"-Konferenz in San Diego einen Einblick in Googles Such- und Übersetzungstechnologie gegeben.
Aus diesem ergibt sich, dass das Unternehmen nicht nur auf komplizierte Modelle und Theorien setzt, sondern vor allem auch auf eine sehr große Menge an Daten. Bei der Übersetzung von Chinesisch-Englisch erklärt sich das am besten: Im Chinesischem bilden mehrere Schriftzeichen ein Wort, aber ein Schriftzeichen bedeutet gleichzeitig auch ein anderes bzw. eine andere Silbe.
Um halbwegs sinnvolle Chinesisch-Englisch Übersetzungen zu liefern, werde bei der Übersetzung Vergleichsdaten - Wahrscheinlichkeitstabellen - untersucht. Dann wird bei der Übersetzung eines Textes mit diesen Tabellen verglichen.
Sehr ähnlich ist es bei der Bildersuche. Bisher wurden nur die Metadaten eines Fotos verwendet. Das ergab eine hoche Fehlerquote. In Zukunft will man die ersten 1 000 Bilder der Ergebnisse vergleichen und dann Ähnlichkeiten feststellen. Haben zwei Bilder viele Punkte gemeinsam werde sie als ähnlich und damit relevant eingestuft.
Laut Norvig ist die Datenmenge das Problem der Start-ups. Google habe durch große Serverfarmen genügend Speicher um solche Tabellen anzulegen.
[Winfuture]
Zur Zeit fahren die StreetView-Cars durch Neuseeland und schießen Fotos für die dortige lokalisierte Maps-Version. Ein Neuseeländer hat eines der Autos entdeckt und hat, nach Einverständnis des Fahrers, einige Fotos vom Auto geschossen - inklusive Innenraum. Schöne detailierte Fotos, Sehenswert!
» Fotos vom StreetView-Auto
[Googlified]
Google Translate ist eines der ältesten Dienste von Google und tut auch heute noch seinen Dienst und wird ständig weiter entwickelt - aber wird erst seit heute komplett eigenständig von Google betrieben. Bisher wurde die zur Übersetzung nötige Software von Systran lizenziert - doch dieser Vertrag ist ausgelaufen und ab heute übersetzt Google mit eigener Technik.
Zum ersten mal eingesetzt wurde die hauseigene Technik vor fast 1,5 Jahren in der arabischen Übersetzung und nach und nach auf die russischen und chinesischen Übersetzungen ausgeweitet. Dieses System scheint gut funktioniert zu haben, so dass man sich jetzt komplett auf die eigene Technik verlässt und diese z.B. auch bei English-German einsetzt.
Einen Qualitätsunterschied kann ich zur Zeit noch nicht feststellen, es ist weder besser noch schlechter geworden - also zumindest scheint die Technik von Google soweit zu funktionieren dass sie mit einer auf dieses Gebiet spezialisierten Firma konkurrieren kann ;-)
[Google OS]
So gut wie jeder Google-Dienst hat mittlerweile einen eigenen Blog und all diese Blogs sind so geschrieben als wenn ein Mitarbeiter in seiner Mittagspause mal eben etwas erzählt oder neue Errungenschaften ankündigt. Doch ganz so einfach ist das natürlich nicht, ein Unternehmen - gerade so ein Geheimniskrämer wie Google - muss aufpassen welche Informationen rausgehen und welche nicht. Hier kommt Karen Wickre ins Spiel. Karens Job bei Google trägt die Bezeichnung "editor & ?gatekeeper", liebevoll auch "Mutter der Google-Blogs" genannt und ist dafür verantwortlich jedes einzelne Blog-Posting vor der Veröffentlichung zu checken. Nicht nur die Ausdrucksweise, die eventuell zuviel genannten Informationen oder Ungenauigkeiten werden von ihr ausgebessert, sondern auch mal ein ganzes Posting gelöscht wenn es einfach unrelevant und unnötig ist. Jedes Blog-Posting wird, bevor es von Karen freigegeben wird, von mehreren an diesem Projekt beteiligten Personen gelesen und zusätzlich nochmal von der PR-Abteilung abgesegnet (Google sieht seine Blogs als PR der anderen Art). Intern werden alle Postings mit Google Docs erstellt und an die betreffenden Personen weitergeleitet die dann Einsicht nehmen können und eventuell Dinge verbessern können. Karens Job ist es jetzt, die Postings nicht zu verfremden sondern in ihrer Grundform zu belassen, den privaten Teil nicht herauszukürzen und einfach nur die Seele eines jeden Artikels beizubehalten. Das ist nicht immer ganz so leicht - vorallem bei der Masse der Blogs und Postings - aber Karen gibt ihr bestes ;-) P.S. Ich weiß nicht wie alt Karen ist, aber sie ist bestimmt eine der ältesten Googler :-D Sind doch sonst alles so Jungspunde... » Interview mit Karen Wickre bei SearchEngineLand [Google Blogoscoped]
Googles Suchbox sieht von Natur aus unscheinbar aus. Wir geben den Suchstring ein, warten 1 Sekunde und bekommen eine Liste mit Ergebnissen präsentiert - alles ganz easy, kann jeder. So denken wohl 99% der (DAU?)-User - aber wie läuft so eine Google-Suche wirklich ab? Was passiert im Hintergrund und wieviele tausend Server setzt der kleine "Google Search"-Button in Bewegung?
Portfolio.com hat sich einmal die Mühe gemacht das ganze in 10 Schritten zu ordnen und diese ausführlich zu erklären. Ich habe das ganze für euch hier auf deutsch übersetzt:
1. Die Suchanfrage
Alles beginnt mit der Eingabe einer mehr oder weniger sinnvollen Suchanfrage.
2. Die Suche nach dem Cluster
Die Software im Hintergrund wählt automatisch den Cluster aus welcher die Suche durchführen wird. Die Auswahl basiert unter anderem auf der geographischen Nähe zum User und auf der aktuellen Auslastung.
3. Der Cluster
Die Suchanfrage wird an den Cluster gesendet und dort weiter verarbeitet
4. Die Web-Server
Die Such-Software gibt einigen Hundert bis Tausend Rechnern jetzt die Aufgabe nach der Anfrage zu suchen - mit Teamarbeit kommt man schneller ans Ziel ;-)
5. Index Server
Die einzelnen Rechner durchsuchen jetzt den Index-Server nach passenden Dokumenten zum Suchbegriff. Beliebte Suchanfragen werden für einige Stunden zwischengespeichert um sie nicht jedes mal neu ausführen zu müssen.
6. Document Server
Sind die nötigen Dokumente dann gefunden, werden der Titel, der Textauszug und einige weitere Daten aus dem jeweiligen Suchergebnis vom Dokument-Server geladen. Dieser enthält die eigentlichen Daten und eine komplette Kopie des öffentlich zugänglichen Internets.
7. Rechtschreibkorrektur
Nachdem die Suchergebnisse zusammengestellt sind, wird noch einmal eine Qualitätskontrolle durchgeführt. Hat sich der User vielleicht vertippt? Gibt es mehr Ergebnisse wenn die beiden Worte zusammengeschrieben werden? Für solche Aufgaben wird die Suchanfrage noch einmal durch den "Spelling Server" gejagt. Dieser gibt dann eventuell einen besseren Suchvorschlag zurück der dann oberhalb der Suchergebnisse präsentiert wird.
8. AdWords-Server
Damit die ganze Mühe und Arbeit der Server nicht umsonst war, müssen die Suchergebnisse noch monetarisiert werden. Die Suchanfrage wird noch ein drittes mal über die Server gejagt, diesmal auf der Suche nach passenden AdWords-Anzeigen.
9. Page Builder
All diese Informationen werden vom Page Builder jetzt noch schon säuberlich in eine HTML-Datei verpackt und können endlich an den Browser zurück geschickt werden - im bekannten Google-Design.
10. Voila
Und all das passiert in weniger als einer halben Sekunde...
» Portfolio.com: How Google Works
In den letzten Wochen und Monaten hat das YouTube-Team hart daran gearbeitet die Geschwindigkeit und Verfügbarkeit der Webseite und der enthaltenen Videos zu erhöhen. Dazu wurde eine komplett neue Datenbank mit komplett neuer Infrastruktur entwickelt, die Server stark aufgestockt und alle User-Accouns sowie Videos nach und nach in die neue Datenbank umgezogen - und alles ohne das der User etwas davon gemerkt hat. Zwar hat das Team schon lange Zeit an der Verbesserung gearbeitet, aber nur einmal vor 2 Tagen hat man es als User gemerkt - zu der Zeit hat YouTube für einige Stunden keine Videos, Kommentare oder User entgegen genommen - war also in einem View-Only-Modus. Das Team vergleicht diese Arbeit mit einem Motorwechsel während man über die Autobahn rast, ich kann es sehr gut nachvollziehen ;-) Ich denke die Technik die jetzt im Hintergrund werkelt dürfte von Google kommen - die kennen sich schließlich mit starken Serverbelastungen und hoher Verfügbarkeit sehr gut aus. Die Videos dürften jetzt also komplett auf Googles Servern liegen, statt wie bisher auf YouTube-Servern die nur von Google zwecks Videosuche indiziert werden. Man darf gespannt sein welche Features hier in Zukunft folgen werden. P.S. Die Ladezeiten bei einigen, nicht allen, Videos hat sich wirklich deutlich erhöht - Respekt YouTube! » Ankündigung im YouTube-Blog
Dass die Google-Produkte intern etwas anders aussehen als die öffentlich zugänglichen Versionen dürfte jedem klar sein. Hier werden alle neuen Funktionen den Googlern zur Verfügung und zum Test gestellt. Aus einem unbekannten Grund hat der Google-Server Tony Ruscoe als Googler erkannt und ihm eine interne Version des Calendars präsentiert. Inklusive neuem Feature und vielen internen Informationen.
Die auffälligste Änderung ist ein neuer Button, der das durchsuchen von öffentlich zugänglichen Kalendern anbietet. Der Button ersetzt den "Websearch"-Button, der sicherlich so gut wie nie benutzt wurde und deswegen entfernt worden ist. Neben diesem Button erscheint dann noch ein kleines internes Menü mit einem Link zum Changelog - welcher natürlich so einige interessante Details offeriert. Details aus dem Changelog: » Der Calendar läuft auf 113 Servern » Pro Tage und Server werden 317 neue Termine hinzugefügt (was mir sehr sehr wenig erscheint - vielleicht nur intern) » SMS-Nummer nicht mehr auf bestimmte Vorwahlen beschränken, da die zu oft wechselt Den kompletten Changelog gibt es hier: » Changelog Google wird sicherlich nicht erfreut sein dass nun soviele Zahlen öffentlich zugänglich gewesen sind, vorallem für die Konkurrenz. Auch muss sich Google fragen wie so etwas passieren konnte, anscheinend hat irgendein Provider Ruscoe eine Google-interne IP-Adresse vergeben (wer hat da geschlampt?) - so dass der Server guten Gewissens die Infos rausgegeben hat. Die neue Durchsuchen-Funktion, die nun sicherlich bald veröffentlicht wird, ist ebenfalls schon längst überfällig gewesen - sonst machen öffentliche Kalender ja kaum einen Sinn. Wenn genügend Personen und Firmen ihren Kalender pflegen können hier sicherlich auch einige sehr wertvolle Informationen gefunden werden. » Posting bei Tony Ruscoe » Changelog [Googlified]