Google BigQuery mit JSON Unterstützung

 

Google hat in dieser Woche mal wieder ein Update für den Service Google BigQuery veröffentlicht. Mit diesem können Entwickler nun auch JSON für ihre Anwendungen verwenden. 

JSON bietet gegenüber CSV, welches Google anfangs verwendet hat, einige Vorteile. So entfällt nun das Duplizieren von Daten, wenn man diese zu CSV konvertierte. Einige Beispiele für die JSON sinnvoll ist, sind diese:

• Logfiles mit mehreren Headers und anderen Name-Value-Paaren
• Aktivitäten der User session mit Informationen, die jede Aktivität verschachtelt aufführt.
• Sensordaten, die unterschiedliche Variablen bei der Messung berücksichtigt.

Der Nutzer kann nun bis zu 1TB an Daten pro „load job“ einfügen und dabei pro Datei 100GB an unkomprimierten JSON oder CSV einfügen. Weiterhin hat Google das Limit von 2 Importen pro Minute abgeschafft und übernimmt nun automatisch eine Warteschlange, wenn es nötig ist.

So habe man die Zeit für das Verarbeiten von 3TB von 12 Stunden auf 36 Minuten verkürzen können. Google hat ein neues Ingestion Cookbook veröffentlicht, das erklärt wie man die weiteren Vorteile der neuen Limits erklärt.

Wer selbst mal schon vorbei bei Google was testen möchte, kann sich bei Google nun im Trusted Tester Programm bewerben. In diesem Test geht es darum, wie man die seine Daten aus der App Engine Datastore zu BigQuery für eine Analyse exportieren kann. Wer Lust hat, kann sich hier anmelden. Google berücksichtigt aber natürlich nicht jeden der der sich bewirbt und man muss vermutlich auch einen Geheimhaltungsvertrag unterzeichnen.

Weitere Infos zu gibt es in der englischsprachigen Ankündigung.

---

---