Gemini Live: KI im Alltag – das sind die starken neuen Funktionen der Kamera- und Displayfreigabe (Videos)

 

Google hat vor wenigen Tagen den Startschuss für die Gemini Astra Display- und Kamerafreigabe gegeben, die endlich die visuellen Möglichkeiten des KI-ChatBots vollständig ausspielen soll. Nutzer haben die Möglichkeit, sowohl die Android-Oberfläche als auch das Live-Kamerabild freizugeben und darauf basierend eine Unterhaltung mit Gemini zu führen. Jetzt zeigt Google, was sich daraus für Einsatzbereiche ergeben.

Gemini Live hat sich jetzt vom KI-ChatBot mit permanenter Konversation in einen echten Assistenten verwandelt, der durch visuelle Quellen sehr viel mehr Informationen erhalten und verarbeiten kann und somit auch mehr Hilfestellungen geben kann. Die vor langer Zeit gezeigte Unterstützung in der realen Welt ist jetzt für viele Nutzer möglich und wird noch vor dem breiten Start der Smart Glasses ausgiebig getestet werden können.

Jetzt hat Google eine Reihe von Einsatzmöglichkeiten veröffentlicht und zeigt damit, was ihr mit der Gemini Live Medienfreigabe so alles tun könnt. Vom Onlineshopping über den Stilberater bis zum Brainstorming und sogar persönlichem Innenarchitekten ist einiges dabei, das schon in der ersten Generation des Produkts verwendet werden kann.

Personalisierte Shopping-Beratung

Die Displayfreigabe kann dazu verwendet werden, mit Gemini einen virtuellen Shoppingtrip zu starten. Öffnet einfach ein gewünschtes Produkt in einem beliebigen Onlineshop und Gemini wird euch Tipps geben, ähnliche Produkte zeigen können, Einkaufslisten zusammenstellen können, eine Stilberatung geben oder auch einfach nur die Preise vergleichen. Ihr könnt Gemini sogar bestimmte Produkte zeigen und nach Tipps für Zusatzprodukte oder dazu passende Produkte befragen. Nutzt dazu eure Kamera, um eure eigene Garderobe zu präsentieren. Erhaltet sofortiges Feedback zu eurer Auswahl und trefft auf diese Weise fundierte Entscheidungen.

Reparaturen und Fehlerbehebung

Das schon im vergangenen Jahr erstmals gezeigte Haupteinsatzgebiet von Gemini Live ist es, Dinge in der physischen Welt zu analysieren und den Nutzern Tipps zu geben, wie sie etwas lösen können. Damals wurde das Beispiel eines Plattenspielers gezeigt, der nicht mehr richtig funktioniert hat. Gemini Live hatte in dieser Demo das Produkt erkannt, das Modell erkannt, die falsch positionierte Nadel erkannt und konnte anschließend eine Hilfestellung geben, wie das Gerät korrekt genutzt wird. Ein beeindruckendes Zusammenspiel aus visueller Erkennung, Fehlersuche, Informationsaufbereitung und Vermittlung.

Das neue Beispiel ist aktuell nicht mehr ganz so beeindruckend, zeigt aber, dass diese Funktionalität grundsätzlich umgesetzt wurde und im Laufe der Zeit sicherlich sehr schnell lernen wird. Wie ihr im obigen Video sehen könnt, hat der Nutzer Probleme mit seiner Internetverbindung und fragt Gemini um Hilfe. Gemini erkennt das Gerät und gibt den klassischen Standard-Tipp, das Gerät doch einfach einmal auszuschalten und dann wieder einzuschalten.

Man hat das wohl denkbar schlechteste Beispiel genommen, aber dennoch wird der Einsatzbereich ersichtlich: Nutzer sollen Gemini zur Assistenz nutzen, um selbst Dinge zu erledigen. Spannend wäre es so etwas bei der für Laien machbaren Reparatur von Produkten, für die korrekte Verwendung von Geräten und mehr.

Lernen und weiterentwickeln

Gebt ihr euer Smartphone-Display für Gemini frei, kann es den Displayinhalt ständig analysieren, die gezeigten Informationen aufsaugen und euch informieren, Details zusammenfassen oder Tipps zur Optimierung geben. Die Tipps reichen von der Textanalyse über die Bildgestaltung bis zum Layout eurer Webseiten. Gemini kann eure Inhalte sowie Verbesserungspotenziale analysieren und euch personalisierte Empfehlungen geben, damit ihr einen bleibenden Eindruck hinterlasst.

In der physischen Welt aufräumen

Wenn das mal nicht zur echten Killerfunktion wird: Gebt ihr die Kamera frei und zeigt Gemini eure Wohnung, dann kann der KI-ChatBot gar eine Umgestaltung vorschlagen. Im obigen Videobeispiel wird danach gefragt, ob der Sessel an einer besseren Positioniert abgestellt werden könnte und nach einer kurzen Raumanalyse kommt Gemini zum Schluss, dass dieser schon an der optimalen Position steht. In diesem Fall ist das eher eine Bestätigung, aber grundsätzlich könnte da sicherlich noch viel mehr daraus werden. Mit Augmented Reality vielleicht auch eine Umpositionierung.

Brainstorming mit allen Medien

Gemini kann per Displayfreigabe auch zum Brainstorming zur Entwicklung von neuen Ideen verwendet werden. Zeigt einfach eure Entwürfe, Ideen, Zeichnungen, inspirierende Diagramme, Collagen oder sonstiges und Gemini kann euch Ideen liefern, das kreative Schreiben unterstützen oder auch Tipps zum Basteln liefern.

[Google-Blog]

---

---