Pixel 4: So funktioniert der neue Portrait Modus auf den Pixel-Smartphones – Google gibt interessante Einblicke
Google hat mit den Pixel 4-Smartphones eine Reihe von neuen Kameratricks eingeführt, die für noch beeindruckendere Fotos sorgen und zum Teil auch Aufnahmen ermöglichen, an die mit vielen anderen Smartphones und teilweise auch Digitalkameras gar nicht zu denken ist. Der Portrait Modus gehört mit zu diesen Kameratricks, die bereits mit der zweiten Pixel-Generation eingeführt und jedes Jahr immer weiter verbessert wurden. Jetzt gibt Google einen detaillierten Einblick, wie das Ganze funktioniert.
Die Kamera ist seit Beginn der Pixel-Serie in jedem Jahr das Highlight der Smartphones und eines der großen Argumente, mit denen sich Google von der Konkurrenz abheben möchte. Auch wenn man dabei in diesem Jahr nicht den Thron erobern konnte, schafft man doch immer wieder beeindruckende Ergebnisse und wächst zum Teil in der Nische. Der Portrait Modus gehört nicht unbedingt in die Nische, ist aber längst auch bei allen anderen Smartphone-Herstellern angekommen und bei neuen Flaggschiffen ein Standard.
Smart Home: Diese 57 Geräte & Geräteklassen lassen sich vom Google Assistant steuern (offizielle Liste)
Google hat den Portrait Modus mit den Pixel 4-Smartphones weiter verbessert und liefert jetzt nicht nur qualitativ bessere Ergebnissen, sondern führt die Aufnahme auch sehr viel schneller als bisher durch. Das liegt zum einen daran, dass das Kamera-Team nun endlich auf mehr als eine Linse zugreifen kann, zum anderen aber auch daran, dass die KIs und Algorithmen im Hintergrund weiter verbessert wurden. Wie das genau erreicht wurde, beschreibt das KI-Team nun in einem sehr detaillierten und technisch tiefergehenden Beitrag.
Was ist überhaupt der Portrait Modus? Dieser Modus hebt Personen auf Fotos sehr stark hervor, in dem diese sehr scharf dargestellt werden, während der gesamte Hintergrund unscharf wird. Mit großen DSLR-Kameras ist das seit sehr vielen Jahren ein Standard und absolut keine Neuheit, aber mit dem winzigen Kamerasensor in den Smartphones wird das zu einer technischen Herausforderung. Die Aufgabe der KI ist es dabei, den Hintergrund vom Vordergrund zu unterscheiden und die entsprechenden Effekte anzuwenden. Ohne, dass es künstliche wirkt.
Für die Trennung von Vordergrund und Hintergrund nutzt man einen einfach klingenden, aber in der Umsetzung sehr komplizierten Trick: Den Parallax-Effekt. Dazu wird auf die Bewegung geachtet, denn weit entfernte Objekte bewegen sich bei der Drehung der Kamera mehr als die Personen und Objekte im Vordergrund. Für das menschliche Auge ist das kaum sichtbar, aber die Algorithmen analysieren jeden Pixel und können die beiden Bereiche so sehr zuverlässig trennen. Weil die Pixel 4-Smartphones nun endlich über zwei Linsen mit einem Abstand von exakt 13 Millimetern verfügen, lässt sich das noch leichter und schneller anwenden.
Wurden die groben Bereiche erst einmal abgesteckt, geht es daran, die Objekte und Personen vollständig zu erkennen. Dazu kommen viele KI- und Fototricks zum Einsatz, die die Zugehörigkeit jedes einzelnen Pixels sehr schnell zuordnen können. Schon in der Vergangenheit hat sich gezeigt, dass Googles KIs dazu in der Lage sind, selbst im Wind wehende lange Haare perfekt vom Hintergrund zu trennen. Hier spielt vor allem der Pixel Visual Core eine große Rolle, der sehr viel Rechenarbeit übernimmt.
Eine Tiefenkarte hilft dabei, einzelne Bereiche voneinander zu trennen, so wie ihr das auf den Bildern hier im Artikel und auch im Google AI-Blog sehen könnt. Dabei kann dank der Rechenpower auf jedes einzelne Detail geachtet werden.
Sind alle Bereiche dann zuverlässig getrennt, geht es darum, mit welcher Methode der Hintergrund unscharf geschaltet werden soll. Dabei wird zwischen den beiden auf obiger Animation sichtbaren Methoden unterschieden. Die Ergebnisse sind für einen Laien sehr ähnlich, stellen für Fotografen aber wohl einen großen Unterschied dar und haben einen entscheidenden Einfluss darauf, wie real ein solches Foto schlussendlich wirkt. Den scharf dargestellten Menschen im Vordergrund bekommt schließlich jeder hin.
—
Wer sich für die vielen technischen Details interessiert, kann einfach mal im Google AI-Blog (siehe Quelle) vorbeischauen. Dort wurde erst vor wenigen Wochen auch die Funktionsweise der Astrofotografie sehr ausführlich beleuchtet – es ist doch immer wieder beeindruckend, wie viel Googles KI-Ingenieure aus der nach wie vor recht bescheidenen Hardware herausholen können.
Seit wenigen Tagen lässt sich der Portrait Modus auch nachträglich anwenden, in dem das Bild direkt in Google Fotos bearbeitet wird.
GoogleWatchBlog bei Google News abonnieren | GoogleWatchBlog-Newsletter
Teile diesen Artikel:
