Was wären die diversen Social Networks und Messenger in der heutigen Zeit nur ohne Sticker? Manch einer hasst sie und manch einer liebt sie, aber die Verbreitung ist kaum noch zu stoppen. Das Team des Allo-Messengers hat sich deswegen etwas besonderes einfallen lassen und hat vor gut zwei Wochen die Selfie Sticker eingeführt. In einem Blogpost erklärt das Research-Team nun, wie die Erstellung dieser personalisierten Sticker funktioniert.
Es gibt Sticker-Packs zu allen möglichen Themen, aber personalisierte Sticker dürften derzeit nur die wenigsten besitzen bzw. machen sich gar nicht erst die Mühe ein solches zu erstellen. Allo hat dafür eine einfache Funktion eingeführt, die auf Basis eines Nutzer-Selfies innerhalb weniger Minuten vollautomatisch ein ganzes Paket an Stickern erstellt. Dazu wird das Gesicht des Nutzers in eine Comicfigur übertragen und diese dann mit verschiedenen Ausdrücken und Accessoires ausgestattet.
Auch wenn das Ergebnis simpel aussieht, steckt hinter der Erstellung dieser Sticker natürlich eine ganze Menge und die Entwicklung dieser Funktion hat viel Zeit und Ressourcen in Anspruch genommen. Wenig überraschend kommt zur Erstellung der einzelnen Grafiken für die Sticker eine Künstliche Intelligenz zum Einsatz, die das Foto des Nutzers analysiert und die wichtigsten Details und Merkmale des Gesichts herausfiltert. Dazu wird das Bild nicht Pixel für Pixel durchsucht, sondern es kommen diverse bereits bestehende Algorithmen zum Einsatz, die exakte Teile des Gesichts erkennen und so etwa die Kopfform, Augenfarbe, Haare und mehr herausfiltern können.
Durch die seit vielen Jahren trainierten Algorithmen zur Erkennung von Gesichtern funktioniert das relativ zuverlässig, so dass die wichtigsten Informationen schnell extrahiert werden können. Anschließend springt die KI wieder ein und muss die erstellten Grafiken mit den Erfahrungen und Bewertungen der Testnutzer der Vergangenheit abgleichen. An obigem Foto zur Auswahl des Haarteils ist das sehr gut zu erkennen. Den menschlichen Testern wurden solche Beispiele vorgelegt und sie sollten beantworten zu welcher Person das erstellte Gesicht am besten passt. Dadurch hat die Software die Auswahl der richtigen Elemente der Comicfiguren gelernt.
In dem Prozess der Erstellung kommen auch Abwandlungen des Deepdream-Algorithmus zum Einsatz, der sich in der Vergangenheit schon als Künstler betätigt hat.
Um die Figuren zum Leben zu erwecken stehen den Algorithmen viele verschiedene Gesichtsausdrücke und Accessoires zur Verfügung, mit denen die Gesichter wieder etwas verfälscht werden können. Was auf den ersten Blick lustig und interessant aussehen soll, hat auch den Zweck dass der Charakter des Nutzers nicht korrekt dargestellt werden muss – und auch nicht kann. Anhand eines Fotos lässt sich dieser auch schwer auslesen, und je nach dem wem man diese Sticker zeigt, wird auch ein anderes Bild von einer Person haben.
Damit die Gesichter auch zuverlässig erstellt werden können haben Grafiker viele Tausend einzelne Teile gezeichnet und in die Software eingepflegt. Insgesamt lassen sich aus diesen Grafiken rein mathematisch 563 Billiarden verschiedene Gesichter erstellen, so dass es relativ wahrscheinlich ist dass für alle Menschen korrekte Versionen erstellt werden können.
Anschließend kann jeder Nutzer die erstellten Selfies noch bearbeiten und an die eigenen Vorgaben anpassen. Zwar wird es im Posting nicht erwähnt, aber sicherlich fließen auch diese Veränderungen mit in die Algorithmen ein, die dadurch wieder lernen dass ein anderes Element vielleicht doch besser gewesen wäre.
» Ausführlicher Artikel im Google Research Blog