Gemeinsam mit Android Marshmallow wurde auch Now on Tap vorgestellt, eine erweiterte Funktion von Google Now, mit der dem Nutzer Informationen zum aktuellen Bildschirminhalt angezeigt werden können. Bisher bezog sich die Erkennung lediglich auf den gerade angezeigten Text und den daraus gewonnen Informationen, in Zukunft wird aber auch eine intelligente Texterkennung auf Fotos zum Einsatz kommen. Bei einigen Nutzern funktioniert dies jetzt schon, und es werden Texte auf Bildern erkannt.
Mit Now on Tap wollte Google die Stärken von Now in den Alltag des Nutzers bringen und ihn mit einem einfachen Tastendruck mit relevanten Informationen zur aktuellen Ansicht geben. Now analysiert dabei den gerade sichtbaren Text und zeigt dazu passende Informationen aus der Websuche, Routen, Öffnungszeiten oder viele weitere verfügbare Informationen an. Doch bisher wurde der Text nur aus den Apps ausgelesen, nicht aber aus Bildern.
Bei einigen Nutzern funktioniert die Texterkennung (OCR) bereits und es werden auch Texte oder sogar Logos erkannt und mehr Informationen zu diesen angezeigt. Obiges Beispielfoto zeigt, dass der Text von einem Pullover problemlos erkannt wurde und zu der Marke Informationen angezeigt und auch aktuelle News eingeblendet werden. Aktuell dürfte diese Erkennung aber nur bei einer handvoll von Nutzern getestet werden, denn bei den meisten funktioniert es noch nicht. Bei einigen funktioniert es auf einem Smartphone und mit dem gleichen Foto auf einem anderen Smartphone nicht.
Google verfügt seit vielen Jahren über eine starke Texterkennung, die unter anderem auch beim Google Drive bzw. Google Docs zum Einsatz kommt. Allerdings müssen diese Bilder zur Erkennung an Googles Server gesendet werden, weswegen man wohl bisher auf eine solche Funktion innerhalb von Now on Tap verzichtet hat. Möglicherweise wird die Funktion auch in Zukunft nur optional sein, da das versenden von Screenshots natürlich auch ordentlich am Datenkontingent des Nutzers knabbern kann.
Schon vor vielen Jahren hat Google die leider vergessen Goggles-App vorgestellt und eine Zeit lang regelmäßig aktualisiert. Dabei handelt es sich um eine intelligente Erkennung von Inhalten auf Fotos, womit Texte, Logos, berühmte Bauwerke oder viele andere Dinge erkannt und danach im Web gesucht werden kann. Leider wurde die App seit Jahren nicht weiter entwickelt und dürfte schon längst auf der Abschussliste stehen.
Da die Technologie also schon seit langer Zeit da ist, wird es Zeit dass mit Now on Tap endlich ein offizieller Nachfolger vorgestellt wird, der über den gleichen Funktionsumfang verfügt und dem Nutzer zusätzliche Informationen einblenden kann. Laut AndroidPolice soll die Funktion derzeit auch innerhalb der Kamera-App funktionieren, so dass man sich praktisch Informationen zu allem liefern kann was man möchte. Auch das war bzw. ist mit Goggles möglich.