Google Assistant, Alexa, Cortana & Siri: Großer Test mit 5.000 Fragen vergleicht die Sprachassistenten

 

Sprachassistenten gehören mittlerweile zum Alltag und sind für viele Nutzer nicht mehr wegzudenken. Obwohl alle Unternehmen die Entwicklung aktiv und wohl auch mit hohem Budget vorantreiben, ist die Qualität der Assistenten teils sehr unterschiedlich. In einem großen Test offenbart sich nun wieder die Wahrheit, die mit nicht weniger als 5.000 Fragen überprüft wurde. Insbesondere Apple schneidet bei dem Test nicht gut ab.

Viele Hersteller arbeiten aktuell an Sprachassistenten, in der öffentlichen Wahrnehmung gibt es aktuell aber nur drei oder höchstes vier Produkte: Allen voran Google und Amazon. Siri kennt auch so gut wie jeder und natürlich auch noch Cortana von Microsoft. Auch Facebook arbeitet an einem Assistenten, wird diesen aber aller Voraussicht nach wegen des Datenskandals verschieben und erst spät(er) in den Markt einsteigen. Eine Bestandsaufnahme zeigt nun, wie die Assistenten untereinander abschneiden.

Der Versuchsaufbau war sehr simpel: Den Sprachassistenten wurden knapp 5.000 Fragen gestellt (4.952 um genau zu sein), deren Antworten nach mehreren Gesichtspunkten ausgewertet wurden. Als erstes ging es darum, ob die Frage verstanden wurde, dann ob es überhaupt eine Antwort gab, ob eine Drittquelle (meist Wikipedia) zum Einsatz kommt und dann natürlich auch, ob die Frage korrekt beantwortet wurde.

1. Rangliste: Wie viel Prozent der Fragen wurden beantwortet?

1. Google Assistant (Smartphone)
2. Google Assistant (Smart Speaker)
3. Microsoft Cortana
4. Amazon Alexa
5. Apple Siri

2. Rangliste: Wie viel Prozent der Fragen wurden korrekt beantwortet?

1. Google Assistant (Smartphone)
2. Microsoft Cortana
3. Google Assistant (Smart Speaker)
4. Amazon Alexa
5. Apple Siri

Interessant ist aber nicht nur der Status Quo, sondern auch die Entwicklung im Vergleich zum Vorjahr, als dieser Test schon einmal durchgeführt wurde. Hierbei zeigt sich, dass alle Hersteller am Umfang gearbeitet haben und nun geschlossen mehr Fragen als im Vorjahr beantworten können. Insbesondere Amazon kann hervorgehoben werden, dessen Sprachassistentin Alexa um mehr als 100 Prozent zulegen konnte. Google stagniert – was durch die seit Jahren umfangreichen Antworten aber nicht unbedingt schlecht sein muss.

Doch es zählt nicht nur die Quantität, sondern vor allem auch die Qualität. Mehr Antworten heißt nicht automatisch auch mehr korrekte Antworten. Tatsächlich kann nur Microsofts Cortana eine positive Entwicklung aufweisen und mehr Fragen als in der Vergangenheit korrekt beantworten. Alle anderen sind im Laufe eines Jahrs eher „dümmer“ geworden bzw. liefern nicht ganz die korrekte Antwort.

Aber falsch ist nicht gleich falsch, sondern es kann sich auch um Missverständnisse handeln, die es auch zwischen zwei Menschen immer wieder mal geben kann. Folgende Liste zeigt, was „falsche“ Antworten überhaupt sind.

• Die Frage hat möglicherweise mehrere Antwortmöglichkeiten. Beispiel: „Wie schnell ist ein Jaguar?“. Ein Jaguar kann ein Tier, ein Auto oder auch eine Gitarre sein
• Statt eine Frage direkt zu beantworten, wurde vielleicht eine Antwort zu einem stark verwandten Thema gegeben
• Der Assistent hat vielleicht nur eine halb richtige Antwort gegeben
• Der Assistent hat möglicherweise mit einem Scherz geantwortet
• Manchmal wird auch eine völlig falsch Antwort gegeben (was selten vorkommt

Wirklich schlecht ist keiner der Assistenten und eine 100 Prozent-Quote wird es niemals geben können, da das wie bereits gesagt auch zwischen zwei Menschen normalerweise nicht möglich ist – insbesondere bei gut 5.000 Fragen. Google und Amazon sind derzeit die Platzhirsche bei den Sprachassistenten und stecken am meisten Energie in die Weiterentwicklung und Promotion. Microsoft kommt auch sehr gut voran, insbesondere wenn man bedenkt, dass Cortana wohl nur sehr selten genutzt wird und aktuell noch kein Kernprodukt des Unternehmens ist.

Der vermeintliche Erfinder der Sprachassistenten hingegen tritt auf der Stelle und kommt nicht an der Konkurrenz vorbei. Natürlich hat Apple das Produkt nicht erfunden, den Markt aber soweit vorbereitet, dass Amazon und Google überhaupt erst beginnen konnten. Über die Gründe haben wir vor einigen Wochen schon berichtet: Apple hat die Abteilung selbst soweit ausgebremst, dass es gar nicht vorangehen konnte. Offenbar hatte man nicht damit gerechnet, wie sich der Markt entwickelt – das zeigt auch der späte Start des HomePod.

» Der große Test mit den 5.000 Fragen

Mehr zum Thema Siri vs. Konkurrenz
» Bericht: Apple hat Siris Vorsprung gegenüber Google Assistant & Alexa durch interne Fehler selbst verspielt
» Forscher: Der Google Assistant hat einen IQ eines sechsjährigen Kindes – Siri hat nur die Hälfte
» Vorsicht auf dem iPhone: Siri wählt bei bestimmten Zahlenfolgen automatisch den Notruf
» Überraschung bei Siri: Apple schmeißt Bing vom iPhone und verwendet ab sofort wieder Google
» Marktforscher: Apples Siri verliert Marktanteile an den Google Assistant, Cortana und Amazon

Siehe auch
» Google Assistant, Alexa & Siri: Alle Sprachassistenten nutzen Wikipedia, aber nur Google zahlt dafür
» Experiment: Wie lange können sich ein HomePod, Echo & Google Home gegenseitig beschäftigen? (Video)
» Studie: Alexa und Siri sind die bekanntesten Frauen in der IT-Branche ¯\_(ツ)_/¯

---

---