Bewertungen: Mangelhaft, aber fünf Sterne

Wissenschaftler haben herausgefunden, dass Stiftung Warentest und Amazon-Käufer manche Produkte oft unterschiedlich bewerten.

Mehr als 1400 Amazon-Kunden sind sich weitgehend einig: Wer sein Haus mit einer Kamera überwachen will, trifft mit der "Instar IN-6014HD" eine gute Wahl. Fast drei Viertel der Amazon-Rezensenten vergeben fünf Sterne, nur fünf Prozent geben dem Produkt lediglich ein oder zwei Sterne - für manche eine klare Kaufempfehlung. Die Stiftung Warentest sieht das ganz anders. 2017 verglichen die Tester 16 Überwachungskameras für den Innen- und Außenbereich. Beide Instar-Geräte landeten mit der Note "Mangelhaft" auf dem letzten Platz. Die Kameras seien anfällig für Hacker, kontaktierten Internetserver in China und stellten Benutzername und Passwort unverschlüsselt ins Netz. In den negativen Kundenbewertungen auf Amazon findet sich davon nichts: Meist ist nur von technischen Problemen die Rede.

4,5 Sterne auf Amazon, eine Schulnote von 5,0 bei der Stiftung Warentest: Was nach einem Ausreißer klingt, kommt häufig vor. Wissenschaftler der Technischen Universität Dortmund haben die Bewertungen von Hobbyrezensenten und Profitestern analysiert. Ihr Fazit: Amazon-Bewertungen sind bei vielen Produkten ungeeignet, um eine Kaufentscheidung zu treffen. Die Ergebnisse der Warentester unterscheiden sich oft drastisch von den Online-Rezensionen.

Für ihre Untersuchung haben die Forscher knapp 2500 Elektronikprodukte zusammengetragen, welche die Stiftung Warentest 2014 bis 2017 bewertet hat. Rund die Hälfte davon wurde auf Amazon mindestens fünf Mal rezensiert. In weniger als einem Drittel der Fälle erhielt der Testsieger der Stiftung Warentest die besten Kundenbewertungen. In einigen Produktgruppen waren die Bewertungen sogar umgedreht: Was auf Amazon gefällt, fällt bei der Stiftung durch - wie die Instar-Kamera.

Dass sich viele Käufer vorher an Online-Bewertungen orientieren, lockt auch Betrüger an

Bis zu einem gewissen Grad lässt sich die teils große Diskrepanz erklären. Wer eine Online-Bewertung abgibt, hat meist eine klare Meinung: Das Produkt macht große Freude oder großen Ärger. Abwägende Drei-Sterne-Bewertungen sind auf Amazon selten, ein Großteil der Rezensenten lobt oder schimpft. Im Labor ist die Verteilung genau umgekehrt: Wenige Produkte sind perfekt oder ungenügend, dafür gibt es ein breites Mittelfeld. Außerdem erfassen die professionellen Tester viele Kriterien, die normale Käufer gar nicht überprüfen können. Sie zerlegen Kopfhörer und untersuchen sie auf krebserregende Substanzen, beauftragen externe Ingenieure, analysieren die Datenströme von Überwachungskameras.

Hinzu kommt, dass die Stiftung Warentest zwar wissenschaftliche Tests macht, die Endnote aber nur eingeschränkte Aussagekraft hat. Manchmal werten die Tester Produkte ab, weil die Deklaration auf dem Etikett falsch ist oder Grenzwerte für bestimmte Schadstoffe knapp überschritten werden. Für manche Nutzer mag es wichtig sein, ob das Smartphone den Falltest in der Metalltrommel unbeschadet übersteht. Andere stecken ihr Handy in eine Hülle und legen mehr Wert auf die Qualität der Kamera, die bei der Stiftung Warentest nur 15 Prozent der Gesamtnote ausmacht. Ein gutes oder befriedigendes Gerät kann für die eigenen Ansprüche besser geeignet sein als ein Produkt mit sehr guter Gesamtbewertung.

Es gibt aber noch weitere Gründe für die unterschiedlichen Bewertungen. Dass sich viele Käufer vorher an Online-Rezensionen orientieren, lockt Betrüger an. Manche Hersteller erstatten nach Fünf-Sterne-Bewertungen den Kaufpreis zurück, teils zahlen sie Geld für Kaufempfehlungen. Immer wieder decken Verbraucherschützer systematischen Betrug auf, und Amazon löscht Zehntausende Fake-Bewertungen.

Auch deshalb hat Amazon ein eigenes Modell entwickelt, um die Gesamtbewertung eines Produkts zu berechnen. Die Anzahl der Sterne entspricht nicht dem Durchschnitt aller Rezensionen. Vielmehr vertraut Amazon auf maschinelles Lernen und berücksichtigt unterschiedliche Faktoren. Dazu zählen das Alter der Bewertung und die Beurteilung anderer Nutzer: Wenn viele Kunden eine Rezension für nützlich halten, wird die entsprechende Kritik höher gewichtet. Das wissen aber natürlich auch die Betrüger und versuchen, das System trotzdem zu manipulieren.

Dennoch können Kundenrezensionen hilfreich sein: Wenn mehrere Nutzer dieselben Mängel beschreiben, deutet das auf eine reale Schwachstelle hin. Hier hilft es auch, die Rezensionen zu filtern. Um die Glaubwürdigkeit einer Bewertung zu beurteilen, kann es helfen, sich das Profil des Rezensenten anzusehen. Wer Dutzende Überwachungskameras bewertet, hat entweder ein außergewöhnliches Hobby oder finanzielle Motive.

Die Seite Reviewmeta.com analysiert Amazon-Kundenrezensionen und gewichtet nach eigenen Kriterien. Sie berücksichtigt mehr Faktoren als Amazon und bezieht andere Bewertungen der jeweiligen Rezensenten, identische Passagen, verdächtige Wortwiederholungen und die Länge der Kommentare mit ein. Auf dieser Grundlage ordnet Reviewmeta Rezensionen nach Glaubwürdigkeit und vergibt eine neue Gesamtnote. Auch dieses System ist nicht perfekt: Die Instar-Kamera fällt zwar - aber nur von 4,5 auf 4,1 Sterne.