In einem früheren Beitrag über voreingenommene Umfragefragen haben wir erläutert, wie sich schlechte Umfragefragen (z. B. Leitfragen oder doppelte Fragen) negativ auf Ihre Umfrageergebnisse auswirken können. In diesem Beitrag befassen wir uns mit der anderen Hauptursache für irreführende Umfragedaten: Umfrageverzerrungen.
Lassen Sie uns zunächst die Voreingenommenheit als Ganzes definieren: Voreingenommenheit wird definiert als "eine Neigung des Temperaments oder der Einstellung". Der Begriff taucht häufig in der Soziologie und Psychologie auf, weil er mit Vorurteilen oder Bevorzugung in Verbindung gebracht wird. Aber wie zeigt sich Voreingenommenheit in Umfragen?
Umfrageverzerrung ist ein "systematischer Fehler, der in Stichproben oder Tests durch die Auswahl oder Förderung eines Ergebnisses oder einer Antwort gegenüber anderen eingeführt wird". Diese "Ermutigung" zu einem bestimmten Ergebnis führt zu einer Verzerrung der Umfrage, bei der Sie möglicherweise nur eine Art von Kundenperspektive erhalten.
Es gibt zwei Hauptbereiche für die Verzerrung von Kundenumfragen, die Sie vermeiden sollten, damit Sie nicht in die Falle tappen, Geschäftsentscheidungen auf verzerrte Umfrageergebnisse zu stützen:
- Selektionsverzerrungen, bei denen die Ergebnisse auf eine bestimmte Weise verzerrt sind, weil Sie nur das Feedback eines bestimmten Segments Ihrer Zielgruppe erfasst haben.
- Antwortverzerrungen, bei denen die Art und Weise, wie der eigentliche Fragebogen aufgebaut ist, eine bestimmte Art von Antworten begünstigt, was zu Messfehlern führt.
Betrachten wir zunächst die drei wichtigsten Arten von Auswahlverzerrungen, die sich auf Ihre Ergebnisse auswirken können, nämlich Stichprobenverzerrung, Nonresponse-Verzerrung und Überlebensverzerrung.
1. Stichprobenverzerrung: Vollständige Repräsentation
Bei jeder Art von Umfrage besteht das Ziel darin, Rückmeldungen von Personen zu erhalten, die die Zielgruppe repräsentieren, an der Sie interessiert sind - oder, in statistischen Begriffen, Ihre "Stichprobe". Stichprobenverzerrungen treten auf, wenn Sie nur von einem bestimmten Teil Ihrer Zielgruppe Feedback erhalten und alle anderen ignorieren. Dies ist häufig der Fall, wenn ein Kundensegment bei der Umfrage nicht berücksichtigt wird und möglicherweise nicht zur Teilnahme an der Umfrage eingeladen wurde.
Ein Software-as-a-Service (SaaS)-Unternehmen hat wahrscheinlich mehrere Käufer-Personen, die jeweils auf unterschiedliche Weise mit dem Produkt interagieren - sagen wir, der Analyst, der sich jeden Tag einloggt, um taktische Arbeit zu erledigen, der Manager, der den Fortschritt überprüft und die Ergebnisse überwacht, und ein Direktor, der die Rechnungen bezahlt und für den Nachweis der Investitionsrendite (ROI) verantwortlich ist. Je nachdem, wie Sie die Umfragen verteilen (wie oft und über welchen Kanal), könnten Sie am Ende nur das Feedback einer Teilmenge Ihres Kundenstamms erhalten, was zu einer Verzerrung der Stichprobe führt.
Das Gleiche gilt für den Einzelhandel. Wenn Sie Kunden haben, die sowohl online als auch persönlich bei Ihnen einkaufen, aber nur Umfragen per E-Mail an den Online-Kundenstamm senden, entgeht Ihnen das Feedback derjenigen, die im Laden gekauft haben. Ihre Ergebnisse enthalten dann eine Stichprobenverzerrung.
Manchmal ist es beabsichtigt, eine bestimmte Gruppe von Personen aus einer Umfrage herauszufiltern. Sie könnten zum Beispiel nach sehr spezifischem Feedback zu einer neuen Softwarefunktion suchen und brauchen dazu die Meinung Ihrer Power-User. Oder Sie versuchen, Ihr E-Commerce-Erlebnis zu verbessern, und möchten daher wirklich nur Feedback von denjenigen, die den gesamten Online-Einkaufsvorgang durchlaufen haben.
Wenn dies der Fall ist, ist es wichtig, in Ihrem Umfragebericht einen Vorbehalt anzubringen, indem Sie angeben, welche Bevölkerungsperspektive Ihre Ergebnisse widerspiegeln und inwiefern dies mit Ihren Umfragezielen übereinstimmt.
Wie man die Stichprobenverzerrung reduziert
Um Stichprobenverzerrungen zu vermeiden, müssen Sie möglicherweise ein paar Schritte zurückgehen und sicherstellen, dass bei der Erstellung der Umfrage niemand übergangen wurde.
Hier sind einige Schritte zu beachten:
- Machen Sie sich klar, wozu Sie Feedback wünschen, wer dieses Feedback geben könnte und wie Sie dieses Feedback erhalten werden. Die Darstellung der wichtigsten Berührungspunkte der Customer Journey für jede Ihrer Buyer Personas ist eine gute Möglichkeit, damit zu beginnen.
- Stellen Sie sicher, dass die Verteilungsmethode und der Zeitpunkt Ihrer Umfrage für diese Kunden sinnvoll sind. Ist eine E-Mail-Umfrage oder eine Web-Umfrage besser geeignet? Für Ihre Power-User ist eine In-App-Umfrage wahrscheinlich eine sichere Sache, während eine E-Mail-Umfrage im Anschluss an eine vierteljährliche Unternehmenspräsentation für jemanden auf Geschäftsführer- oder Manager-Ebene besser geeignet ist.
Sobald Sie genau wissen, wer Ihre Umfrage erhalten soll und wie Sie die Umfragen versenden werden, besteht Ihre nächste Aufgabe darin, die Teilnehmer zum Antworten zu bewegen.
2. Verzerrung durch Nichtbeantwortung: Menschen zum Antworten bringen
Selbst wenn Sie Ihre gesamte Kernzielgruppe in Ihre Umfrage einbezogen haben, gibt es immer noch keine Garantie, dass sie Ihre Umfrage beantworten werden.
Inaktive Nutzer oder Personen, die Ihr Produkt vor sehr langer Zeit gekauft haben, werden wahrscheinlich nicht antworten, da sie sich nicht gut an ihre Erfahrungen erinnern können. Möglicherweise haben sie auch kein hilfreiches Feedback zu geben. Andererseits werden Leute, die viel in Ihr Unternehmen investiert haben und Ihren Service häufig nutzen, wahrscheinlich eher antworten und ein qualitativ hochwertigeres Feedback geben können.
Wichtig ist, dass Sie die Repräsentativität derjenigen, die geantwortet haben, für die Zielgruppe, die Ihnen wichtig ist, im Auge behalten. Wenn die Beantwortungsquote Ihrer Umfrage niedrig ist, aber alle wichtigen Interessengruppen vertreten sind, ist es vielleicht weniger wichtig, dass Sie versuchen, die Zahl der Teilnehmer an Ihrer Umfrage zu erhöhen. Wenn Sie jedoch einen Blick auf die Verteilung der Beantwortungen werfen und feststellen, dass nur Nutzer eines bestimmten Produkts, einer bestimmten Altersgruppe oder eines bestimmten Geschlechts antworten, sollten Sie versuchen, die Beantwortungsrate in diesen Bereichen zu erhöhen, um Ihr Feedback abzurunden.
Auch die Angst vor Konsequenzen kann Menschen davon abhalten, zu antworten. Stellen Sie sich eine Mitarbeiterbefragung vor, bei der Sie nach der Arbeitsbelastung fragen oder versuchen, Feedback von direkten Vorgesetzten zu erhalten. Wenn das Unternehmen die Erwartungen an die Anonymität nicht festgelegt hat, antworten Mitarbeiter mit negativen Meinungen vielleicht gar nicht.
Wie man Non-Response-Bias reduziert
Wenn Sie nicht das nötige Feedback erhalten, gibt es mehrere Möglichkeiten, die Beantwortungsquote zu erhöhen und gleichzeitig die Qualität des Feedbacks zu erhalten. Ähnlich wie bei der Lösung zur Verringerung von Stichprobenverzerrungen kann es sein, dass Ihnen Feedback entgeht, weil Ihre Verteilungsmethode oder der Zeitpunkt der Umfrage nicht stimmt.
Hier sind einige unserer besten Tipps zum Ausprobieren:
- Passen Sie den Zeitpunkt der Umfrage an die Art des gewünschten Feedbacks an. Bitten Sie beispielsweise um Feedback zum Kundenservice, unmittelbar nachdem ein Problem gelöst wurde.
- Halten Sie Ihre Umfrage kurz (und lassen Sie die Teilnehmer wissen, dass sie kurz ist), damit sie eher bereit sind, an der Umfrage teilzunehmen.
- Probieren Sie verschiedene Verteilungsmethoden für Umfragen aus (E-Mail, Web oder Link) und stellen Sie sicher, dass Sie für jede Verteilungsmethode die besten Praktiken anwenden.
- Bei sensibleren Themen sollten Sie die Teilnehmer darauf hinweisen, dass die Umfrage anonym ist und ihre Antworten keine Konsequenzen haben werden.
Eine vollständige Liste von Taktiken finden Sie in diesem Leitfaden zur Steigerung der Beantwortungsquote von Umfragen.
3. Stichprobenverzerrung durch Überleben: Einholung einer zweiten Meinung
Ein Survivorship Bias tritt auf, wenn Ihre Umfrage auf Kunden, Klienten und Mitarbeiter beschränkt ist, die Ihnen über einen längeren Zeitraum treu geblieben sind. Wie Sie sich vorstellen können, kann sich deren Feedback stark von der Meinung derjenigen unterscheiden, die Ihr Unternehmen verlassen haben.
Es ist vielleicht nicht immer möglich, diese verlorenen Kontakte zu erreichen, aber Sie könnten wertvolle Daten gewinnen, wenn Sie diese Stichprobe in Ihre aktuelle Umfrage aufnehmen.
Wie man die Überlebensverzerrung reduziert
Führen Sie bei abgewanderten Kunden und Mitarbeitern, die das Unternehmen verlassen wollen, Austrittsbefragungen durch. Versuchen Sie, ihre Gründe zu verstehen, damit Sie sie in Zukunft berücksichtigen können. Umfragen zum Verlust von Interessenten, bei denen Sie potenzielle Kunden fragen, warum sie nicht zu tatsächlichen Kunden geworden sind, sind eine weitere gute Quelle für Feedback zum Wachstum Ihres Unternehmens.
Nachdem wir nun die wichtigsten Arten von Auswahlverzerrungen, die sich auf Ihre Kundenumfragen auswirken können, durchgesprochen haben, lassen Sie uns nun über Antwortverzerrungen sprechen.
Um es klar zu sagen: "Antwortverzerrung" ist nicht das Gegenteil von "Nonresponse-Bias". Der Non-Response-Bias konzentriert sich darauf, was passiert, wenn diejenigen, die Ihre Umfrage erhalten, sich entscheiden, nicht zu antworten. Bei der Antwortverzerrung geht es um gesellschaftliche oder Umfragekonstrukte, die die tatsächliche Qualität der Umfrageantworten beeinflussen können.
4. Voreingenommenheit durch Duldung: Wenn es nur um "Ja" geht
Es ist zwar immer schön zu hören, dass man toll ist, aber manchmal fragt man sich, ob das wirklich stimmt. Wenn alle Ihre Umfrageergebnisse positiv ausfallen, könnte das ein Ergebnis der Voreingenommenheit oder des "Ja-Sager-Phänomens" sein.
Gesellschaftliche Normen und Umfragemüdigkeit sind einige Faktoren, die zu einer Voreingenommenheit bei der Zustimmung führen. Es ist leicht, aus Höflichkeit "ja" zu sagen, auch wenn es nicht stimmt. Wenn Sie dann noch eine lange oder komplizierte Umfrage aufsetzen, könnten die Leute müde werden, durchdachte Antworten zu geben, und nur noch positive Antworten geben, um die Fragen zu überstehen.
Beachten Sie, dass diese Normen von Land zu Land unterschiedlich sind. An manchen Orten vermeiden die Menschen vielleicht zu harte oder zu positive Bewertungen und tendieren eher zu Durchschnittswerten.
Glücklicherweise gibt es einige Möglichkeiten, Ihren Fragebogen so zu gestalten, dass eine Verzerrung durch Zustimmung vermieden wird.
Wie man Duldsamkeitsvorurteile abschwächt
Der beste Weg, um die Gefahr einer Voreingenommenheit zu minimieren, besteht darin, sorgfältig formulierte Fragen und Antwortskalen zu verwenden, so dass Sie es Ihren Kunden leicht machen, ihren Beitrag zu leisten, ohne das Gefühl zu haben, dass die gewünschte Antwort einfach nicht dabei ist.
- Variieren Sie Ihre Fragen und Antworten, und verwenden Sie neben Skalenfragen auch Multiple-Choice-Fragen. Im Folgenden finden Sie eine Übersicht über die verschiedenen Arten von Fragen, die Sie in Ihrer Umfrage verwenden können.
- Verwenden Sie keine Suggestivfragen, die in der Regel vorgeben, was Sie hören möchten, und nicht, was jemand tatsächlich fühlt.
- Vermeiden Sie Fragen mit knappen Antworten, die nur ein "Ja" oder "Nein" zulassen, da sie den Befragten nicht genügend Nuancen zur Auswahl bieten.
- Verwenden Sie eine Antwortskala, die nicht so leicht zu einer Voreingenommenheit führt (z. B.: "Definitely will not, Probably will not, Don't know, Probably will, Definitely will")
- Wenn Sie eine internationale Umfrage mit der SoftwareCES , CSAT oder NPS durchführen, sollten Sie das offene Feedback mit der ursprünglichen Bewertung vergleichen, um festzustellen, ob kulturelle Normen die Bewertung verzerren.
5. Verzerrung der Reihenfolge der Fragen: Streben nach Konsistenz
Die Verzerrung der Reihenfolge der Fragen, auch bekannt als Reihenfolgeeffekte, kann Ihre Umfrageantworten durch "Priming" und den Wunsch der Befragten, intern konsistente Antworten zu geben, verzerren.
Betrachten Sie zum Beispiel diese beiden Fragen:
- Wie zufrieden sind Sie mit Ihrem Leben insgesamt?
- Wie zufrieden sind Sie mit Ihrer Ehe?
Studien haben gezeigt, dass die Beantwortung der allgemeineren Frage, wie glücklich die Menschen insgesamt sind, beeinflusst wird, wenn man die spezifischere Frage zur Ehe zuerst stellt. Spezifischere Fragen geben den Kontext vor, und die allgemeinere Frage wird zu einer Zusammenfassung der Gefühle der Befragten auf der Grundlage der zuvor gestellten Fragen. Wenn sie antworten, dass sie in ihrer Ehe glücklich sind, werden sie auch eher sagen, dass sie insgesamt glücklich sind, weil sie den Wunsch haben, innerlich konsistent zu bleiben.
Der Grund dafür ist, dass sich die Befragten daran erinnern, wie sie bei jeder Frage geantwortet haben, und dass sie alle Fragen auf die gleiche Weise beantworten wollen. Es wurde festgestellt, dass die Reihenfolge der Fragen in einer Vielzahl von Szenarien verzerrt ist. In diesem Artikel erfahren Sie mehr über Beispiele und die Auswirkungen der Verzerrung der Reihenfolge von Fragen.
Wie man die Verzerrung der Reihenfolge von Fragen einschränkt
Das Ziel Ihrer Umfrage kann sich darauf auswirken, wie Sie mit einer Verzerrung der Reihenfolge der Fragen umgehen. Hier sind einige Methoden, die Sie je nach Ihrer Situation ausprobieren können:
- Testen Sie Ihre Umfrage mit Blick auf das Priming
- Beginnen Sie bei Umfragen zur Zufriedenheit mit einer allgemeinen Frage, die das gesamte Erlebnis misst, bevor Sie spezifische Fragen zu jedem Teil des Erlebnisses stellen
- Bei Marktforschungsumfragen die Reihenfolge der Fragen randomisieren
- Fragen nach Themen gruppieren, aber die Reihenfolge der Fragen innerhalb eines Themas zufällig festlegen
6. Reihenfolge der Antwortoptionen/Primacy Bias: Auch die Reihenfolge der Antworten ist wichtig
Auch die Reihenfolge der Antworten auf die einzelnen Fragen hat einen Einfluss darauf, wie die Kunden auf Ihre Umfrage reagieren, insbesondere bei Multiple-Choice-Fragen. Es gibt zwei Arten von Verzerrungen in der Reihenfolge: Primacy Bias und Recency Bias.
Primacy bias bedeutet, dass man sich für die ersten Antwortmöglichkeiten entscheidet, da man sich möglicherweise nicht die Zeit genommen hat, alle Antwortmöglichkeiten durchzulesen. Recency bias bedeutet, dass die Befragten die letzte Antwort in der Liste wählen, da diese letzte Option die "jüngste" und damit einprägsamere Antwort ist.
Wie man eine Verzerrung der Antwortreihenfolge vermeidet
Zunächst einmal sollten Sie bedenken, dass die Reihenfolge der Antworten nur bei Multiple-Choice-Fragen beeinflusst wird. Bei einer Frage mit Bewertungsskala, bei der die Reihenfolge selbst eine Rolle spielt, sollten Sie die Reihenfolge der Antworten nicht zufällig festlegen. Dies wäre verwirrend und würde zu ungenauen Antworten führen.
Im Folgenden finden Sie einige Möglichkeiten, die Reihenfolge der Antwortoptionen bei Multiple-Choice-Fragen nicht zu verfälschen:
- Die Reihenfolge der Antwortmöglichkeiten zufällig festlegen
- Begrenzen Sie die Liste der Antwortmöglichkeiten, aber fügen Sie eine freie Antwortmöglichkeit hinzu, um alle Möglichkeiten zu erfassen, die Sie möglicherweise übersehen haben.
7. Soziale Erwünschtheit/Konformitätsverzerrung: Der Coolness-Faktor
Während bei der Duldungsverzerrung mit "Ja" oder "Ja" geantwortet wird, bedeutet die Verzerrung durch soziale Erwünschtheit, dass Menschen Fragen so beantworten, dass sie glauben, dadurch gut (oder sozial attraktiver) dazustehen. Sie passen sich an akzeptable Normen an, was dazu führen kann, dass sie bei ihren Gewohnheiten, Überzeugungen und persönlichen Vorlieben übertreiben.
Insbesondere "schlechte" oder "ungesunde" Lebensgewohnheiten (wie Trinken, Rauchen, Ausdruck negativer Gefühle oder andere negative Gewohnheiten) können falsch dargestellt werden. Ausgehend von diesem allgemeinen Konzept könnte eine Person rassistische, sexistische oder andere intolerante Assoziationen vermeiden, indem sie sich im Umfrageformular falsch darstellt. Sie möchte nicht negativ wahrgenommen werden.
Manche Menschen übertreiben auch bei demografischen Informationen wie Einkommen, Bildung oder anderen sozialen oder Lebensstil-Faktoren, unabhängig davon, ob die Umfrage anonym ist.
Wie man die soziale Erwünschtheit reduziert
Diese Art von Fragen werden in der Regel am Ende der Kundenbefragung gestellt, wenn Sie versuchen, mehr über die demografischen und psychografischen Daten der Kunden zu erfahren. Eine sorgfältige Formulierung der Fragen und die Überprüfung der Antworten auf Konsistenz können Ihnen helfen, die Auswirkungen der sozialen Erwünschtheit zu erkennen und zu verringern.
- Anonyme Antworten zulassen
- Überprüfen Sie sorgfältig, wie Sie Ihre Fragen und Antworten formuliert haben
- Verwenden Sie neutrale Fragen, die eine Verzerrung durch soziale Erwünschtheit vermeiden
- Zufällige Auswahl von Fragen aus dem Repository der Möglichkeiten
- Vergleichen Sie die Antworten mit dem, was Sie über Ihre Kunden durch frühere Antworten oder Ihre vorhandenen Kundendaten wissen.
Zusammenfassung
Auswahl- und Antwortverzerrungen kommen in jeder Umfrage vor, aber die Einhaltung bewährter Verfahren für den Umfrageentwurf kann ihre Auswirkungen minimieren. Es ist vielleicht nicht möglich, alle Formen von Verzerrungen aus jeder Umfrage zu entfernen, aber wenn Sie sich sorgfältig auf Ihr Ziel konzentrieren und Strategien anwenden, um die häufigsten Verzerrungen in Umfragen effektiv zu beseitigen, sollten Sie in der Lage sein, die gewünschten Ergebnisse zu erzielen.
Sie können sich auch auf kostenlose Umfrageanbieter wie Delighted verlassen, die eine Komplettlösung für Kundenzufriedenheitsumfragen und die Ressourcen bereitstellen, die Sie benötigen, um die Erstellung von Umfragen einfach, rationell und effektiv zu gestalten.
