Eventuell denkst Du jetzt noch:
“Vermutlich kein Titel, den ein hilfreicher Artikel tragen sollte.”
Denn Du möchtest vermutlich eher wissen, wie ein guter Fragebogen aussieht.
Wie es der Zufall will, haben wir vor ein paar Wochen >>einen Artikel darüber geschrieben, wie ein solcher Fragebogen aussehen kann.
In diesem Artikel hatten wir allerdings ebenfalls das Thema Verzerrungseffekte angerissen und gefragt, ob ihr dazu einen eigenen Beitrag sehen wollen würdet.
Denn diese Phänomene bieten tatsächlich genügend Material und hätten an der Stelle einfach zu weit geführt.
Nachdem wir von Euch die entsprechende Resonanz bekommen haben, kommt hier nun also der zweite Teil, bei dem sich alles darum dreht, wie man gute Fragen aus Versehen ruinieren kann:
Das Hauptproblem: Voreingenommenheit
Ergebnisverfälschungen passieren bei Umfragen und empirischen Erhebungen sehr häufig.
Die Ursache lässt sich in den allermeisten Fällen auf einen gemeinsamen Nenner zurückführen: Den Menschen!
Um genauer zu sein, auf die Voreingenommenheit des Menschen. Denn wir sind oftmals nicht so gut in Sachen Objektivität, wie wir annehmen.
Das gilt im Übrigen auch für die Befragten. Auch sie sind zu einem gewissen Grad von ihrer Voreingenommenheit belastet und können durch ihr Antwortverhalten die Ergebnisse verfälschen.
Kleine Fehler schleichen sich schnell ein und sind in den meisten Situationen sogar vollkommen unbeabsichtigt. Sie resultieren einfach aus der Tatsache, dass uns totale Objektivität schwer fällt.
Denn schließlich führen wir Befragungen meistens zu Themen durch, über die wir eine Menge wissen oder die uns persönlich angehen. Beide Faktoren können dazu führen, dass wir die Fragen unbewusst suggestiv stellen.
Wir haben Hypothesen, Antworten, die uns wahrscheinlich erscheinen oder Antworten, die wir uns wünschen würden. Von all diesen müssen wir uns so weit wie möglich lösen und die Fragen neutral und wertungsfrei formulieren.
Diese 5 Fehler bei der Frageformulierung oder dem Design führen dabei besonders häufig zu Messfehlern:
Die Tendenz zum “Ja-Sagen”
Wenn unsere Feedback-Ergebnisse insgesamt sehr einstimmig positiv ausfallen, können wir uns erst einmal freuen.
Im nächsten Schritt sollten wir uns aber auch fragen, ob bei unserem Fragebogen-Design eventuell die Nuancen gefehlt haben.
Die Zustimmungstendenz kann von einigen Faktoren ausgelöst werden.
Einerseits ist es der urmenschliche Drang nach Konformität. Wir sind gerne höflich und geben freundliches Feedback – vor allem, wenn uns im Grunde nicht viel gestört hat oder wir etwa mit der Lehrperson sehr vertraut sind.
Trotzdem hätten wir vielleicht einige, kleinere Verbesserungsvorschläge gehabt, die durch mangelnde Nuancierung verloren gehen.
Ermutige die Teilnehmenden immer zu Ehrlichkeit und konstruktiver Kritik und beeinflusse durch die Fragestellung ihre Meinung nicht in eine bestimmte Richtung.
Deshalb ist es auch grundsätzlich immer wichtig, dass wir Antworten auf einer breiteren Skala als nur Ja/Nein erheben. Auch einige offene Fragen können das Bild abrunden.
Die Tendenz zur Mitte
Da wir gerade von Skalen sprechen: Eine der häufigsten Antwortverzerrungen entsteht durch die Tendenz zur Mitte.
Wenn Du also neben den zwei Extrema noch eine mittlere Option hinzufügst, werden sich wahrscheinlich viele Befragte aus Prinzip hier einpendeln.
Denn tatsächlich “fürchten” sich viele Menschen vor den Antwortoptionen an beiden Enden. Um diesen Effekt abzuschwächen, sollten wir dafür sorgen, dass es bei einer Skala keine Mitte gibt.
Die Anzahl der möglichen Antworten sollte also immer gerade sein. Denn so müssen Befragte eine tatsächliche Tendenz zu einer Meinung entwickeln und können nicht prinzipiell die vermeintlich sicherste Antwort geben.
Denn diese wählen sie im Übrigen oft auch, wenn sie eigentlich gar keine wirkliche Meinung haben. Aus diesem Grund solltest Du darüber hinaus auch grundsätzlich keine Antworten erzwingen.
Erzwungene Antworten sind meistens ohnehin von einem oder sogar mehreren Verzerrungseffekten belegt und daher als Ergebnis wenig wertvoll. Sorge lieber durch ein durchdachtes Fragebogen-Design dafür, dass sich Teilnehmende natürlich zum Antworten ermutigt fühlen.
Primacy/Recency Bias
Diese Verzerrungseffekte werden vor allem durch die Reihenfolge der Antwortmöglichkeiten hervorgerufen.
Primacy Bias bedeutet, dass die ersten Optionen mit höherer Wahrscheinlichkeit gewählt werden – vor allem, wenn die Frage sehr umfangreich ist und es viele Möglichkeiten gibt. Denn dann ermüden Teilnehmende schnell und befassen sich eventuell nicht ausreichend mit allen.
Recency Bias entsteht dadurch, dass die zuletzt gelesenen Antworten am stärksten im Gedächtnis bleiben und damit einprägsamer sind.
Beide Effekte lassen sich teilweise dadurch einschränken, dass die Antwort-Reihenfolge automatisch variiert wird. Über moderne Online-Tools ist das normalerweise problemlos möglich, denn es handelt sich hier um ein sehr bekanntes Phänomen.
Diese Rotation kann ausgleichend wirken. Gleichzeitig sollten wir aber auch das eigentliche Auftreten dieser Verzerrungen dadurch minimieren, dass wir Antwort-Optionen in vernünftigen Grenzen halten.
Füge lieber noch eine offene Option hinzu, bei der Befragte eine eigene Antwort geben können. Über das “Sonstige: ____” Feld deckst Du tatsächlich häufig Antworten auf, die Du nicht bedacht hattest.
Wenn dieses Feld bei einer Frage besonders häufig ausgefüllt wird, solltest Du sehr genau hinschauen. Denn hier haben Deine Befragten offenbar Redebedarf oder Bedürfnisse, die noch nicht ausreichend berücksichtigt werden!
Soziale Erwünschtheit
Dieser Verzerrungseffekt ist vor allem für Dich relevant, wenn Du mit sensibleren oder persönlichen Themen umgehst.
Wir haben bereits die Tendenz des Menschen zur Konformität erwähnt. Soziale Erwünschtheit geht noch einen Schritt weiter.
Hier geht es nicht mehr nur um Höflichkeit, sondern auch um die eigene Selbstdarstellung. Das führt dazu, dass Menschen Fragen so beantworten, wie sie es für erwartet halten – unabhängig davon, ob das ihrer eigenen Meinung oder Realität entspricht.
Schritt 1 für möglichst unverzerrte Antworten sollte natürlich ohnehin immer die Zusicherung der Anonymität sein.
Doch auch die Frageformulierung ist hierfür besonders wichtig. Versuche wirklich, keine Antwort zu suggerieren oder erwünschtes Verhalten nahezulegen.
“Faking” und/oder Unseriosität
Der Vollständigkeit halber müssen wir noch erwähnen, dass Antwortverfälschungen auch einfach durch die Befragten entstehen können.
Sie können sich als Menschen natürlich bewusst dazu entscheiden, ihre Antworten auf ein bestimmtes Ziel hin zu verändern. Vielleicht fürchten sie unterbewusst auch negative Konsequenzen, da sie nicht genügend auf die Anonymität vertrauen.
Es kann auch sein, dass sie einfach “keinen Sinn” in der Befragung sehen oder in diesem speziellen Moment keine Lust haben. Dann kreuzen sie wahllos an, um einfach fertig zu werden. Solche Ergebnisse sind für die eigentliche Auswertung selbstverständlich wertlos.
Der Tipp zum Abschluss
In den meisten Fällen, wie bei einem Feedback-Bogen, wirst Du es vermutlich nicht mit riesigen Datensätzen zu tun haben.
Deshalb kannst Du es Dir vermutlich leisten, das Antwortverhalten der Einzelnen genauer zu analysieren. So kannst Du oftmals erkennen, ob sich Verzerrungen oder Tendenzen eingeschlichen haben könnten.
Denn ähnlich wie die Tendenz zur Mitte gibt es im Übrigen auch sogenannte Härte-oder Milde-Fehler. Denn auch wenn die Mehrheit der Menschen eher zur Mitte tendiert, gibt es genauso einzelne Menschen, die zu den Extrema tendieren.
Wenn Du Dir daher individuelle Verhaltenstrukturen anschaust, kannst Du solche Muster schnell aufdecken. Du kannst auch sehen, ob das Antwortverhalten konsistent ist.
Auf dieser Basis kannst Du besser bewerten, welche Ergebnisse wirklich aussagekräftig sind und welche unter Umständen verzerrt/verfälscht worden sind. Hoffentlich hast Du aber durch ein durchdachtes Design bereits dafür gesorgt, dass die Verzerrungen auf ein Minimum reduziert wurden!
