So ruinierst Du einen Fragebogen!

Eventuell denkst Du jetzt noch:
“Vermutlich kein Titel, den ein hilfreicher Artikel tragen sollte.”

Denn Du möchtest vermutlich eher wissen, wie ein guter Fragebogen aussieht.

Wie es der Zufall will, haben wir vor ein paar Wochen >>einen Artikel darüber geschrieben, wie ein solcher Fragebogen aussehen kann.

In diesem Artikel hatten wir allerdings ebenfalls das Thema Verzerrungseffekte angerissen und gefragt, ob ihr dazu einen eigenen Beitrag sehen wollen würdet.

Denn diese Phänomene bieten tatsächlich genügend Material und hätten an der Stelle einfach zu weit geführt.

Nachdem wir von Euch die entsprechende Resonanz bekommen haben, kommt hier nun also der zweite Teil, bei dem sich alles darum dreht, wie man gute Fragen aus Versehen ruinieren kann:

Das Hauptproblem: Voreingenommenheit

Ergebnisverfälschungen passieren bei Umfragen und empirischen Erhebungen sehr häufig.

Die Ursache lässt sich in den allermeisten Fällen auf einen gemeinsamen Nenner zurückführen: Den Menschen!

Um genauer zu sein, auf die Voreingenommenheit des Menschen. Denn wir sind oftmals nicht so gut in Sachen Objektivität, wie wir annehmen.

Das gilt im Übrigen auch für die Befragten. Auch sie sind zu einem gewissen Grad von ihrer Voreingenommenheit belastet und können durch ihr Antwortverhalten die Ergebnisse verfälschen.

Kleine Fehler schleichen sich schnell ein und sind in den meisten Situationen sogar vollkommen unbeabsichtigt. Sie resultieren einfach aus der Tatsache, dass uns totale Objektivität schwer fällt.

Denn schließlich führen wir Befragungen meistens zu Themen durch, über die wir eine Menge wissen oder die uns persönlich angehen. Beide Faktoren können dazu führen, dass wir die Fragen unbewusst suggestiv stellen.

Wir haben Hypothesen, Antworten, die uns wahrscheinlich erscheinen oder Antworten, die wir uns wünschen würden. Von all diesen müssen wir uns so weit wie möglich lösen und die Fragen neutral und wertungsfrei formulieren.

Diese 5 Fehler bei der Frageformulierung oder dem Design führen dabei besonders häufig zu Messfehlern:

Die Tendenz zum “Ja-Sagen”

Wenn unsere Feedback-Ergebnisse insgesamt sehr einstimmig positiv ausfallen, können wir uns erst einmal freuen.

Im nächsten Schritt sollten wir uns aber auch fragen, ob bei unserem Fragebogen-Design eventuell die Nuancen gefehlt haben.

Die Zustimmungstendenz kann von einigen Faktoren ausgelöst werden.

Einerseits ist es der urmenschliche Drang nach Konformität. Wir sind gerne höflich und geben freundliches Feedback – vor allem, wenn uns im Grunde nicht viel gestört hat oder wir etwa mit der Lehrperson sehr vertraut sind.

Trotzdem hätten wir vielleicht einige, kleinere Verbesserungsvorschläge gehabt, die durch mangelnde Nuancierung verloren gehen.

Ermutige die Teilnehmenden immer zu Ehrlichkeit und konstruktiver Kritik und beeinflusse durch die Fragestellung ihre Meinung nicht in eine bestimmte Richtung.

Deshalb ist es auch grundsätzlich immer wichtig, dass wir Antworten auf einer breiteren Skala als nur Ja/Nein erheben. Auch einige offene Fragen können das Bild abrunden.

Die Tendenz zur Mitte

Da wir gerade von Skalen sprechen: Eine der häufigsten Antwortverzerrungen entsteht durch die Tendenz zur Mitte.

Wenn Du also neben den zwei Extrema noch eine mittlere Option hinzufügst, werden sich wahrscheinlich viele Befragte aus Prinzip hier einpendeln.

Denn tatsächlich “fürchten” sich viele Menschen vor den Antwortoptionen an beiden Enden. Um diesen Effekt abzuschwächen, sollten wir dafür sorgen, dass es bei einer Skala keine Mitte gibt.

Die Anzahl der möglichen Antworten sollte also immer gerade sein. Denn so müssen Befragte eine tatsächliche Tendenz zu einer Meinung entwickeln und können nicht prinzipiell die vermeintlich sicherste Antwort geben.

Denn diese wählen sie im Übrigen oft auch, wenn sie eigentlich gar keine wirkliche Meinung haben. Aus diesem Grund solltest Du darüber hinaus auch grundsätzlich keine Antworten erzwingen.

Erzwungene Antworten sind meistens ohnehin von einem oder sogar mehreren Verzerrungseffekten belegt und daher als Ergebnis wenig wertvoll. Sorge lieber durch ein durchdachtes Fragebogen-Design dafür, dass sich Teilnehmende natürlich zum Antworten ermutigt fühlen.

Primacy/Recency Bias

Diese Verzerrungseffekte werden vor allem durch die Reihenfolge der Antwortmöglichkeiten hervorgerufen.

Primacy Bias bedeutet, dass die ersten Optionen mit höherer Wahrscheinlichkeit gewählt werden – vor allem, wenn die Frage sehr umfangreich ist und es viele Möglichkeiten gibt. Denn dann ermüden Teilnehmende schnell und befassen sich eventuell nicht ausreichend mit allen.

Recency Bias entsteht dadurch, dass die zuletzt gelesenen Antworten am stärksten im Gedächtnis bleiben und damit einprägsamer sind.

Beide Effekte lassen sich teilweise dadurch einschränken, dass die Antwort-Reihenfolge automatisch variiert wird. Über moderne Online-Tools ist das normalerweise problemlos möglich, denn es handelt sich hier um ein sehr bekanntes Phänomen.

Diese Rotation kann ausgleichend wirken. Gleichzeitig sollten wir aber auch das eigentliche Auftreten dieser Verzerrungen dadurch minimieren, dass wir Antwort-Optionen in vernünftigen Grenzen halten.

Füge lieber noch eine offene Option hinzu, bei der Befragte eine eigene Antwort geben können. Über das “Sonstige: ____” Feld deckst Du tatsächlich häufig Antworten auf, die Du nicht bedacht hattest.

Wenn dieses Feld bei einer Frage besonders häufig ausgefüllt wird, solltest Du sehr genau hinschauen. Denn hier haben Deine Befragten offenbar Redebedarf oder Bedürfnisse, die noch nicht ausreichend berücksichtigt werden!

Soziale Erwünschtheit

Dieser Verzerrungseffekt ist vor allem für Dich relevant, wenn Du mit sensibleren oder persönlichen Themen umgehst.

Wir haben bereits die Tendenz des Menschen zur Konformität erwähnt. Soziale Erwünschtheit geht noch einen Schritt weiter.

Hier geht es nicht mehr nur um Höflichkeit, sondern auch um die eigene Selbstdarstellung. Das führt dazu, dass Menschen Fragen so beantworten, wie sie es für erwartet halten – unabhängig davon, ob das ihrer eigenen Meinung oder Realität entspricht.

Schritt 1 für möglichst unverzerrte Antworten sollte natürlich ohnehin immer die Zusicherung der Anonymität sein.

Doch auch die Frageformulierung ist hierfür besonders wichtig. Versuche wirklich, keine Antwort zu suggerieren oder erwünschtes Verhalten nahezulegen.

“Faking” und/oder Unseriosität

Der Vollständigkeit halber müssen wir noch erwähnen, dass Antwortverfälschungen auch einfach durch die Befragten entstehen können.

Sie können sich als Menschen natürlich bewusst dazu entscheiden, ihre Antworten auf ein bestimmtes Ziel hin zu verändern. Vielleicht fürchten sie unterbewusst auch negative Konsequenzen, da sie nicht genügend auf die Anonymität vertrauen.

Es kann auch sein, dass sie einfach “keinen Sinn” in der Befragung sehen oder in diesem speziellen Moment keine Lust haben. Dann kreuzen sie wahllos an, um einfach fertig zu werden. Solche Ergebnisse sind für die eigentliche Auswertung selbstverständlich wertlos.

Der Tipp zum Abschluss

In den meisten Fällen, wie bei einem Feedback-Bogen, wirst Du es vermutlich nicht mit riesigen Datensätzen zu tun haben.

Deshalb kannst Du es Dir vermutlich leisten, das Antwortverhalten der Einzelnen genauer zu analysieren. So kannst Du oftmals erkennen, ob sich Verzerrungen oder Tendenzen eingeschlichen haben könnten.

Denn ähnlich wie die Tendenz zur Mitte gibt es im Übrigen auch sogenannte Härte-oder Milde-Fehler. Denn auch wenn die Mehrheit der Menschen eher zur Mitte tendiert, gibt es genauso einzelne Menschen, die zu den Extrema tendieren.

Wenn Du Dir daher individuelle Verhaltenstrukturen anschaust, kannst Du solche Muster schnell aufdecken. Du kannst auch sehen, ob das Antwortverhalten konsistent ist.

Auf dieser Basis kannst Du besser bewerten, welche Ergebnisse wirklich aussagekräftig sind und welche unter Umständen verzerrt/verfälscht worden sind. Hoffentlich hast Du aber durch ein durchdachtes Design bereits dafür gesorgt, dass die Verzerrungen auf ein Minimum reduziert wurden!

So geht ein guter Fragebogen!

Fragebögen sind ein Klassiker unter den methodischen Tools.

Und das wohl aus gutem Grund. Denn wie sollen wir sonst Antworten finden, wenn wir nichts fragen?

Vor allem beim Feedback und der Evaluation haben Fragebögen schon immer einen Platz.

Dabei lassen viele Fragebögen einige Dinge zu wünschen übrig und sind leider als Konsequenz nicht so effektiv wie sie sein könnten. Was schade ist, denn oftmals gehen interessante Antworten durch eine schlechte Fragestellung verloren.

Schließlich wusste schon Nietzsche: “Dem guten Frager ist schon halb geantwortet”.

Was es also bei einem zielführenden Fragebogen zu beachten gibt, fassen wir jetzt zusammen:

Schritt 1: Konzept und Umfang

Bevor es an die eigentlichen Fragen geht, müssen wir eine klare Zielsetzung formulieren.

Was wollen wir genau erfahren? Welchem Zweck dient unser Fragebogen?

Bereits bei diesem Schritt sollten wir darauf achten, so neutral wie möglich zu formulieren. Also ohne Wertung oder zu viel Voreingenommenheit im Bezug auf die Ergebnisse.

Wir sagen zum Beispiel einmal, dass wir einen Fragebogen erstellen wollen, der die Erwartungen und den Wissensstand vor einer Führungskräfte-Schulung abfragt.

Ein solcher Fragebogen könnte etwa auf diese zwei konkret formulierten Ziele heruntergebrochen werden:

  1. Den Kenntnis- und Erfahrungsstand zum Thema “Führung im Team” erfahren
  2. Erwartungen und Motivation der Teilnehmenden aufdecken

Aufbauend auf diesen Zielen werden letztendlich die Fragen gestellt. In diesem Schritt kannst Du auch zunächst allgemeinere Fragen notieren, die Du später als Ausgangspunkt nutzen kannst.

Bei unserem obigen Beispiel könnten das etwa verschiedene Wissensfragen zu Führungsrollen oder die Frage nach noch zu erlernenden Fähigkeiten sein, die sich Teilnehmende erhoffen.

Deine formulierten Ziele können übrigens auch noch andere Zwecke erfüllen. So können sie sich zum Beispiel als Richtlinie für spätere Methoden oder Maßnahmen eignen – die Ergebnisse natürlich ebenfalls!

Thema Umfang?

Es gibt eine einfache Grundregel, die sich auch auf Fragebögen anwenden lässt:

So umfangreich wie nötig, so kurz wie möglich!

Denn auch bei einem Fragebogen arbeitet die innere Aufmerksamkeits-Uhr gegen uns. Je länger Befragungen dauern, desto ungenauer werden die Antworten.

Aus diesem Grund gibt es auch zwei weitere Regeln für den Aufbau:

  1. Leite mit ein paar einfachen und/oder allgemeinen Fragen ein, um die Motivation aufzubauen
  2. Stelle dann die Fragen, auf die Du am meisten Antworten benötigst, so früh wie möglich

Die ersten Fragen dienen auch hauptsächlich dazu, in das Thema einzuleiten und ein paar kleine “Erfolgserlebnisse” zu schaffen. Dann solltest Du eben direkt die wichtigsten Fragen stellen, denn hier ist die Motivation an ihrem Höhepunkt.

Andere, weniger wichtige Fragen, die später aufkommen, haben eine höhere Wahrscheinlichkeit durch verschiedene Verzerrungseffekte beeinflusst zu werden.

Halte außerdem den Aufwand bei der Bearbeitung immer so gering wie möglich. Stelle nur Fragen, die auch relevant sind. Ob sie das sind, kannst Du über diese Leitfragen herausfinden:

  • Können alle Teilnehmer:innen die Frage beantworten? Oder ist sie nur für eine Teilgruppe relevant?
  • Können die Teilnehmer:innen sich gut an das Erfragte erinnern? Beziehen sich die Fragen auf realistische Zeiträume?
  • Sind die Fragen einfach genug gestellt oder bilden sie eventuell zusätzliche Hürden bei der Beantwortung?

3 Tipps für gute Fragen!

Gut gefragt ist also halb gewonnen.

Dabei ist “schlecht” zu fragen leider wesentlich einfacher. Und hat auch noch Konsequenzen.

So können zu komplexe oder aufwändige Fragen schnell demotivieren und die Antworten werden ungenau, unvollständig oder einfach nicht hilfreich.

Diese drei Tipps helfen dabei, Fragen teilnehmerfreundlich zu stellen und gutes Feedback zu erhalten:

Wortwahl und Stil

Wir haben bereits angerissen, dass einfache Sprache für einen Fragebogen immer am besten ist.

Orientiere Dich immer an Deiner Zielgruppe. Fremdwörter oder technische Fachbegriffe können für eine Zielgruppe angemessen, für die andere aber nur verwirrend sein und die Ergebnisse damit erheblich verfälschen.

Wenn Du, etwa bei einer Erwartungsabfrage vor der Veranstaltung, wenig über die Zielgruppe weißt, formuliere die Fragen immer so einfach wie möglich. Ähnliches gilt für heterogene Gruppen.

Struktur

Lege den Teilnehmenden keine unnötigen Steine in den Weg.

Formuliere keine in sich geschachtelten Fragen. Diese führen oftmals lediglich dazu, dass die Befragten nur Teilantworten geben oder die Frage im schlimmsten Fall überspringen.

Teile komplexere Fragen lieber auf mehrere Einzelfragen auf. So kannst Du gezielter fragen und Teilnehmende werden weniger überfordert.

So wenig wie möglich verfälschen!

Diese Aufgabe ist bei der Frageformulierung wohl am schwierigsten zu bewältigen.

Wir haben das Stichwort Verzerrungseffekt schon einmal kurz genannt – tatsächlich gibt es eine ganze Menge dieser unbeabsichtigten Verfälschungen, die durch die Formulierung oder die Struktur hervorgerufen werden.

Wir können hier nicht auf alle diese Phänomene eingehen, aber wenn Du in Zukunft dazu einen eigenen Artikel möchtest, sage uns gerne Bescheid!

Versuche die Fragen immer ohne Wertung zu stellen, oder ohne eine eigene Meinung oder Erwartung durchscheinen zu lassen. Komplett neutral zu formulieren ist nicht immer einfach, aber für hilfreiche Ergebnisse unverzichtbar.

Versuche in der Formulierung nichts zu suggerieren oder eine erwünschte Antwort nahezulegen. Vollständige Objektivität gibt es bei solchen Fragebögen und der Arbeit mit Menschen ohnehin nicht, aber versuche so nah wie möglich heranzukommen.

Also nicht:

“Ich bin mir sicher, Sie haben in meinem Seminar sehr viel gelernt. Wie würden Sie Ihren Lernerfolg einschätzen?”

Eine solche Formulierung ist beinahe schon ein wenig manipulativ, wenn wir ehrlich sind. Die besseren Alternativen könnten beispielsweise auf einer Skala Vorher und Nachher bewerten lassen, oder nach ganz konkreten Lernerlebnissen oder Kompetenzbereichen fragen.

Denn wenn wir nach ganz konkreten Dingen fragen, erinnern sich Lernende besser und können auch zielführendere Antworten geben!

Du brauchst eine Übersicht und ein paar Tipps zu verschiedenen Fragetypen?

In >>unserem Artikel zum Thema Quizzes findest Du hierzu einige hilfreiche Tipps!