Die Kunst(?) des Fragestellens – Gute Fragen brauchen gute Vorbereitung

Das Stellen von Fragen ist ein wesentliches Werkzeug im Bereich User Research. Sei es als eigenständiger Ansatz etwa die Durchführung einer Online-Umfrage oder in Kombination mit anderen Methoden, wie etwa einem Interview, das vor einem Usability Test durchgeführt wird. Eine gute Befragung kann wertvolle Hinweise zur Gestaltung nutzerfreundlicher Lösungen liefern.

Zuweilen werden Befragungen als „einfache“ Methode wahrgenommen, weil sie scheinbar sehr schnell und unkompliziert vorbereitet werden können und letztendlich wenig Ressourcen kosten. Im schlimmsten Falle führt eine solche Wahrnehmung zu qualitativ schlechten Befragungen, die entsprechend mangelhafte Daten generieren.

Im Folgenden finden sich einige Tipps, die dabei helfen können, gute Befragungen durchzuführen, die ein UX Design Projekt bereichern.

Was will ich eigentlich wissen?

Es mag trivial klingen, aber vor der Formulierung von Fragen sollte sorgfältig definiert werden, was man eigentlich in Erfahrung bringen will. Das mehr oder weniger „spontane“ Sammeln von Fragen kann dazu führen, dass der Fokus auf das eigentliche Erkenntnisinteresse verloren geht und stattdessen eine Verschiebung dahingehend stattfindet, dass Fragen gesammelt werden, deren Formulierung leicht von der Hand geht, die im schlimmsten Falle aber nur an der Oberfläche des Gegenstands kratzen, der eigentlich im Zentrum des Interesses steht. Diese Verschiebung kann sogar so weit gehen, dass Fragen gesammelt werden, die wenig bis gar nichts mehr mit dem ursprünglichen Erkenntnisinteresse zu tun haben. Auf diese Weise kann die resultierende Befragung unnötig umfangreich werden, ohne dass die Menge verwertbarer Erkenntnisse entsprechend ansteigen würde.

So ist es beispielsweise einfach, eine Reihe von Fragen zu formulieren, die sich auf einfach erfassbare Merkmale einer Person beziehen, und auf diese Weise etwas über Geschlecht, Alter, Hobbies, Beruf usw. in Erfahrung zu bringen. Jedoch sollte man nicht zwingend davon ausgehen, dass man nur eine ausreichende Anzahl derartiger Fragen stellen muss, um ein umfassendes Bild der Persönlichkeit der betreffenden Person zu erhalten. Ist also ein solches umfassendes Verständnis von Menschen das Ziel, so kann die Formulierung punktgenauer und zielführender Fragen sehr aufwändig werden. Unter Umständen kann man auch zu dem Schluss kommen, dass eine Befragung nicht die geeignete Methode ist, um das Erkenntnisziel zu erreichen (siehe den nächsten Abschnitt).

Es sollte daher für jede Frage, die letztendlich in die Befragung aufgenommen wird, klar und eindeutig nachvollziehbar sein, welchen Erkenntnisgewinn sie hinsichtlich des ursprünglichen Erkenntnisinteresses ermöglicht.

Soll es eine überhaupt eine Befragung sein?

Die Überlegungen zum gewünschten Erkenntnisgewinn können in bestimmten Fällen auch zu der Einsicht führen, dass eine Befragung keine angemessene Methode ist, um das Ziel zu erreichen. So kann es manchmal z.B. zielführender sein, Erkenntnisse mittels einer Beobachtung zu gewinnen, etwa wenn es um Verhaltensweisen geht, die den betreffenden Personen nicht unbedingt bewusst sind. Auch wenn es sich um Themen handelt, die den betreffenden Personen eventuell unangenehm sind, können andere/indirektere Verfahren als die Befragung vielversprechender sein.

So kann es beispielsweise für die Erkundung der Persönlichkeitseigenschaften Aufgeschlossenheit und Gewissenhaftigkeit wenig zielführend sein, direkt nach den Merkmalen von Interesse zu fragen („Wie aufgeschlossen sind Sie gegenüber Neuem?“ „Wie gewissenhaft sind Sie in Ihrer Arbeit?“). Ein günstigerer Ansatz kann etwa darin bestehen, die Verhaltensweisen der betreffenden Person in relevanten Situationen zu beobachten, um die entsprechenden Rückschlüsse ziehen zu können, ohne dass die Daten zunächst einen subjektiven „Filter“ bei der betreffenden Person durchlaufen.

Fragen müssen auch verstanden werden

Ein weiteres wesentliches Kriterium, das gute Fragen erfüllen müssen, ist ihre Verständlichkeit für die Zielgruppe. Gute Fragen sind also nutzerzentriert formuliert. Auch dies ist zuweilen weniger trivial als es scheint. Natürlich wissen die Fragenersteller in der Regel, worauf sie mit ihren Fragen abzielen. Dies bedeutet jedoch nicht zwangsläufig, dass es den Befragten ebenso geht. Im „besten“ Falle verstehen die Befragten den Sinn einer solchen Frage gar nicht und geben entsprechendes Feedback. Im schlimmsten Falle jedoch verstehen die Befragten sie auf eine Art, die nicht intendiert ist, ohne dass der Fragesteller dies bemerkt. Dies kann dazu führen, dass die Befragten auf eine andere wahrgenommene Fragestellung antworten als die, die vom Fragesteller eigentlich gemeint ist.

So kann ein Fragesteller beispielsweise eine Meinung zu Künstlicher Intelligenz erfragen und hierbei eine fachlich sehr fundierte Konzeption der aktuellen Möglichkeiten von Künstlicher Intelligenz zugrunde legen, zu der Feedback erhoben werden soll. Eine fachfremde Person, deren Vorstellung von Künstlicher Intelligenz vor allem durch fiktionale Werke zum Thema KI geprägt ist, die sich mehr oder weniger deutlich von der (aktuellen) Realität unterscheidet, wird wiederum unter Umständen dies als Bezugsrahmen nehmen, so dass sich die beiden „Referenzvorstellungen“ zwischen fragender und befragter Person unterscheiden, ohne dass dies den beiden Personen bewusst sein muss. Dies kann schließlich zu einer falschen Interpretation der Antworten bei der Auswertung der Befragung führen.

Der Test der Fragen sollte daher immer Bestandteil der Befragungs-Erstellung sein. Die Befragung sollte also gewissermaßen einem Usability Test unterzogen werden. Dies kann beispielsweise derart durchgeführt werden, dass die Fragen repräsentativen Vertretern der Zielgruppe gestellt werden, die diese Fragen aber nicht nur beantworten, sondern zuvor auch in eigenen Worten beschreiben sollen, wie sie die Fragen interpretieren. Auf diese Weise kann erkannt werden, wenn die Fragen auf eine nicht gewünschte Art interpretiert (und beantwortet) werden, so dass entsprechende Umformulierungen stattfinden können, bevor die richtige Befragung durchgeführt wird.

Offene Fragen

Im Hinblick auf den Analyseaufwand ist es verlockend, mit geschlossenen Fragen zu arbeiten, also Fragen, bei der der Befragte aus einem Set von vorgegebenen Antworten eine Antwort auswählen kann. Das gängigste Beispiel in diesem Kontext sind Fragen, die mit „Ja“ oder „Nein“ beantwortet werden können, so dass eine einfache Auszählung der gewählten Antwortoptionen möglich ist. Hier besteht jedoch der potenzielle Nachteil, dass der resultierende Erkenntnisgewinn eng begrenzt ist, da die befragte Person ohne Weiteres keine Gelegenheit hat, ihre Antwort zu begründen, insbesondere, wenn die Befragung ohne direkten Kontakt schriftlich durchgeführt wird. Die Frage nach dem „Warum“ hinter einer gewählten Option bleibt auf diese Weise unbeantwortet.

So mag es zwar schmeichelhaft sein, wenn jemand auf die Frage: „Ziehen Sie unser Produkt dem der Konkurrenz vor?“ mit „Ja“ antwortet. Mehr als die Feststellung des Status Quo erlaubt eine solche Antwort allerdings nicht.

Wird eine Befragung mit geschlossenen Fragen mündlich durchgeführt, kann darüber hinaus noch der Nachteil auftreten, dass es mühsam ist, ein Interview mit vorwiegend geschlossenen Fragen „am Laufen“ zu halten, da die befragte Person kurz und knapp per Auswahl einer Option antworten kann und der Ball dann wieder auf Seiten des Interviewers liegt. Dies kann ein Gespräch recht angestrengt und mühsam auf beide Beteiligten wirken lassen.

Es empfiehlt sich daher, eine Befragung nicht nur aus geschlossenen Fragen aufzubauen, sondern auch auf offene Fragen zu setzen, um tiefergehende Erkenntnisse zu gewinnen und im Falle eines Interviews auch dafür zu sorgen, dass eine natürlichere Gesprächssituation zustande kommt, die nicht nur aus einem straff getakteten Wechsel von Fragen und mehr oder weniger kurzen Antworten besteht.

Nicht nur fragen, sondern auch zuhören

Schließlich ist es für mündliche Befragungen auch von essenzieller Wichtigkeit, nicht nur gute Fragen zu stellen, sondern der befragten Person auch zugewandt und aufmerksam zuzuhören. Hierzu kann es z.B. hilfreich sein, die Antworten der befragten Person zu paraphrasieren, also mit eigenen Worten noch einmal zu umschreiben, was geantwortet wurde. Auf diese Weise erkennt die befragte Person, dass ihre Antwort auch wirklich „angekommen“ ist und verstanden wurde. Darüber hinaus kann das aufmerksame Zuhören auch Gelegenheiten eröffnen, vertiefenden Nachfragen zu stellen, wenn in den Antworten interessante Aspekte angesprochen werden. Hierfür bieten sich „semi-strukturierte“ Interviews an, die dem Interviewer Gelegenheit geben, ein vorgegebenes Set von Fragen anzupassen bzw. durch weitere Fragen zu ergänzen, wo es angemessen erscheint.

Auf diese Weise kann dann beispielsweise aufgedeckt werden, dass für das Urteil von Nutzern über die neue Version einer Software gar nicht die (neuen) technischen Features ausschlaggebend sind, auf die eine Befragung ursprünglich abzielte, sondern vielmehr (veränderte) Lebensumstände der Nutzer. Würde man dem nicht mit neuen/angepassten Fragen auf den Grund gehen, so bliebe Potenzial zur Gewinnung relevanter Erkenntnisse ungenutzt.

Die Befragung sollte also nicht zu einem reinen „Abarbeiten“ von Fragen verkommen, sondern vom Interviewer möglichst „maßgeschneidert“ der befragten Person angepasst werden.

Fazit

Befragungen sind ein wichtiges Werkzeug für User Research. Man sollte jedoch nicht dem Missverständnis unterliegen, dass eine gute Befragung gewissermaßen „schnell mal nebenbei“ vorbereitet und durchgeführt werden kann. Fragen sollten sorgfältig zusammengestellt und einem Testlauf unterzogen werden. Erst nach den eventuell erforderlichen Anpassungen sollte dann die eigentliche Befragung durchgeführt werden, wobei bei einem mündlichen Interview zusätzlich darauf geachtet werden sollte, dass die Befragung auf die befragte Person abgestimmt wird und der Interviewer sich aufmerksam und zugewandt verhält. Werden die Qualitätskriterien guter Befragungen beachtet, so erhöhen sich damit die Chancen, dass damit Informationen gesammelt werden können, die wertvolle Erkenntnisse für UX Design Projekte ermöglichen.