Aus dem Bereich Evaluation: Wer nimmt an Online-Befragungen teil und wer nicht?
Ergebnisse einer Masterarbeit zu Prädiktoren des Teilnahmeverhaltens von Studierenden an universitären Online-Befragungen
01.12.2020
Online-Befragungen Studierender zur Qualität von Studium und Lehre gehören zu einem etablierten Mittel der datengestützten Qualitätsentwicklung an Hochschulen. Als Vollerhebungen geplant, beteiligen sich in der Regel jedoch nur etwa 30 Prozent aller Studierenden. Dies wirft die Frage auf, wer sich an solchen Befragungen beteiligt und wer nicht. Wir sind dieser Frage im Rahmen einer Masterarbeit nachgegangen.
Als ein wichtiger Indikator für die Repräsentativität der Daten wird meist die Rücklaufquote angesehen. Doch anhand der Rücklaufquote allein kann diese nicht hinreichend bestimmt werden. Entscheidend ist, ob sich Teilnehmende und Nichtteilnehmende voneinander unterscheiden und ob diese Unterschiede die Ergebnisse beeinflussen. Wenn zwischen Teilnehmenden und Nichtteilnehmenden keine Unterschiede hinsichtlich der untersuchten Merkmale bestehen, führt auch eine geringe Rücklaufquote zu unverzerrten Ergebnissen. Findet jedoch eine systematische Selbstselektion der Befragungspersonen statt, beteiligen sich also z.B. Männer seltener als Frauen, so steigt mit dem Ausmaß der Nichtteilnahme auch die Verzerrung der Ergebnisse, sofern Männer und Frauen sich in ihren Urteilen unterscheiden.
Wie wurde das untersucht?
Um Hinweise auf eine mögliche Selbstselektion von Studierenden zu erhalten, re-analysierten wir die Daten einer Längsschnittstudie, die wir bei Bachelorstudierenden im ersten Studienjahr zu drei Messzeitpunkten erhoben haben. Das Besondere an dieser Studie war, dass es uns gelang, zum ersten Messzeitpunkt (am Beginn des 1. Semesters) nahezu 80 Prozent aller eingeladenen Studierenden (N=983) in Präsenz zu befragen. Zusätzlich wurden die E-Mail-Adressen der Studierenden zur Kontaktaufnahme für die beiden folgenden Online-Umfragen erhoben. Mittels eines Personencodes konnte festgestellt werden, wer an mindestens einer der beiden Online-Befragungen (zum Ende des 1. Semesters und zum Ende des 2. Semesters) teilnahm und wer nicht. Die Teilnahmequote betrug 21,3%. Für Studierende, die sich an keiner Online-Befragung beteiligten (N=774), lagen durch die Teilnahme an der ersten Befragung bereits zahlreiche Informationen vor. Dadurch war es möglich, in einem statistischen Vorhersagemodell zu untersuchen, welche Merkmale der Studierenden mit einer späteren Teilnahme vs. Nichtteilnahme in Verbindung standen.
Einen Erklärungsansatz für das Teilnahmeverhalten bietet die Rational Choice Theorie. Danach erfolgt eine Teilnahme, wenn der erwartete Nutzen (z.B. positive Folgen durch die Teilnahme, Interesse am Thema, Anreize, Loyalität, soziale Verantwortung) höher ist als die damit verbundenen Kosten (z.B. Zeitaufwand, Schwierigkeit, Verständnisprobleme, Befürchtungen über die Verwendung der Ergebnisse und eine mögliche Deanonymisierung).
Welche Ergebnisse liegen vor?
In der bisherigen Forschung konnte gezeigt werden, dass sich Migrantinnen und Migranten seltener an wissenschaftlichen Befragungen beteiligen als Befragte ohne einen Zuwanderungshintergrund. Dies bestätigte sich teilweise auch in unserer Studie. Studierende, die im Ausland geboren und zugewandert waren, wiesen eine um 11.5 Prozent verringerte Beteiligung an einer der beiden Online-Befragungen auf im Vergleich zu Studierenden ohne einen Zuwanderungshintergrund. Als Erklärung hierfür wird häufig auf Sprachbarrieren verwiesen. Findet eine Befragung in der Zweitsprache statt, so erhöht sich für die Befragten der kognitive Bearbeitungsaufwand. Eine Beteiligung ist dann mit höheren Kosten verbunden und die Teilnahmebereitschaft sinkt. Auch für Studierende mit einer schlechteren Abiturnote kann die Befragungssituation eine höhere kognitive Belastung darstellen, die zu einer reduzierten Teilnahmebereitschaft führt. Unsere Untersuchung zeigt, dass sich Studierende mit schlechteren Abiturnoten seltener an den Online-Befragungen beteiligten. Mit einer um einen Notenpunkt schlechteren Abiturnote – also z.B. mit einem Durchschnitt von 3 im Vergleich zu einem Durchschnitt von 2 – verringerte sich die Teilnahmequote um 6 Prozent. Weiterhin wiesen Männer eine um 11.3 Prozent niedrigere Teilnahmequote auf als Frauen. Die berichteten Ergebnisse stammen aus einem Modell, in dem jeweils für die Einflüsse aller anderen Merkmale kontrolliert wurde. So beteiligten sich beispielsweise Männer auch bei gleichen Abiturnoten seltener an einer Online-Befragung als Frauen.
Die Abbildung stellt die Veränderung in den Teilnahmequoten in Abhängigkeit des Migrationshintergrunds, der Abiturnote sowie des Geschlechts der Befragten dar.
Weitere Hypothesen zur Erklärung der Teilnahme an Online-Befragungen haben sich in unserer Untersuchung nicht bestätigt. So zeigten sich in unserem Vorhersagemodell weder in Bezug auf den familiären Bildungshintergrund noch hinsichtlich des verbalen Selbstkonzepts, der studienbezogenen Selbstwirksamkeitserwartung oder des untersuchend-forschenden und sozialen Interesses signifikante Effekte auf das Teilnahmeverhalten.
Da die Datengrundlage überwiegend Studierende im ersten Studienjahr umfasst, wissen wir allerdings nicht, ob die dargestellten Ergebnisse auch für Studierende höherer Fachsemester gelten und welche Bedeutung möglicherweise das Fachsemester für die Teilnahmebereitschaft hat. Bisherige Untersuchungen zeigen, dass die Teilnahmewahrscheinlichkeit auch mit steigendem Fachsemester sinkt. Auch dies lässt sich mit Kosten-Nutzen-Überlegungen erklären. Für Studierende in einem fortgeschrittenen Studienabschnitt ist der Nutzen geringer, wenn sie nicht mehr davon ausgehen können, dass die Ergebnisse der Befragung ihnen selbst zugutekommen werden. Gleichzeitig steigen für sie die Kosten, wenn sie z.B. aufgrund hoher Studienanforderungen weniger Zeit zur Verfügung haben.
Welche Schlussfolgerungen ergeben sich?
Können die Ergebnisse genutzt werden, um die Repräsentativität der Ergebnisse aus Online-Befragungen zu erhöhen? Eine Möglichkeit sehen wir darin, die Stichprobe hinsichtlich der identifizierten Merkmale zu gewichten. Wir tun dies in den zentralen Befragungen bereits regelhaft für das Geschlecht, und weiterhin für das Studienjahr und den Studiengang, weil wir hier die Verteilungen in der Grundgesamtheit kennen und wissen, dass diese Merkmale nicht nur die Teilnahmebereitschaft, sondern auch das Antwortverhalten beeinflussen. Für die Abiturnote und den Migrationsstatus liegen uns die Verteilungen in der Grundgesamtheit allerdings bislang nicht vor. Die Ergebnisse der Masterarbeit lassen vermuten, dass eine zusätzliche Berücksichtigung dieser Merkmale bei der Gewichtung die Repräsentativität der Ergebnisse aus den zentralen Befragungen erhöhen könnte.