Aus dem Bereich Evaluation SUPPORT: Wie bewerten Studierende computergestützte Prüfungen?

Susanne Bergann

17.11.2016

Seit seiner Einrichtung im Wintersemester 2012/2013 nahmen im E-Examinations-Center (EEC) der Freien Universität Berlin bereits etwa 51.600 Studierende an einer computergestützten Prüfung teil. Um Hinweise darauf zu erhalten, inwieweit computergestützte Prüfungen von den Studierenden akzeptiert werden und wie diese Prüfungsform im Vergleich mit klassischen Prüfungen bewertet wird, werden die Teilnehmer/innen seit dem Wintersemester 2013/2014 direkt im Anschluss an die computergestützte Prüfung mithilfe eines standardisierten Fragebogens zu ihren Erfahrungen mit und ihren Einstellungen zu E-Examinations befragt.

Für viele Lehrende ist die Durchführung und Auswertung schriftlicher Prüfungen mit einem hohen Zeitaufwand verbunden. Um die Dozentinnen und Dozenten zeitlich zu entlasten und zu einer multimedialen Ausgestaltung von Prüfungen beizutragen, steht seit dem Wintersemester 2012/2013 das erste E-Examinations-Center Berlin-Brandenburgs mit mehr als 150 Plätzen für computergestützte Prüfungen zur Verfügung. Wesentliche Ziele der begleitenden Evaluation der E-Examinations, welche durch die Arbeitsstelle Lehr- und Studienqualität im Rahmen der Evaluation des Projekts SUPPORT erfolgt, sind die Identifikation von Verbesserungspotentialen sowie die Dokumentation des Projektfortschritts. Bisher wurden drei Kohorten zu ihren Erfahrungen mit computergestützten Prüfungen befragt: der erste Evaluationsdurchgang umfasst den Prüfungszeitraum von Februar bis Juli 2014, der zweite Durchgang den Zeitraum von November 2014 bis Mai 2015 und der dritte Durchgang den Zeitraum von Juli 2015 bis Mai 2016. Von den insgesamt 34015 Studierenden, die zwischen Februar 2014 und Mai 2016 eine computergestützte Prüfung absolviert haben, beteiligten sich 1931 an der Evaluation, was einem Rücklauf von ca. 6% entspricht. Neben Variablen zur Erfassung der allgemeinen Bewertung der Computerisierung des Prüfungswesens (z.B. Einstellung zu E-Examinations) werden computerrelevante Vorkenntnisse (z.B. computerbezogene Selbstwirksamkeitserwartung) sowie relevante soziodemografische und studienbezogene Merkmale (z.B. Geschlecht, Semesteranzahl) erfasst.

Die Evaluationsergebnisse zeigen, dass in allen drei Durchgängen mehr als 95% der Befragten (sehr) gut mit der Bedienung der Prüfungssoftware zurechtgekommen sind und die Mehrheit der Studierenden die Prüfung ohne technische Probleme bearbeiten konnte. Die Befragten waren weiterhin mit den Rahmenbedingungen der Prüfung (z.B. Lautstärke, Arbeitsplatz, Betreuung) im E-Examinations-Center in hohem Ausmaß zufrieden. In der Trendauswertung vom ersten zum dritten Durchgang lässt sich ein Anstieg in der Zufriedenheit mit der Organisation, der Durchführung und den Rahmenbedingungen im E-Examinations-Center feststellen.

In Bezug auf die allgemeine Bewertung der E-Examinations zeigt sich, dass die Befragten eine moderat positive Einstellung zu computergestützten Prüfungen haben. Die Mittelwerte für die Skala Einstellung zu E-Examinations über die Durchgänge sind in Abbildung 1 dargestellt. (Hohe Werte stehen für eine positive Einstellung zu E-Examinations.) Die Ergebnisse zu Unterschieden zwischen den Kohorten zeigen, dass Studierende des dritten Durchgangs in signifikant höherem Ausmaß als Studierende des ersten Durchgangs angaben, computergestützte Prüfungen für sinnvoll zu erachten und diese zu befürworten. (Vgl. Abb. 1)

Abbildung_1

Abb. 1.: Entwicklung der Mittelwerte für die Skala „Einstellung zu E-Examinations“ nach Durchgängen (signifikante Unterschiede sind fett markiert)

Analog zu den Trends der Skala Einstellung zu E-Examinations besteht ein signifikanter Kohortenunterschied für die Skala bevorzugte Prüfungsform. Während im ersten Evaluationsdurchgang noch eine deutliche Tendenz zur Bevorzugung klassischer Prüfungen mit Stift und Papier im Vergleich zu computergestützten Prüfungen besteht und diese Verteilung im zweiten Durchgang bereits ausgewogener ist, wird im dritten Durchgang eine Tendenz für computergestützte Prüfungen ermittelt. (Vgl. Abb. 2)

Abbildung_2

Abb. 2.: Entwicklung der Quote für das Item „Welche Prüfungsform bevorzugen Sie insgesamt?“ nach Durchgängen (in %)

Darüber hinaus zeigen multivariate Analysen, dass die Unterschiede zwischen den Durchgängen auch dann noch zu beobachten sind, wenn die unterschiedliche Zusammensetzung der Kohorten in Bezug auf soziodemografische Merkmale, Fächergruppen, computerrelevante Vorkenntnisse und Anzahl bisher absolvierter E-Examinations kontrolliert wird. Computergestützte Prüfungen werden im dritten Evaluationsdurchgang signifikant besser bewertet als im ersten Evaluationsdurchgang und stellen für die Befragten gegenwärtig die bevorzugte Prüfungsform dar. Mit sechs Prozent war der Rücklauf der Befragung relativ gering, was Auswirkungen auf die Selektivität der Befragten und damit auf die Repräsentativität der Stichprobe gehabt haben kann. Allerdings ist nicht davon auszugehen, dass die Stichprobe nach Erhebungszeitpunkt (DG I, DG II, DG III) unterschiedlich selektiv war. Von daher werten wir die Ergebnisse im Sinne eines positiven Trends und eines Anstiegs der Akzeptanz für computergestützte Prüfungen im Zeitverlauf.

Hier gelangen Sie zur Homepage des E-Examinations-Centers der Freien Universität Berlin.