Die mit der Pandemie einhergehenden Regelungen machen es zum Teil notwendig, dass bestimmte Hochschulprüfungen und Auswahlverfahren für Studierende mittels Proctoring durchgeführt werden müssen. Beim Proctoring legen die Prüflinge ihren Test zuhause am eigenen Rechner ab und werden dabei digital beaufsichtigt, von sogenannten Proctoren.

Aber Proctoring ist nicht gleich Proctoring! Es gibt verschiedene Arten, wie die digitale Beaufsichtigung umgesetzt werden kann. Im Folgenden stellen wir unsere Lösung kurz dar.

KI-basiertes Proctoring vs. Live-Beaufsichtigung

Zu Recht stehen aus unserer Sicht Proctoring-Varianten in der Kritik, bei denen eine „Künstliche Intelligenz“ sämtliche Bewegungen der Teilnehmenden analysiert und auf Basis kleinster Abweichungen des Verhaltens Täuschungsversuche oder verdächtiges Verhalten meldet. Dabei werden die Prüflinge nicht nur über die Webcam überwacht und dürfen zum Beispiel ihren Blick nicht von Bildschirm abwenden oder auch nur den Kopf bewegen, es werden außerdem sämtliche Hintergrundgeräusche und der dauerhafte Kontakt der Hände mit der Tastatur erfasst. Die Nachteile für die Akzeptanz des gesamten Testverfahrens liegen auf der Hand.

Für uns ist daher eine menschliche Beurteilung des Verhaltens unerlässlich, auch weil KI Verhalten (noch) nicht zuverlässig genug bewerten kann. Normales menschliches Verhalten, wie bei längerer Arbeit am Rechner aufzublicken, sich zum Nachdenken zurückzulehnen oder auch leise vor sich hinzumurmeln, sollte nie mit der Gefahr eines Ausschlusses aus einer Prüfung verbunden sein.

Wie setzen wir die digitale Beaufsichtigung um?

Wir haben mit unserem Ansatz versucht, die „analoge“ Beaufsichtigung bei einer Test- bzw. Prüfungsdurchführung vor Ort zu simulieren. So setzen wir auf die Live-Beaufsichtigung über Webcam und Bildschirmübertragung durch geschulte Aufsichtspersonen, die sogenannten Proctoren. Für die Durchführung mit Proctoring gelten dieselben Regeln wie bei einer Präsenzprüfung: Die Teilnehmenden dürfen sich mit Stift und Papier Notizen machen, während der Durchführung essen und trinken sowie aufstehen und den Raum verlassen (z. B. für Toilettengänge).

Die Proctoren können bei möglichen Täuschungsversuchen eingreifen und sich z. B. die Hilfsmittel (Stift, Papier), den Arbeitsplatz oder den gesamten Raum zeigen lassen. Wichtig ist uns, dass insbesondere Letzteres nur bei begründeten Verdacht geschieht. An den Testtagen übernehmen mindestens zwei ITB-Berater das Projektmanagement, das heißt sie dienen als Ansprechpartner für die Proctoren und koordinieren den gesamten Ablauf. Sowohl die Webcambilder als auch die Bildschirmüberwachung werden zusätzlich aufgezeichnet. Diese Aufzeichnung dient allerdings alleine der nachträglichen Prüfung, wenn zum Beispiel  Teilnehmende  Störungen durch technische Probleme melden, und wird im Anschluss umgehend gelöscht. Wir nehmen Datenschutz und Sicherheit bei Proctoring-Tests sehr ernst.

Und wir legen großen Wert darauf, dass die Teilnehmenden sich gründlich auf den Test vorbereiten können. Sie durchlaufen mit ihren Endgeräten im Vorfeld einen umfassenden Systemcheck, außerdem haben wir alle wichtigen Informationen für Teilnehmende auf unserer Website aufbereitet.

Eine erste Studie (Stegt & Hofmann, 2020) zum Vergleich der Ergebnisse des TM-WISO bei einer Präsenzdurchführung in Testzentren mit einer Durchführung mit Proctoring zeigte keine signifikanten Unterschiede. Dies bestätigt uns in unserem Ansatz, mit Proctoting einer analogen Beaufsichtigung vor Ort möglichst nahe zu kommen. Aktuell führen wir zudem Akzeptenzbefragungen durch. Erste Ergebnisse lassen darauf schließen, dass die Verfahren teilnehmerseitig ebenso gut angenommen werden wie Testdurchführungen vor Ort.