Benachteiligt unser Zulassungstest Frauen? Diese Frage stellte sich die Bucerius Law School in Hamburg, die seit vielen Jahren einen Eignungstest für Jurist:innen im Auswahlverfahren einsetzt. Entsprechend wurden wir beauftragt, eine Fairness-Analyse des Zulassungstests durchzuführen.
In einer umfassenden Fairness-Analyse haben wir die Testergebnisse und die anonymisierten Abschlussnoten im LL.B. von 579 Studierenden ausgewertet und die Fairness nach den Modellen von Cleary (1968) und Lawshe (1983) geprüft. Beide Modelle gehen davon aus, dass Fairness vorliegt, wenn die Testergebnisse die spätere Abschlussnote für kein Geschlecht unter- bzw. überschätzen. Dies kann auf verschiedene Weise statistisch überprüft werden, z.B. durch einen Vergleich der Regressionsgeraden oder durch Unterschiede zwischen standardisierten Prädiktor- und Kriteriumswerten für Untergruppen.
Es zeigte sich, dass sowohl der Zulassungstest als auch die Abiturnoten angemessen waren, um eine faire Vorhersage der Studienleistung zu ermöglichen. Außerdem hatten sowohl der Zulassungstest als auch die Abiturnoten eine gute Vorhersagekraft für die spätere Abschlussnote im Studium. Durch die Kombination von Abiturnoten und Testergebnissen war die Prognosekraft signifikant stärker, als wenn nur eines der beiden Kriterien verwendet worden wäre.
Neben den Gesamtergebnissen des Zulassungstests wurden in weiteren Analysen auch die fünf einzelnen Untertests des Zulassungstests betrachtet. Hier zeigte sich, dass zwei Untertests keinen signifikanten zusätzlichen Beitrag zur Vorhersage der Abschlussnote leisteten und darüber hinaus zudem die Abschlussnote der Frauen unterschätzten – zwar leicht, aber dennoch statistisch signifikant.
Die Ergebnisse führten schließlich zu einer Modifizierung des Auswahltests: Wir schlossen die zwei betroffenen Untertests aus und ersetzten sie durch einen neuen Untertest. Die drei restlichen Untertests wurden beibehalten. Dadurch konnten gleich zwei positive Effekte erzielt werden: Der Zulassungstest ermöglichte nach der Modifikation a) eine höhere Vorhersagekraft bei kürzerer Durchführungszeit durch Wegfall eines Untertests und b) eine verbesserte Fairness bei der Vorhersage der Studienleistung für Frauen und Männer.