Es gibt zahlreiche Versprechen von Testtrainer:innen, die behaupten, dass jeder Zulassungstest wie z.B. GMAT, TMS oder UCAT durch entsprechende Trainingskurse „geknackt“ werden kann. Daher stehen Zulassungstests manchmal im Verdacht, Teilnehmende zu benachteiligen, die wenig Ressourcen (z.B. Geld oder Zeit) für kostspielige Trainingskurse oder andere Vorbereitungsmaßnahmen aufwänden können. Als Testentwickler:innen wollen wir jedoch Fähigkeiten messen und nicht, wie viel Geld und Zeit in die Vorbereitung investiert wurde.
Wie trainierbar sind Studieneignungstests also wirklich? Die Forschung zeigt, dass Training in der Tat zu einer Verbesserung der Ergebnisse in Zulassungstests führen kann. Die Effekte für Fähigkeitstests, die kein Wissen erfassen, sind allerdings deutlich geringer, als dies üblicherweise von Anbieter:innen kommerzieller Trainingskurse versprochen wird. Zudem zeigt sich, dass mit günstigeren Vorbereitungsarten (wie z.B. Büchern oder Material aus dem Internet) vergleichbare oder teils sogar größere Effekte erzielt werden können. Auch zeigen Studien, dass nach den ersten investierten Stunden zunehmend mehr Zeit benötigt wird, um überhaupt noch Vorbereitungseffekte zu erzielen. Insgesamt sprechen die Ergebnisse also für einen geringen Einfluss von Training und Vorbereitung und zeigen auch, dass sich die Testergebnisse in Leistungstests nicht beliebig durch exzessives Training oder Vorbereitung verbessern lassen.
Auch wir haben uns in mehreren Untersuchungen mit den Einflüssen von Trainings- und Vorbereitungseffekten befasst. In diesem Rahmen interessierten wir uns unter anderem für Ansätze, die geeignet sind, um den Einfluss von Training und Vorbereitung noch weiter zu reduzieren. Beispielsweise verwenden wir oft komplexe Problemlöseaufgaben, die weniger anfällig für Training sein sollten. Aber funktioniert das auch? Wir haben die Trainierbarkeit von zwei unserer Tests empirisch untersucht. Dazu befragten wir unter anderem die Teilnehmenden des TM-WISO und des TMS zu ihrer aufgewandten Vorbereitungszeit. Beim TMS fragten wir zusätzlich, mit welchen Vorbereitungsarten die Vorbereitungszeit verbracht wurde und wie viel Geld für die Vorbereitung investiert wurde.
Die Ergebnisse zeigen, dass sich die Teilnehmenden beim TM-WISO im Durchschnitt etwa 13 Stunden vorbereiten. Dabei wurde kein statistisch bedeutsamer Zusammenhang zwischen der Vorbereitungszeit und dem späteren Testergebnis gefunden. Rein deskriptiv zeigte sich sogar ein leicht negativer Zusammenhang zwischen Vorbereitungszeit und Testergebnis – je mehr Zeit die Teilnehmenden für die Vorbereitung investiert hatten, desto schlechter schnitten sie tendenziell im Test ab. Die Teilnehmenden beim TMS bereiteten sich im Mittel etwa 56 Stunden auf den Test vor. Auf Gesamttestebene wurde ein statistisch bedeutsamer aber geringer positiver Effekt von kommerziellen Trainingskursen und der Vorbereitung mit Büchern festgestellt. Dabei war die Vorbereitung mit Büchern effektiver als die Vorbereitung mit Trainingskursen und das, obwohl die Kosten von Trainingskursen die Kosten von Büchern in der Regel um ein Vielfaches übersteigen. Zum Vergleich: Bücher mit TMS-Originalaufgaben sind für etwa 13 Euro erhältlich, während die Kosten für Trainingskurse oft zwischen 150 und 500 Euro liegen.
Eine Analyse der komplexen und weniger komplexen Untertests ergab zudem ein differenzierteres Bild: Trainingskurse und in die Vorbereitung investiertes Geld hatten einen kleinen signifikanten Einfluss auf die vier nicht-komplexen Untertests, allerdings gar keinen Einfluss auf die vier komplexen Untertests. Die Ergebnisse deuten darauf hin, dass Studierfähigkeitstests weniger trainierbar sind, wenn sie Testmodule mit komplexen fachbezogenen Problemlösungsaufgaben enthalten.
Zusammenfassend lässt sich festhalten: