Wie sich das Nutzen von Testwiseness auf die Validität des Tests auswirkt ist bisher offen. Einerseits sind die mit Testwiseness verbundenen metakognitiven Strategien wie effektives Zeitmanagement notwendig, um in einem Test das konstruktrelevante Fähigkeitslevel auch zum Ausdruck bringen zu können. Andererseits könnten darüber zumindest bei dafür anfälligen Testaufgaben mehr Punkte erreicht werden, als es das wahre Fähigkeitslevel des Bearbeitenden implizieren würde. Bisherige wissenschaftliche Überlegungen lassen vermuten, dass sich die Effekte von Testwiseness differentiell darstellen: Je nachdem, welche Aspekte des recht heterogenen Konstruktes betrachtet werden und wie anfällig der jeweilige Test konstruiert worden ist, wirkt sich die Nutzung unterschiedlich stark auf die Validität aus.
Bisherige Studien zeigen:
- Theoretische Überlegungen gehen davon aus, dass differentielle Unterschiede in Testwiseness zwischen Personen die Reliabilität und Validität von Testergebnissen (z. B. Miller et al., 1988) reduzieren, d.h. je heterogener die Teilnehmenden hinsichtlich der Testwiseness sind, desto stärker sind Validität und Reliabilität eingeschränkt.
- Es wird davon ausgegangen, dass Personen im niedrigen Testwiseness-Fähigkeitsbereich eher ein Problem für die Validität darstellen als Personen, die durch ausgeprägte Testwiseness zusätzlich Punkte erhalten können (z. B. Pike, 1978).
- Testwiseness ist trainierbar, lässt sich zumindest für kurzfristige Effekte unterrichten (z. B. Slakter, Koehler, & Hampton, 1970).
- Fast 75 % aller von Lehrenden konstruierten Tests enthalten Fragen, die anfällig für Testwiseness sind (Hughes, 1991; nach Rogers & Yang, 1996).
Außerdem ist natürlich relevant, welche Art von Kriterium angesetzt wird. Gegeben, Testwiseness sei ein stabiles Konstrukt, so würde eine Person, die im Studieneignungstest aufgrund der angewandten metakognitiven Strategien noch einige Punkte mehr hat erreichen können, als sie ohne die Nutzung dieser erreicht hätte, mit hoher Wahrscheinlichkeit auch im Studium ausgezeichnete Tests ablegen können und entsprechend erfolgreich sein. Zumindest, wenn das Prüfungsformat im Studium demjenigen im Studieneignungstest stark ähnelt.