Wenn die Testfairness verletzt ist, benachteiligt ein Test systematisch einzelne Gruppen, z. B. Personen eines bestimmten Geschlechts oder einer bestimmten ethnischen Herkunft. Zum Beispiel benachteiligt ein Lesetest zum Thema „Weihnachten“ möglicherweise Schüler*innen, die in ihrer Familie nicht Weihnachten feiern. Das heißt diese Schüler*innen schneiden in dem Test schlechter ab als es ihrer eigentlichen Lesekompetenz entspricht.

Achtung: Im schulischen Kontext wird der Begriff „Fairness“ manchmal anders verwendet, zum Beispiel wird eine zu schwere Lernerfolgskontrolle als unfair bezeichnet. In der Pädagogischen Diagnostik ist aber die obenstehende Bedeutung entscheidend.