Was hat das Vereinigte Königreich, was Deutschland nicht hat, mal abgesehen vom Dauernieselregen? Warum schneidet Australien in der Pisa-Studie in Naturwissenschaften besser ab, warum auch Neuseeland? Vielleicht sollte man sicherheitshalber dem Commonwealth beitreten, um die Länder einzuholen, die in der Wertung im diesjährigen Schwerpunkt-Fach Naturwissenschaften vor Deutschland liegen?
Doch wer nun neiderfüllt auf die Länder schaut, die im Ranking dieses Mal knapp vor Deutschland gelandet sind, kann sich wieder beruhigen: Die Pisa-Ergebnisse sind keine absolute Wahrheit, sondern eine statistische Erhebung, und wie alle solche Untersuchungen mit diversen Messfehlern, Ungenauigkeiten und Unsicherheiten behaftet.
Das liegt schon daran, dass nicht ein ganzer Schüler-Jahrgang getestet wird, sondern nur ein Bruchteil der 774 149 15-Jährigen, sonst wäre der Aufwand zu groß. Knapp 260 Schulen wählten die Tester zufällig aus, wobei große Schulen bessere Chancen hatten als kleinere, um der größeren Schülerzahl Rechnung zu tragen. Anschließend wurden, wieder per Lotterie, an jeder Schule 42 Schüler ausgewählt. Gab es weniger als 42 im Jahrgang, sollten alle mitmachen.
Wenn Schulen einzelne Jugendliche von dieser Ziehung ausschließen wollten, mussten sie Gründe haben, Behinderungen etwa oder zu schlechte Sprachkenntnisse; das betraf 54 Schüler. Dann waren natürlich noch Schüler am Testtag krank; am Ende nahmen 6522 Jugendliche an den Prüfungen teil, weniger als ein Prozent des Jahrgangs.
Das ist zwar eine relativ große Stichprobe, aber es sind nicht alle Schüler. Würde man die Studie komplett wiederholen, würde man eine andere Stichprobe erwischen und andere Ergebnisse erhalten, bessere oder schlechtere, je nachdem, wie viele Physik-Asse oder Chemie-Nieten hinzukommen oder herausfallen. Hinzu kommt der Messfehler: Kein Test ist perfekt, schon gar nicht, wenn die Schüler nur wenige Fragen zu beantworten haben. Mit anderen Fragen würde man wieder andere Ergebnisse bekommen, auch das macht den Mittelwert ungenau.
Diese Faktoren lassen die Werte schwanken: Auf 509 Punkte kamen die deutschen Schüler in den Naturwissenschaften im Schnitt. Würde man das ganze Prozedere oft wiederholen, wäre laut der Analyse der Tester damit zu rechnen, dass die Werte in 95 Prozent der Versuche zwischen 504 und 514 Punkten lägen. Je nachdem, wie der Zufall den anderen Ländern mitspielt, käme Deutschland in 95 von 100 Versuchen innerhalb der OECD auf einen Rang zwischen 6 und 13. Viel genauer lässt sich das Ergebnis nicht fassen; alles andere liegt im Bereich statistischer Schwankungen.
Warum die Studien von 2012 und 2015 schwer vergleichbar sind
Will man die Werte verschiedener Jahrgänge vergleichen, um zu sehen, wie sich ein Land entwickelt hat, dann kommt noch etwas hinzu, was als "Linking-Fehler" bezeichnet wird. Die Prüfungsfragen verändern sich, irgendwie muss man die Testskala eines Jahres an die der nächsten Runde anpassen. Das ist die dritte und die größte Quelle von Unsicherheit.
"Signifikant" heißt ein Unterschied zwischen zwei Werten im Pisa-Test erst dann, wenn er wahrscheinlich nicht allein durch solche Schwankungen hervorgerufen wird. Die Definition dafür ist etwas umständlich: Eine Differenz zwischen zwei Werten ist dann signifikant, wenn sie in höchstens fünf Prozent der Fälle auch ohne einen realen Unterschied zu erwarten wäre, aufgrund statistischer Ungenauigkeit.
Zum Beispiel sind in Deutschland die Werte in den Naturwissenschaften zwischen den beiden Schwerpunktsjahrgängen 2006 und 2015 leicht zurückgegangen, aber dieser Rückgang ist so gering, dass er ebensogut eine statistische Täuschung sein kann - darum ergibt es wenig Sinn, sich darüber aufzuregen, de facto stagnieren die Leistungen. Allerhöchstens kann man sich beschweren, dass es anders als etwa bei der Lesekompetenz keine Verbesserung gegeben hat - jedenfalls keine, die deutlich genug wäre, um sich in den Zahlen niederzuschlagen.
Signifikant ist allerdings der Rückgang in den Naturwissenschaften zwischen 2012 und 2015 um 15 Punkte, das entspricht in der Pisa-Rechnung etwa einem halben Schuljahr. Aber da 2015 ein Schwerpunktjahr mit sehr vielen Prüfungsfragen war, 2012 aber nicht, lassen sich diese Werte schlecht vergleichen, Statistik hin oder her. Zudem sind drei Jahre eigentlich zu kurz, als dass sich eindeutige Trends im Bildungssystem zeigen könnten.
Und was ist nun mit den naturwissenschaftlichen Bildungserfolgen von Großbritannien, Australien und Neuseeland, warum lassen diese Länder Deutschland hinter sich? Tun sie gar nicht. Bezieht man die Unsicherheit mit ein, liegen alle drei Länder in Naturwissenschaften gleichauf mit Deutschland, ebenso wie Korea, Slowenien, die Niederlande und die Schweiz - einen nachweisbaren Unterschied gibt es nicht, auch wenn es in der OECD-Rangliste zuerst anders aussieht.
