Der erste Schein scheint wieder auf: Auch in der zweiten Pisa-Runde landen deutsche Schüler in der unteren Hälfte, scheinen also wieder "dümmer" zu sein als die Konkurrenz.
Mittlerweile balgen sich die beteiligten Wissenschaftler mit den Kultusministern darum, wer die Resultate - also die Zahlen - zuerst deuten darf. Der Streit illustriert die Beliebigkeit der Deutung und erweckt den Eindruck, die erste Deutung wäre richtiger oder wichtiger als die zweite. Das Problem: Die Zahlen sind nicht deutbar.
1. Wir wissen nicht, wie viel Aufgaben mehr so ein finnischer Schüler gelöst hat. Das sei wegen des verwendeten statistischen Modells nicht angebbar, so die Pisa-Macher. Damit wissen wir aber nicht, wie groß der Abstand der Länder inhaltlich ist.
Die Umrechnung der Testpunktunterschiede in Schuljahresabstände leuchtet wenig ein, schließlich ist Lernen kein Aufstapeln von Unterrichtsinhalten. Wir wissen somit aber auch nicht, welche Rolle die unterschiedliche Ausprägung von Testfähigkeiten in den verschiedenen Ländern spielt.
Wir wissen allerdings aus Untersuchungen an den Testaufgaben, dass sie in erheblichem Umfang Testfähigkeiten mitmessen und dass man raten kann. Wir wissen hingegen nicht, ob Raten die Länderunterschiede miterzeugt.
2. Wieder wird die "Analphabetendebatte" ventiliert: Es wird behauptet, 22 Prozent der Schüler erfülle bestimmte Mindestanforderungen ans Lesen und Rechnen nicht. Solche Aussagen erfolgen auf Grundlage eines "Kompetenzstufenmodells".
Mit diesem Modell wird die Punkteanzahl eines Schülers umgedeutet in Kompetenzen, die er angeblich hat. Dieses Modell ist in der Didaktik zumindest umstritten. Es spricht vieles dafür, dass das Modell weder theoretisch noch empirisch haltbar ist.
3. Die Öffentlichkeit nimmt die Pisa-Aufgaben erstaunlich unkritisch hin. Dabei wäre es für jeden Pisa-Gläubigen von heilsamem Nutzen, sich die Aufgaben etwas genauer anzusehen: Es geht ja nicht nur darum, ob man selbst die richtige Lösung finden oder mit 15 Jahren gefunden hätte.
Man kann sich eher fragen, ob die jeweilige Aufgabe etwas Relevantes testet. Sollen Kinder mit solchen Aufgaben lernen, an ihnen gemessen werden? Erschließen diese Aufgaben das Schöne oder Wichtige eines literarischen Textes? Erschließen sie einen interessanten mathematischen Gedanken? Wird ein authentisches reales Problem mathematisch bearbeitet? Wird eine naturwissenschaftliche Frage erschlossen?
4. Eine mathematikdidaktische Untersuchung der Pisa-Aufgaben zeigt, dass das, was man in Deutschland unter mathematischer Bildung versteht, mit diesen Aufgaben kaum angesprochen wird. Erstaunlicherweise sind sie aber nicht mal brauchbare Testaufgaben, denn es bleibt unklar, was eigentlich gemessen wird.
Eine Operationalisierung - Voraussetzung für jeden Test - hat bei Pisa nicht stattgefunden. Ein Beispiel gibt uns die Aufgabe "Dreieck": Die Seite des Dreiecks ABC ist 6 cm lang. Es werden die Mittelpunkte E und F der Seiten AC und BC eingezeichnet. Wie lang ist EF?
Man kann die Aufgabe lösen durch bloßes Messen, Intuition, Strahlensätze oder mit Hilfe einer Formel, die aber kaum eine Rolle im Mathematikunterricht spielt. Wenn ein Schüler die Aufgabe löst respektive nicht löst, wissen wir nicht, wie er die Aufgabe gelöst hat oder wie er gescheitert ist. Wir wissen also nicht, was wir mit der Aufgabe eigentlich messen.
"Unscharfe Messung"
Da fast alle Pisa-Aufgaben auf diese Weise "unscharf" messen, wissen wir nicht, welche Fähigkeiten wir gemessen haben - außer der Fähigkeit, Pisa-Aufgaben zu lösen, also sein Kreuz an die gewünschte Stelle zu setzen, die "richtige" Zahl hinzuschreiben oder auf eine Weise offene Antworten aufzuschreiben, die in den Kategorienkatalog der Tester passt. Inwiefern das alles "mathematische Leistungsfähigkeit" oder "Lesefähigkeit" ist, bleibt dagegen unklar.
Die forschungsmethodischen Probleme bei Pisa treten in der zweiten Runde ebenso auf wie in der ersten. Auch die dritte Runde wird eine Wiederholung des immer Gleichen sein. Deutschland wird ein paar Plätze hoch oder runter rutschen - das ist aber nur in voyeuristischem Sinne interessant und noch keine Erkenntnis.
Über die Ursachen kann jeder spekulieren, so viel er möchte - ob Wissenschaftler, Kultusminister oder Kneipenbruder. Solange wir nicht wissen, was dort eigentlich getestet wird, solange mit unzulänglichen Theorien gearbeitet wird, und solange das Getestete nicht das ist, was wir ausgebildet haben möchten, so lange ist die eine Deutung so richtig wie die andere - und beliebig.
Der Autor ist Mathematikdidaktiker an der Universität Potsdam. Er hat über die mathematischen Tests von Timss und Pisa promoviert. Im Februar erscheint sein Buch "Tests im Test. Das Beispiel PISA" im Barbara Budrich Verlag.