PISA-Studie: So funktioniert die Auswertung

Nicht nur die Interpretation der Ergebnisse der PISA-Studie sorgt bei jeder Publikation für Diskussionen. Auch die Darstellung der Resultate selbst mit verschiedenen Rangplätzen und Punktezahlen ist schwer nachzuvollziehen. Eine Übersicht der wichtigsten "Lese-Regeln":

• Drei Themenbereiche:
  PISA unterteilt sich in Lesen, Mathematik und Naturwissenschaften, für die jeweils ein eigenes Teilergebnis ausgewiesen wird. Eine "Gesamtwertung" existiert nicht.

•  Durchschnittsresultat aller Schüler:
  Die Ergebnisse für jedes Themengebiet werden in Punkten ausgewiesen. Für jedes Land entsprechen die Ergebnisse dabei dem Durchschnitt aller Resultate seiner Schüler. Für den Mittelwert der OECD-Länder wurde dabei bei der ersten Studie 2000 ein Wert von 500 Punkten festgelegt, bei einer Standardabweichung von 100 Punkten. Somit erzielen etwa zwei Drittel aller Schüler der OECD-Länder Ergebnisse zwischen 400 und 600 Punkten. Seither hat sich der OECD-Schnitt zum Teil geringfügig geändert (2006 betrug der OECD-Schnitt beim Lesen 492 Punkte, in Mathematik 498, bei Naturwissenschaften 500).

• Ein Schuljahr entspricht 38 Punkten
  Beim letzten PISA-Test 2006 betrug der Abstand zwischen dem OECD-Land mit dem höchsten (Finnland) und niedrigsten (Mexiko) durchschnittlichen Ergebnis in der Hauptkategorie Naturwissenschaften rund 250 Punkte. Da sich in den OECD-Staaten eine beträchtliche Zahl der 15-Jährigen in den PISA-Stichproben auf mindestens zwei Klassenstufen verteilen, lässt sich aus deren Leistungsunterschied ableiten, dass ein Schuljahr im Durchschnitt 38 Punkten entspricht.

• Große Schwankungsbreite:
  Der Rang eines Landes in einem Themenbereich ergibt sich aus der durchschnittlichen Punktezahl seiner Schüler. Auf Basis dieser Reihung ist es jedoch nicht möglich, einen exakten Platz für jedes Land anzugeben. Da die Ergebnisse mit Hilfe einer Stichprobe ermittelt werden, können die Fähigkeiten der Grundgesamtheit, also aller 15-Jährigen Schüler, nur mit einer statistischen Unsicherheit angegeben werden. Dadurch ergibt sich für jedes Land eine Spanne von Rangplätzen, auf denen es sich mit 95-prozentiger Wahrscheinlichkeit befindet. Bei PISA 2006 etwa erreichte Österreich bei den Naturwissenschaften mit 511 Punkten das zwölftbeste Ergebnis - berücksichtigt man die Schwankungsbreite, ergäbe das einen Platz zwischen acht und 15.

• Kompetenzstufen:
  Darüber hinaus erstellt die OECD sieben Kompetenzstufen, die eine Einteilung etwa in Risiko- bzw. Spitzenschüler ermöglicht. Diese Stufen entsprechen dem Schwierigkeitsgrad einer bestimmten Gruppe von PISA-Testfragen. Stufe eins umfasst Fragen, deren Lösung mit Hilfe der elementarsten Fertigkeiten möglich ist; höhere Stufen entsprechen Fragen mit höherem Schwierigkeitsgrad. 2006 entsprach ein Unterschied von 75 Punkten der Höhe einer Kompetenzstufe auf der Naturwissenschafts-Skala.
   
• Schwieriger Vergleich:
  Ein Vergleich der Ergebnisse der verschiedenen Testrunden miteinander ist grundsätzlich möglich. Laut OECD ist dies aber "erst ab dem Zeitpunkt möglich, in dem für das jeweilige Testgebiet der konzeptionelle Rahmen voll entwickelt wurde". Für den Bereich Lesen ist dies ab PISA 2000 der Fall, für den Bereich Mathematik ab PISA 2003 und für Naturwissenschaften ab PISA 2006.