Häufig gestellte Fragen zu PISA

PISA (Programme for International Student Assessment) dient der standardisierten Messung von Schülerleistungen. Hierbei kooperieren die 37 OECD-Staaten mit zahlreichen Partnerländern mit dem Ziel der Erhebung von Bildungsindikatoren.

Die Ergebnisse aus der Studie dienen den Teilnehmerstaaten als Grundlage von schulpolitischen Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit jenen der anderen Teilnehmerstaaten erlaubt eine Beurteilung von Stärken und Schwächen der Bildungssysteme.

Die Erfassung der Schülerleistungen erfolgt seit der ersten Erhebung im Jahr 2000 in regelmäßigen Abständen (alle drei Jahre), wobei zu jedem Erhebungszeitpunkt ein anderer Kompetenzbereich schwerpunktmäßig (mit rund der Hälfte aller Aufgaben) erfasst wird: 2000/2009/2018 Lesen, 2003/2012/2021 Mathematik und 2006/2015/2024 Naturwissenschaft. Damit ist es einerseits möglich, den Ist-Stand über das Wissen, die Fähigkeiten und die Kompetenzen der Schüler/innen zu erheben, der für die Verantwortlichen des Schulwesens eine Orientierung sein kann. Andererseits lassen sich aus diesen kontinuierlich stattfindenden Erhebungen wertvolle Längsschnittvergleiche über die Leistungsentwicklung gewinnen. Damit wird sichtbar, welche Konsequenzen zwischenzeitlich eingeleitete Änderungen im System haben.

Mit PISA 2015 erfolgte die Umstellung von einem papier- auf einen computerbasierten Test.

Zielgruppe der Untersuchung sind Schüler/innen, die zum Erhebungszeitpunkt 15/16 Jahre alt sind. Diese Art der Zielgruppendefinition wurde gewählt, weil sich Schüler/innen in diesem Alter in fast allen Teilnehmerländern am Ende der Pflichtschulzeit befinden. In Österreich wird eine Zufallsstichprobe von ca. 270 Schulen (aus verschiedenen Schultypen – anteilsmäßig zum Vorkommen in der Grundgesamtheit) ausgewählt. In weiterer Folge werden an jeder ausgewählten PISA-Schule maximal 36 Schüler/innen (ebenfalls zufällig) für die Teilnahme an PISA  ermittelt.

Ziel der Studie ist es, ein möglichst breites Spektrum jener Fähigkeiten zu erfassen, die zur Bewältigung von vielfältigen Aufgaben aus den Bereichen Lesen, Mathematik und Naturwissenschaft nötig sind. Aus diesem Grund steht nicht die Erhebung von Kenntnissen, die im Lehrplan vorgesehen sind, im Vordergrund, sondern die Erfassung von Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich sind und kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Das Konzept, das hinter dieser Leitfrage der PISA-Studie steht, ist das Modell des lebenslangen Lernens.

Dieses beschreibt Kompetenzen, die zur Bewältigung des persönlichen und beruflichen Lebens notwendig sind. Wesentlich ist die Frage, inwieweit die Schüler/innen in der Schule in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft jene Kenntnisse und Fähigkeiten erwerben, die sie später als Erwachsene benötigen werden. Die Kompetenzbereiche werden in den PISA-Frameworks definiert und erläutert. Diese werden mit der Umstellung auf die computerbasierte Testung für die jeweilige Hauptdomäne laufend erweitert und angepasst.

Lesen

Lesekompetenz bedeutet, Texte zu verstehen, zu nutzen, zu bewerten, über sie zu reflektieren und sich mit ihnen auseinanderzusetzen, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen.

Mathematik

Mathematikkompetenz ist die Fähigkeit einer Person, Mathematik in einer Vielzahl von Kontexten zu formulieren, anzuwenden und zu interpretieren. Dazu gehören mathematisches Schlussfolgern sowie die Anwendung mathematischer Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene zu beschreiben, zu erklären und vorherzusagen. Mathematikkompetenz hilft jeder/jedem Einzelnen, die Rolle zu erkennen, die Mathematik in der Welt spielt, sowie fundierte Urteile abzugeben und gut begründete Entscheidungen zu treffen, wie sie von konstruktiven, engagierten und reflektierenden Bürgerinnen und Bürgern benötigt werden.

Naturwissenschaft

Naturwissenschaftskompetenz ist die Fähigkeit, sich als reflektierende Bürgerin/reflektierender Bürger mit naturwissenschaftlichen Themen und mit den Grundideen der Naturwissenschaft auseinanderzusetzen. Dabei ist es wichtig, sich auf einen gut begründeten Diskurs über Naturwissenschaft und Technologie einzulassen. Alle PISA-Aufgaben werden auf Basis der PISA-Frameworks von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PISA-Zentren sowie nationale Expertengruppen begutachtet. Innerhalb der getesteten Kompetenzbereiche werden die Aufgaben zu verschiedenen Aufgabenblöcken zusammengefasst. Daraus werden dann verschiedene Testversionen gebildet, für deren Bearbeitung am Computer die Schüler/innen zwei Stunden zur Verfügung haben. Welche Aufgabenblöcke in welcher Testversion enthalten sind, wird durch ein Schema festgelegt, mit dem die Aufgabenblöcke zwischen den Versionen aufgeteilt (rotiert) werden. Durch diese Vorgehensweise können in jedem Kompetenzbereich durch sehr viele Aufgaben Informationen über die Leistungen der Schüler/innen gewonnen werden, obwohl jede Schülerin/jeder Schüler nur eine vergleichsweise geringe Anzahl von Aufgaben bearbeiten muss.

Mit PISA 2018 wurde erstmals auch ein adaptives Testdesign eingeführt. Dabei erhalten die Schüler/innen, je nachdem, ob die vorhergehenden Aufgaben richtig oder falsch beantwortet wurden, in weiterer Folge Aufgaben mit unterschiedlichem Schwierigkeitsgrad.

Die Aufgaben, die die Schüler/innen lösen müssen, setzen sich aus unterschiedlichen Formaten zusammen:

• Es gibt Aufgaben, bei denen aus mehreren vorgegebenen Antworten eine ausgewählt werden muss (Multiple-Choice-Aufgaben).
• Weiters gibt es Aufgaben, bei denen Aussagen bzw. Textteile mit Drag-and-Drop in die richtige Reihenfolge gebracht werden müssen oder im Text ein fehlendes Wort aus einem Drop-down-Menü ausgewählt werden muss.
• Bei Aufgaben, die eine kurze offene Antwort erfordern, müssen die Schüler/innen kurze schriftliche oder numerische Antworten selbst finden und niederschreiben.
• Bei komplexen offenen Aufgaben muss eine umfassende, längere verbale Antwort selbst konstruiert, niedergeschrieben und begründet werden.

Darüber hinaus gibt es Aufgaben, bei denen die Schüler/innen zunächst eine Computersimulation durchführen (z. B. Auswirkungen der körperlichen Tätigkeit auf die Atemfrequenz) und dann Fragen zu den Ergebnissen dieser Simulation beantworten.

Neben den Leistungsdaten werden wichtige Kontextinformationen auf Schul- und Schülerebene erhoben. Diese liefern eine detaillierte Grundlage für eine schulpolitisch orientierte Ergebnisanalyse und können zur Erklärung von bestimmten Ergebnissen (z. B. welche Rolle das Geschlecht oder der Sozialstatus der Familie für die Leistungen der Schüler/innen spielt) herangezogen werden. Um solche wichtigen Hintergrunddaten zu erhalten, wird im Anschluss an den Test eine rund 45-minütige Befragung der Schüler/innen ebenfalls am Computer durchgeführt.

Darüber hinaus werden wichtige Merkmale der Schule bzw. der Schul- und Unterrichtsorganisation, die einen Einfluss auf die Leistungen der Schüler/innen haben können, in einem Fragebogen für Schulleiter/innen erhoben.

Die Fragebögen werden von einer internationalen Expertengruppe entwickelt. Gewisse Kernfragen in diesen Fragebögen sind in allen Erhebungsjahren enthalten. Variiert werden hingegen die Fragen zum jeweiligen Testschwerpunkt (Lesen, Mathematik oder Naturwissenschaft). Wichtige Themen der Schülerbefragung sind:

• demografische Daten (z. B. Alter, Geschlecht und Migrationshintergrund)
• sozioökonomischer Hintergrund (z. B. Beruf und Schulbildung der Eltern)
• vorhandene und nutzbare Lernressourcen in der Schule und im Elternhaus
• die Einstellungen der Schüler/innen zum Hauptkompetenzbereich (aktuell Mathematik)
• Fragen zum Unterricht aus Sicht der Schüler/innen
• Computernutzung und Umgang mit elektronischen Medien (internationale Option mit freiwilliger Beteiligung)

Im Schulfragebogen werden u. a. folgende Informationen erhoben:

• Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl, Lehrerzahl etc.)
• Informationen über Schulressourcen und Lernumgebung
• Kontext von Unterricht und Erziehung
• Maßnahmen der Qualitätsentwicklung

International

Auf internationaler Ebene hat das OECD-Sekretariat die übergreifende Managementverantwortung für das gesamte Projekt. Wichtige Entscheidungen fallen im PISA Governing Board (PGB), in dem alle Teilnehmerländer vertreten sind. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten fest und überwacht ihre Einhaltung im Verlauf der Implementierung des Programms. Mit der Abwicklung von PISA werden internationale Vertragspartner beauftragt, die für die Realisierung des OECD-Konzepts verantwortlich sind. PISA 2018 wurde international von mehreren Vertragspartnern ("Cores") der OECD koordiniert.

Das internationale Management von PISA 2015 obliegt seit PISA 2015 ETS (Educational Testing Service, USA) gemeinsam mit dem OECD-Sekretariat in Paris. ETS ist darüber hinaus für Testdesign und Testentwicklung und die Entwicklung der elektronischen Testplattform zuständig. Für die Entwicklung der Frameworks zeichnet Pearson (USA) verantwortlich, für die Erhebungsdurchführung und die Stichprobenziehung WESTAT (USA). Die Cores werden zusätzlich von verschiedenen Expertengruppen unterstützt, die sich aus international renommierten Forscherinnen und Forschern aus verschiedensten Bereichen wie Fachdidaktik, Methodik, Psychologie oder Pädagogik zusammensetzten.

Darüber hinaus gibt es für jeden der drei getesteten Kompetenzbereiche Arbeitsgruppen mit renommierten internationalen Expertinnen und Experten (Subject Matter Expert Groups – SMEG), die gewährleisten, dass sich die politische Zielsetzung von PISA mit den höchsten international verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenzen in den verschiedenen Erhebungsbereichen verbindet. Zur Gewährleistung der technischen Qualität des Projekts wurde die Technical Advisory Group eingerichtet, die z. B. für die Überprüfung der Durchführbarkeit der geplanten Stichprobenziehung verantwortlich ist.

Österreich

Die Umsetzung des Projekts auf nationaler Ebene wird in Österreich vom Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF) finanziert und beaufsichtigt. Für die Realisierung verantwortlich ist das IQS.

In einer weltweit durchgeführten Studie wie PISA muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden.

Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wird von der OECD (dem internationalen Konsortium) ein umfassendes Qualitätsmonitoring durchgeführt, wie z. B. die internationale Kontrolle der Testung durch sogenannte PISA Quality Monitors sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis.

Darüber hinaus werden auch am IQS umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am IQS unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

Sämtliche Schülerdaten werden pseudonymisiert erhoben, d. h., das IQS erhält keine persönlichen Daten und Namen, was durch gut erprobte Erhebungsprozesse  gewährleistet ist. Das IQS hält sich damit sowohl an die Vorgaben des aktuellen Datenschutzgesetzes als auch an jene der OECD. Es ist ausschließlich an aggregierten Daten und nicht an Einzeldaten von Personen interessiert. Alle Mitarbeiter/innen des IQS sind zur Amtsverschwiegenheit verpflichtet (§ 46 BDG). Es werden die Ergebnisse aus den Tests und aus den Fragebögen verarbeitet. Die Daten werden ausschließlich für wissenschaftliche Zwecke verwendet.

IQS – Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen

Referat 1/2 − Internationale Studien
Mag.^a Dr.ⁱⁿ Birgit Suchań 
Nationale Projektleiterin PISA 2022 (NPM of Austria)
Alpenstraße 121, 5020 Salzburg
T +43 662 62 00 88-3110
pisa@iqs.gv.at

Ansprechperson im Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF)

Bundesministerium für Bildung, Wissenschaft und Forschung 
Abt. III/4
Dr. Mark Német
Bundesministerium für Bildung, Wissenschaft und Forschung
Minoritenplatz 5, 1014 Wien
T +43­ 1 ­53 120­-5902
mark.nemet@bmbwf.gv.at