In Kürze

Autor: Olaf Köller

Inhalt

• 14.1 Begriffsbestimmung
• 14.2 Die acht Schritte einer wissenschaftlichen Evaluation
• 14.3 Überprüfung der Wirksamkeit von Interventionen
• 14.5 Standards für Evaluationen
• 14.6 Ein Beispiel für eine wissenschaftliche Evaluation
• 14.7 Bildungsmonitoring im allgemeinbildenden Schulsystem

Worum geht's?

Als angewandte Disziplin bietet die Pädagogische Psychologie eine Vielzahl von Präventions- und Interventionsprogrammen im schulischen und außerschulischen Kontext an (→ Kap. 17). Motivationstrainings (z. B. Rheinberg & Krug, 1999) und Denktrainings (Klauer, 1993) sind Beispiele für Interventionen bzw. Maßnahmen auf der Mikro- bzw. Individualebene; Unterrichtsentwicklungsprogramme stellen Interventionen auf einer Mesoebene dar (s. die Evaluationsstudie an Bremer Schulen in → Abschn. 14.6), und schließlich sind Schulreformen Maßnahmen auf der Makro- bzw. Systemebene. Die Pädagogische Psychologie ist nicht nur bemüht, die Maßnahmen auf den verschiedenen Ebenen theoriebasiert zu entwickeln, sie bedient sich vielmehr auch der entsprechenden sozialwissenschaftlichen Methoden und statistischen Verfahren, um den Erfolg der Maßnahmen zu überprüfen. Erfolg bedeutet hier, dass die Zielvariablen der Maßnahmen/Interventionen optimiert werden; im schulischen Kontext können dies motivationale, soziale und emotionale Variablen ebenso wie Schulleistungen sein. Die Überprüfung der Wirksamkeit der Maßnahmen wird als Evaluation, das dazu gehörige wissenschaftliche Vorgehen als Evaluationsforschung bezeichnet.

Im Rahmen dieses Kapitels soll eine Einführung in die Grundlagen der Evaluation gegeben werden. Begonnen wird mit einer Präzisierung dessen, was genau unter einer Evaluation zu verstehen ist und welche Formen der Evaluation unterschieden werden können. Danach wird der Ablauf einer Evaluation in acht Schritten von der Entscheidung, überhaupt eine Evaluation durchzuführen, bis hin zum Ziehen von Konsequenzen aus den Evaluationsbefunden skizziert. → Abschn. 14.3 widmet sich der Überprüfung der Wirksamkeit von Evaluationen, in → Abschn. 14.4 werden verschiedene methodische Probleme beschrieben, die bei der Durchführung und Auswertung von Evaluationen entstehen können. Hieran schließt sich ein kurzer Abschnitt an, in dem international gültige Standards für Evaluationsvorhaben vorgestellt werden. → Abschn. 14.6 beinhaltet dann die Beschreibung eines konkreten Evaluationsvorhabens an Schulen der Sekundarstufe I in Bremen. Abschn. 14.7 widmet sich dem Systemmonitoring des allgemeinbildenden Schulsystems, einer in Deutschland relativ neu etablierten Form der Evaluation unseres Schulwesens; hier ergeben sich Überlappungen zu → Kap. 15

Zusammenfassung

In den angewandten Disziplinen der Psychologie, zu denen auch die Pädagogische Psychologie zählt, wird wissenschaftlich fundiertes Wissen genutzt, um in verschiedenen praktischen Kontexten Zielvariablen zu optimieren. In pädagogisch-psychologischen Zusammenhängen zielen die Maßnahmen vor allem auf die Förderung von Lernenden ab. Mit diesem Kapitel wurde der Versuch unternommen zu dokumentieren, welche Anforderungen an die Abläufe einer wissenschaftlichen Evaluation solcher Maßnahmen gestellt werden, welche Probleme auftreten können und welche Ansätze zu ihrer Lösung existieren. Allein eine Evaluationsforschung, die sich an ihren eigenen, hoch gesetzten wissenschaftlichen Standards orientiert, kann aussagekräftige Ergebnisse zur Effizienz von Interventionsprogrammen liefern. Dies erfordert große Sorgfalt in den jeweiligen Schritten der Evaluation und hohe Expertise aufseiten derjenigen, die die Evaluation verantworten. Die angesprochenen methodischen Herausforderungen (Umgang mit fehlenden Werten, Umgang mit hierarchischen Daten) sollten in diesem Zusammenhang deutlich gemacht haben, dass ein sehr hohes methodisches Know-how vonnöten ist, um zu validen Aussagen auf der Basis der generierten Daten zu gelangen.

Gleichzeitig wurde aber auch argumentiert, dass potenzielle Restriktionen des Umfeldes, in dem eine Evaluation stattfindet, nicht selten im Gegensatz zu den wissenschaftlichen Ansprüchen des Evaluators stehen. Evaluationen werden demzufolge immer wieder das Ergebnis eines Aushandlungsprozesses zwischen Auftraggeber und -nehmer sein.