Einleitung

Die Selbstbestimmungstheorie (Deci & Ryan, 2000, 2017) der Lernmotivation erklärt, wie Lernende sowohl extrinsische als auch intrinsische Motivation entwickeln können. Extrinsische Motivation bedeutet, dass Lernende Aktivitäten hauptsächlich auf Grundlage externer Erwartungen oder Belohnungen (z. B. Lob) ausüben. Bisherige Forschung konnte zeigen, dass dies zu einer Abhängigkeit von externen Anreizen führen und die langfristige Leistung oder Zufriedenheit verringern kann. Durch Internalisierung kann sich extrinsisch motiviertes Verhalten jedoch in Überzeugungen, Werte und Handlungen umwandeln, die besser mit dem Selbstverständnis einer Person übereinstimmen. Dieser Prozess kann langfristig zu intrinsischer Motivation führen, also dem Wunsch, eine Aktivität aufgrund ihres inhärenten Interesses an einem Lerninhalt, ihrer Freude oder ihres persönlichen Wertempfindens bei einer Lernaktivität auszuüben. Intrinsische Motivation wird mit einer besseren Entwicklung, mehr Wohlbefinden und qualitativ hochwertigem Lernen in Verbindung gebracht. Laut der Selbstbestimmungstheorie finden Internalisierung und die Entwicklung intrinsischer Motivation statt, wenn die grundlegenden psychologischen Bedürfnisse nach Autonomie, Kompetenz und sozialer Verbundenheit unterstützt werden.

Im Unterricht kann die intrinsische Motivation der SchülerInnen aktives Engagement und Lernen fördern. Lehrkräfte können die Internalisierung und die Entwicklung intrinsischer Motivation der Lernenden fördern, indem sie die Bedürfnisse der Lernenden nach Autonomie und Kompetenz unterstützen. Beide Bedürfnisse sind mit positiven schulischen Leistungen verbunden.

Autonomie spiegelt das Gefühl der SchülerInnen wider, Verantwortung und Kontrolle über ihre interessengerechten Lernziele und -erfahrungen zu haben. Die Unterstützung der Autonomie durch Lehrkräfte umfasst daher das Verstehen der Perspektiven der SchülerInnen, die Förderung ihres Wohlbefindens und die Schaffung von Bedingungen, die sie dazu ermutigen, sinnvolle Entscheidungen zu treffen und sich aktiv an ihrem eigenen Lernen zu beteiligen. Zu den gängigen Strategien gehören das Anbieten von Wahlmöglichkeiten, das Geben von Erklärungen, das Anpassen an das Tempo der Lernenden und das einfühlsame Zuhören.

Kompetenz spiegelt die Wahrnehmung der SchülerInnen ihrer Fähigkeiten und ihrer Effektivität im Unterricht, beim Lernen und beim Erreichen akademischer Ziele wider. Lehrkräfte unterstützen das Kompetenzerleben, indem sie strukturierende Maßnahmen, die es den Lernenden ermöglichen, Fähigkeiten aufzubauen und unnötige Schwierigkeiten zu vermeiden. Strukturelle Unterstützung kann entweder leitend (z. B. Anpassung der Aufgaben an die sich entwickelnden Fähigkeiten der Schüler) oder klärend sein (z. B. Bereitstellung expliziter Anweisungen, Erwartungen und umsetzbarer Rückmeldungen). Forschungsergebnisse deuten darauf hin, dass sich die Unterstützung der Autonomie und die strukturierenden Maßnahmen gegenseitig ergänzen können, um die Lernergebnisse zu verbessern und es Lehrkräften zu ermöglichen, bedürfnisorientierten Unterricht zu praktizieren (Jang et al., 2010). Bisher hat jedoch keine Metaanalyse ihre Beziehung untersucht. Patzak und Zhang (2025) schließen diese Lücke mit ihrer Korrelationsbasierten Metaanalyse. Ihre Ergebnisse tragen dazu bei, zu klären, was im Unterricht am wichtigsten ist: Autonomieunterstützung, Struktur oder beides.

Worum geht es in dieser Studie?

In ihrer Metaanalyse untersuchen Patzak und Zhang (2025) zwei Unterstützungsformen der Selbstbestimmungstheorie: Autonomieunterstützung und die strukturierenden Maßnahmen zur Förderung des Kompetenzerlebens. Im Gegensatz zu Metaanalysen, die die Effektivität von Interventionen durch den Vergleich von Versuchs- und Kontrollgruppen in Primärstudien untersuchen, handelt es sich hier um eine korrelationsbasierte Metaanalyse. Hierbei stehen die Korrelationen oder Beziehungen zwischen Variablen im Fokus. Diese Art der Metaanalyse liefert keine Informationen über die Wirksamkeit einer Intervention, sondern bietet vielmehr einen Überblick über die Zusammenhänge zwischen Variablen in verschiedenen Studien und das Ausmaß, in dem sie die Lernergebnisse von SchülerInnen vorhersagen. Konkret untersuchen die AutorInnen

1. wie Autonomieunterstützung und strukturierende Maßnahmen zusammenhängen,
2. ob diese Beziehung je nach Kontext (d. h. Schulstufe, Fach, Kultur und Datenerhebungsmethode) variiert und 
3. wie diese Unterstützungsmaßnahmen einzeln und gemeinsam mit den Lernergebnissen der SchülerInnen zusammenhängen.

Darüber hinaus berichten sie über die Konzeptualisierungen beider Unterstützungsformen. Die Evidenzbasis umfasst 94 Studien aus den Jahren 2002 bis 2024. Die Meta-Analyse stützt sich so auf 110 korrelative Effektgrößen zwischen Autonomieunterstützung und Struktur, 85 korrelative Effektgrößen zwischen Autonomieunterstützung und Lernergebnissen, und 85 korrelative Effektgrößen zwischen Struktur und Lernergebnissen. Diese Studien wurden durch eine gründliche Suche in mehreren Datenbanken und ergänzenden Recherchen ermittelt und umfassten insgesamt Daten von 592.553 SchülerInnen und Lehrkräften.

Autonomieunterstützung und Struktur wurden in den Studien durch Schüler- und Lehrkraftbefragungen sowie durch Beobachtungsinstrumente erfasst. Typische Strategien und Verhaltensweisen lassen sich wie folgt zusammenfassen:

Was findet diese Studie heraus?

Die Metaanalyse ergab einen signifikanten positiven Effekt für den Zusammenhang zwischen Autonomieunterstützung und der strukturierenden Maßnahmen (r = 0.53). Das bedeutet, dass beide Unterstützungsformen in der Praxis häufig gemeinsam auftreten, statt sich auszuschließen. Außerdem wurde festgestellt, dass dieser Zusammenhang über verschiedene Fächer und kulturelle Kontexte hinweg stabil ist. Hinsichtlich der Schularten jedoch variierte die Stärke des Zusammenhangs signifikant: In der Sekundarstufe (r = 0.56) und bei Studierenden (r = 0.57) fiel der Zusammenhang stärker aus als in der Grundschule (r = 0.29). Die Datenerhebungsmethode für Autonomieunterstützung und Struktur hatten ebenfalls einen signifikanten Einfluss auf ihre Beziehung, wobei die Effektstärken bei Schülerberichten (r = 0.59) größer waren als bei Lehrerberichten (r = 0.45) und Beobachtungen (r = 0.36).

Die AutorInnen fanden auch heraus, dass sowohl die Autonomieunterstützung als auch die strukturierenden Maßnahmen einen positiven Zusammenhang zu den Lernergebnissen der SchülerInnen leisteten. Die Unterstützung der Autonomie zeigte den größten Zusammenhang mit dem Autonomieerleben der SchülerInnen (r = 0.29) und ihrem akademischen Engagement (r = 0.21). Die strukturierende Maßnahme war am stärksten mit dem Kompetenzerleben der SchülerInnen (r = 0.25), ihrem Autonomieerleben (r = 0.21) und ihrem akademischen Engagement (r = 0.19) verbunden. Weder Autonomieunterstützung noch strukturierende Maßnahmen zeigten einen signifikanten Zusammenhang mit kontrollierter Motivation (Belohnung/Bestrafung durch äußeres Umfeld). 

Schließlich stellten sie fest, dass die kombinierte Unterstützung einen größeren Zusammenhang mit den Lernergebnissen der SchülerInnen hatte als die einzelnen Unterstützungsmaßnahmen für sich genommen. Die Kombination aus Autonomieunterstützung und Struktur stand am stärksten im Zusammenhang mit dem Autonomiegefühl der SchülerInnen (r = 0.47) und dem Kompetenzgefühl der SchülerInnen (r = 0.36).

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen. In der Tabelle 1 können Sie die Moderatoreffekte auf die Korrelationen zwischen Autonomieunterstützung und Struktur einsehen. Tabelle 2 zeigt den Zusammenhang zwischen Autonomieunterstützung bzw. Struktur und dem Lernoutcome.

Studienbeispiel

Hornstra et al. (2021) untersuchten, wie SchülerInnen der Sekundarstufe das Unterrichtsklima erleben und wie diese Wahrnehmung mit ihrer Motivation zusammenhängt. Insgesamt nahmen 287 SchülerInnen der 7. Jahrgangsstufe teil, die im regulären Unterricht der Fächer Mathematik, Englisch oder Niederländisch befragt wurden. 

Ziel der Studie war es, zu erfassen, ob Autonomieunterstützung und Struktur im Unterricht gemeinsam auftreten und wie stark beide Aspekte mit der Motivation der SchülerInnen verbunden sind. Die SchülerInnen füllten dazu einmalig den „Teacher as Social Context Questionnaire“ (TASC) aus. Damit wurden Autonomieunterstützung (z.B. Wahlmöglichkeiten, nachvollziehbare Begründungen) und Struktur (z.B. klare Erwartungen, verständliche Schrittfolgen) erfasst. Zusätzlich bearbeiteten sie den „Self-Regulation Questionnaire – Academic“ (SRQ-A), mit dem autonome Motivation (z.B. aus eigenem Interesse oder persönlichen Werten) und kontrollierte Motivation (z.B. durch äußere Bestrafungen/Belohnungen veranlasst) im jeweiligen Fach eingeschätzt wurde. 

Die Ergebnisse zeigten einen deutlich positiven Zusammenhang zwischen Autonomieunterstützung und Struktur Lehrkräfte, die viel Autonomieunterstützung bieten, schaffen in der Regel auch klare und hilfreiche Strukturen. Beide Unterstützungsformen standen zudem in engem Zusammenhang mit einer höheren autonomen Motivation der SchülerInnen. SchülerInnen, die sich stärker unterstützt fühlten, schätzten ihre eigenen schulischen Leistungen außerdem höher ein.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die Metaanalyse ergab, dass die Unterstützung der Autonomie und die strukturierenden Maßnahmen insgesamt einen positiven und signifikanten Zusammenhang zeigten (r = 0.53). Von diesen 110 Effektgrößen, waren lediglich sieben negativ, was darauf hindeutet, dass die Beziehung überwiegend verstärkend war: Wenn die Unterstützung der Autonomie im Klassenzimmer zunimmt, nimmt also auch die Strukturierende Maßnahmen tendenziell zu. Die Stärke und Richtung der Gesamteffekt deutet darauf hin, dass Lehrkräfte, die ihren SchülerInnen Unterstützung für ihre grundlegenden psychologischen Bedürfnisse bieten, dies in Bezug auf Autonomie und Kompetenz recht konsequent tun.

Im Vergleich zu vielen anderen Befunden aus der pädagogisch-psychologischen Unterrichtsforschung ist dieser Gesamteffekt bemerkenswert hoch. Andere Meta-Analysen im Bereich der Selbstbestimmungstheorie berichten typischerweise nur über kleinere bis moderate Zusammenhänge zwischen „Need Support“, d.h. Unterstützung zu grundlegenden psychologischen Bedürfnissen und Lernergebnissen. So fanden beispielsweise Mammadov und Schroeder (2023) einen durchschnittlichen Zusammenhang von r = .32 zwischen der wahrgenommenen Autonomieunterstützung durch Lehrkräfte bzw. Eltern und positiven Lern- und Motivationsvariablen.

Die AutorInnen stellten außerdem fest, dass die Unterstützung der Autonomie und die strukturierenden Maßnahmen jeweils unterschiedliche Zusammenhänge zu den Lernergebnissen der SchülerInnen aufwiesen: Die Unterstützung der Autonomie zeigte die stärksten Zusammenhänge mit dem Autonomieerleben und dem akademischen Engagement der Lernenden, während die strukturierenden Maßnahmen die stärksten Zusammenhänge mit dem Kompetenzgefühl, dem Autonomiegefühl und dem akademischen Engagement aufwies. Diese Ergebnisse deuten darauf hin, dass der Einsatz von Strategien zur Unterstützung der Autonomie durch die Lehrkräfte und die strukturierenden Maßnahmen zur Förderung der Kompetenz von SchülerInnen jeweils auf unterschiedliche, aber sich ergänzende Weise zur Motivation dieser beitragen. Darüber hinaus war der Zusammenhang zwischen kombinierter Unterstützung und den Lernergebnissen der SchülerInnen sogar noch größer. Dies deutet darauf hin, dass die Unterstützung von Autonomie und Kompetenz, wenn sie zusammen eingesetzt werden, mit besseren Lernergebnissen verbunden ist als die Unterstützung nur einer dieser Bereiche.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Es wurden sechs verschiedene Lernergebnisse in Zusammenhang mit der Autonomieunterstützung und den Strukturangeboten untersucht. Dabei ging es um Autonomiegefühl, Kompetenzgefühl, autonome Motivation, kontrollierte Motivation, akademisches Engagement und akademische Leistung. Anhand früherer Ergebnisse wurde vorausgesagt, dass alle Ergebnisse (mit Ausnahme der kontrollierten Motivation) eine positive Beziehung zur Unterstützung der Autonomie und zu den strukturierenden Maßnahmen aufweisen würden. Diese Hypothese wurde bestätigt. Für die kontrollierte Motivation dagegen wurde in den Hypothesen ein negativer Zusammenhang bei der Unterstützung der Bedürfnisse vorausgesagt. Da diese Zusammenhänge jedoch nicht signifikant waren, konnte diese Hypothese durch die Studie nicht bestätigt wurde. 

Die Beziehung zur Unterstützung der Bedürfnisse wurde auch anhand verschiedener Kontextvariablen bewertet, um die differenzierte Ausprägung des Zusammenhangs zu bestimmen. Untersucht wurde, ob sich die Beziehung je nach Fach (allgemeinbildende/gemischte Fächer, MINT-Fächer, Sport und Sozialwissenschaften) oder Klassenstufe (Grundschule, Sekundarstufe und postsekundäre Bildung) veränderte. In Bezug auf das Bildungsniveau stellten sie fest, dass der Zusammenhang in der Sekundarstufe und an der Universität stärker ausgeprägt war. Dies deutet darauf hin, dass die Unterstützung von Autonomie und Kompetenz bei älteren Lernenden Hand in Hand gehen kann, während Lehrkräfte jüngerer Lernender möglicherweise nicht so häufig beide Arten der Unterstützung kombiniert einsetzen. Zudem wurde untersucht, ob sich der Zusammenhang je nach Datenerhebungsmethode (Schülerbericht, Lehrerbericht und Beobachtung) verändert. Dabei zeigte sich, dass der Zusammenhang bei Schülerberichten deutlich stärker ausgeprägt war. Dies deutet darauf hin, dass die SchülerInnen die Beziehung zwischen Autonomieunterstützung und Struktur als stärker empfanden als Lehrkräfte und externe Beobachter. 

Ein Bereich, der in dieser Studie nicht untersucht wurde, ist die Unterstützung des dritten grundlegenden psychologischen Bedürfnisses gemäß der Selbstbestimmungstheorie, nämlich das Bedürfnis nach sozialer Eingebundenheit. Auch wenn nachgewiesen wurde, dass diese Art der Unterstützung Lernende fördert (King, 2015), war dies nicht Teil der Metaanalyse, sodass keine Aussage über diese Unterstützung möglich ist.

Wie verallgemeinerbar sind die Befunde?

Insgesamt zeigten in dieser Metaanalyse die Unterstützung der Autonomie und die strukturierenden Maßnahmen einen signifikanten positive Zusammenhang. Zusätzlich konnte durch folgende Ergebnisse eine erhebliche Verallgemeinerbarkeit belegt werden. Primärstudien innerhalb der Metaanalyse (103 / 110) berichteten überwiegend über eine positive, verstärkende Beziehung.

Darüber hinaus zeigten die Unterstützung der Autonomie und die strukturierenden Maßnahmen sowohl eindeutige als auch noch größere kollektive Zusammenhänge mit allen positiven motivationalen Schülerergebnissen, dass beide Arten der Unterstützung, insbesondere in Kombination, wahrscheinlich zu positiven motivationalen Wahrnehmungen und Verhaltensweisen der SchülerInnen beitragen. 

Die Studie weist zwar auf die Verallgemeinerbarkeit des Zusammenhangs zwischen den Unterstützungsstrategien hin, die AutorInnen stellten jedoch auch eine erhebliche Heterogenität zwischen den Studien fest. Daher führten sie eine Moderatoranalyse durch, um zu untersuchen, ob sich der Zusammenhang je nach Kontextvariablen ändert. Sie hielten es für möglich, dass das Engagement der SchülerInnen für das Fach ihre Unterstützungsbedürfnisse widerspiegelt. Darüber hinaus stellten sie die Hypothese auf, dass kollektivistische vs. individualistische kulturellen Kontexte zu Unterschieden in der Umsetzung von Unterstützungsstrategien durch Lehrkräfte führen könnten (so könnte beispielsweise die Unterstützung der Autonomie mit kollektivistischen kulturellen Normen in Konflikt stehen). Sie stellten jedoch fest, dass der Zusammenhang für das Fachgebiet^[1] und den kulturellen Kontext relativ stabil ist, was auf seine Verallgemeinerbarkeit für diese Variablen hindeutet. Wie oben erwähnt, stellten die AutorInnen auch fest, dass die Verallgemeinerbarkeit der Beziehung für GrundschülerInnen sowie für Messungen aus Selbstberichten von Lehrkräften und externen Beobachtungen begrenzt ist.

Was die Merkmale der Unterstützungsstrategien (z. B. Dauer, verschiedene Strategietypen) betrifft, so wurden diese Variablen in der vorliegenden Studie nicht untersucht, sodass keine Aussage über die Verallgemeinerbarkeit der Beziehung getroffen werden kann.

^[1] Die AutorInnen weisen darauf hin, dass die relative Stabilität dieses Zusammenhangs vorsichtig zu interpretieren ist, da in vielen Primärstudien das konkrete Unterrichtsfach nicht berichtet wurde und daher in den Analysen fehlt

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse leistet einen wichtigen Beitrag zur Selbstbestimmungstheorie. Sie ist die erste, die Autonomieunterstützung und Strukturierung (Kompetenzunterstützung) im Unterricht gemeinsam untersucht, um den Zusammenhang zueinander, zu Lernergebnissen und verschiedenen Bildungskontexten zu verstehen.

Die Ergebnisse klären bestehende Kontroversen: Autonomieunterstützung und Strukturierung sind unabhängige Strategien, die sich gegenseitig verstärken und einzeln wie gemeinsam zur Motivation und zum Lernerfolg der SchülerInnen beitragen. Dies bestätigt frühere Metaanalysen (z.B. Mammadov & Schroeder, 2023).

Zusätzlich bietet die Studie eine systematische Begriffsklärung beider Konzepte, die auf dem Rahmen von Reeve und Cheon (2021) aufbaut (siehe Abbildung 1). Der präsentierte Überblick über die zugehörigen Strategien schafft ein einheitlicheres Verständnis im Feld und fördert die Verallgemeinerbarkeit zukünftiger Forschung.

Wie methodisch verlässlich sind die Befunde?

Die Darstellung und Begründung des methodischen Vorgehens entspricht in hohem Maße den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards).

Die statistische Berichterstattung der Studie war gründlich, beispielsweise erläuterten die AutorInnen ihr ausgewähltes Modell und verwendeten mehrere Tests für die Veröffentlichungsvoreingenommenheit. Es gab jedoch auch Bereiche, in denen Verbesserungen möglich waren. Die AutorInnen hätten detailliertere Angaben zu den Einschlusskriterien, Moderatorstufen und Datenkodierung sowie zur Reliabilität machen können.

Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metanalyse zeigt, dass Lehrkräfte am meisten erreichen, wenn sie zwei Ansätze kombinieren: Autonomie unterstützen (z.B. Lernende mitentscheiden lassen) und Struktur geben (z.B. klare Orientierung bieten). Diese beiden Strategien ergänzen sich und wirken zusammen am stärksten auf die Motivation der SchülerInnen. Die Lernenden fühlen sich dann kompetenter, engagieren sich mehr im Unterricht und lernen aus eigenem Antrieb. Das gilt über alle Fächer und Kulturen hinweg und zeigt sich besonders deutlich bei älteren SchülerInnen.

Konkret bedeutet Autonomieunterstützung, echte Wahlmöglichkeiten anzubieten, zu erklären warum etwas wichtig ist, und die Perspektiven der Lernenden ernst zu nehmen. Struktur geben heißt, klare Anleitungen und Erwartungen zu kommunizieren und regelmäßig zu ermutigen.

Wichtig ist jedoch: Die Studie zeigt Zusammenhänge, aber keine direkten Ursache-Wirkung-Beziehungen. Der positive Einfluss auf die Motivation ist klar erkennbar, der direkte Einfluss auf die Noten weniger. Vermutlich wirkt sich die bessere Motivation indirekt über mehr Engagement auf die Leistung aus. Dies muss jedoch noch genauer erforscht werden. In jedem Fall lohnen sich beide Strategien, am besten setzt man sie zusammen ein.

Referenzen und Links

Downloads

Einleitung

Gamification in der Bildung beinhaltet die Verwendung von Spielelementen und -merkmalen wie Punkten, Ranglisten, Fantasiefiguren oder geheimnisvollen Themen zur Förderung des Lernens und der Beteiligung der Lernenden im Unterricht (Landers, 2014). Ähnlich wie beim spielbasierten Lernen, bei dem mehrere Spielfunktionen vollständig in ein eigenständiges Lernspiel integriert werden (siehe Kurzreview 3 zu DGBL von Wouters et al., 2013), werden bei Gamification ein oder mehrere Spielelemente flexibler in Nicht-Spielkontexte wie Lernaufgaben oder Schülerprojekte eingebunden.

Dieser Aspekt erleichtert die Gestaltung und Entwicklung im Vergleich zu einem kompletten Spiel. Darüber hinaus deuten frühere Untersuchungen darauf hin, dass Gamification im Gegensatz zu traditionellen Ansätzen zu einem verbesserten Lernerfolg führt (siehe z. B. Kurzreview 30 zu Gamification von Bai et al., 2020). Es ist jedoch noch unklar, wie sich Gamification auf verschiedene Arten von Lernergebnissen auswirkt und welche Kombinationen von Gamification-Elementen das Lernpotenzial maximieren. Ebenso ist unklar, ob Gamification in verschiedenen Fachbereichen, Lernphasen oder bei unterschiedlicher Anwendungsdauer ähnliche Vorteile bietet.

Worum geht es in dieser Studie?

Die Metaanalyse von Dai und Kollegen (2025) untersucht die Auswirkungen von Gamification im Vergleich zu traditionellem Lernen auf die kognitiven (z.B. Wissen, Wissenstransfer), kompetenzbezogenen (z.B. technische Fähigkeiten) und affektiven Ergebnisse (z.B. Einstellungen, Überzeugungen) von Lernenden. Dabei wird genauer betrachtet, welche die effektivsten Kombinationen von Spielelementen für das Lernen sind und ob sich die Auswirkungen von Gamifizierung je nach Fachbereich, Lernphase oder Implementierungsdauer unterscheiden.

Dafür analysieren die AutorInnen 37 (quasi-)experimentellen Studien, die zwischen 2013 und 2023 veröffentlicht wurden und insgesamt 182 Effektgrößen berichteten. Die eingeschlossenen Studien mussten die Ergebnisse der Lernenden zwischen einer Kontrollgruppe ohne und einer Interventionsgruppe mit Gamification-Elementen vergleichen, wobei ein oder mehrere Spielelemente in die Intervention integriert wurden.

Die Spielelemente in jeder der Studien wurden gemäß dem Modell von Garris und Kollegen (2002) in Gamification-Kategorien unterteilt:

Die Studien wurden dann in vier Gruppen eingeteilt, je nach Kombination der eingesetzten Gamification-Elemente:

• Nur Regeln/Ziele (4 Studien)
• Regeln/Ziele + Herausforderung (18 Studien)
• Regeln/Ziele + Herausforderung + Fantasie (10 Studien)
• Regeln/Ziele + Herausforderung + Geheimnis (5 Studien)

Für jede Studie wurden außerdem die Bildungsstufe (K-12 oder höhere Bildung), das Fachgebiet (Mathematik, Ingenieurwesen, Kunst und Geisteswissenschaften, Sozialwissenschaften oder andere) und die Dauer des Einsatzes von Gamification (von „innerhalb eines Tages“ bis „innerhalb eines Jahres“) notiert.

Was findet diese Studie heraus

Die Ergebnisse zeigten, dass Gamification insgesamt einen signifikanten positiven Effekt auf die Lernergebnisse hatte (d= 0.57) im Gegensatz zu ähnlichen Lernaufgaben ohne Gamification. Die Effekte auf kognitive Ergebnisse (d = 0.61) waren etwas größer als auf kompetenzbasierte Ergebnisse (d = 0.55) und affektive Ergebnisse (d = 0.44).

Besonders deutlich wurden die Unterschiede bei den eingesetzten Spielelementen: Interventionen, die ausschließlich auf „Regeln/Ziele“ setzten, zeigten keine Wirkung. Wurden zusätzlich „Herausforderungs“-Elemente integriert, stieg der Effekt signifikant an (d = 0.49). Die besten Ergebnisse erzielten Kombinationen aus drei verschiedenen Kategorien: „Regeln/Zielen“, „Herausforderung“ und „Fantasie“ (d = 0.50) bzw. „Geheimnis“ (d = 0.52). Diese Ergebnisse deuten darauf hin, dass die Kombination von Gamification-Elementen aus verschiedenen/mehreren Kategorien die Lernergebnisse deutlich verbessert hat, im Vergleich zum alleinigen Einsatz von Elementen der Kategorie „Regeln/Ziele“.

Mit Hilfe einer Moderationsanalyse stellten die AutorInnen fest, dass sich die Gamification-Effekte je nach Fachgebiet und Dauer des Gamification-Einsatzes unterschieden, jedoch keine signifikanten Unterschiede zwischen den Bildungsstufen aufwiesen. In Bezug auf das Fachgebiet hatte Gamification zwar in allen Fächern einen positiven Effekt, jedoch waren die Effekte in den MINT-Fächern (Mathematik: d = 0.58, Ingenieurwissenschaften: d = 0.50) signifikant höher. Die Dauer des Einsatzes zeigte signifikante positive Effekte für alle Zeitspannen mit Ausnahme von „innerhalb einer Woche“. Die größten Effekte wurden für „innerhalb eines Tages“ (d = 0.63) und „innerhalb eines Jahres“ (d = 0.61) und geringere Effekte für „innerhalb eines halben Jahres“ (d = 0.39) gefunden. 

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Studienbeispiel

Die Studie von Hsiao und Kollegen (2023) untersuchte den Einsatz von Gamification-Elementen zur Förderung der Lernergebnisse in einem Programmierkurs für die 10. Klasse in Taiwan. Dabei entwickelten 132 SchülerInnen in einem 12-wöchigen MINT-Projekt mit Hilfe praktischer Aktivitäten (z.B. Programmierung, physikalische Sensoren) ein „Smart House”. Ziel der Studie war es, die Auswirkungen verschiedener Lernstrategien für das Projekt zu vergleichen, indem die SchülerInnen in drei Gruppen eingeteilt wurden:

Die Kontrollgruppe arbeitete mit Hilfe einer 6-stufigen Problemlöseaktivität nach der traditionellen Lernmethode der Softwareentwicklung an dem Projekt. Dazu gehörten Phasen wie Problemdefinition, Entwicklung und Testen des Endprodukts. 

Die erste Experimentalgruppe führte das Projekt mit der 6E-Methode (ein ingenieurwissenschaftlichen Lernansatz mit sechs Phasen) durch. Zu der Projektkonzeption und -entwicklung dieser Strategie gehörten beispielsweise Erkundung, Konstruktion und Bewertung, jedoch ohne Gamification. 

Die zweite Experimentalgruppe arbeitete ebenfalls mit der 6E-Methode, jedoch wurden jeder Phase Gamification-Elemente hinzugefügt: Zu Beginn übernahmen die SchülerInnen fiktive Rollen als Bauunternehmerteams („Fantasie“). In den nächsten Phasen konnten die Teams gegeneinander antreten, indem sie Punkte für Quizze, Herausforderungen und soziales Verhalten (bspw. das Helfen anderer) sammelten („Regeln/Ziele“, „Herausforderung“). Und zuletzt konnten die Teams eine Rangliste der Teamleistungen einsehen („Herausforderung“).

Hsiao und Kollegen (2023) verglichen die drei Gruppen hinsichtlich kognitiver, kompetenzbezogener und affektiver Lernergebnisse. Sie stellten fest, dass die zweite experimentelle Gruppe, die das Projekt mit der 6E-Methode in Kombination mit Gamification durchführte, bei allen Ergebnissen die beste Leistung erzielte: Sie zeigte höhere kognitive Lerngewinne und bessere praktische Leistungen im Projekt gegenüber der Kontrollgruppe und im Vergleich zur ersten Experimentalgruppe. Diese Studie zeigt, dass eine gezielte Kombination aus Gamification zusammen mit der 6E-Lernmethode den SchülerInnen helfen kann, über die traditionellen Problemlösungsaktivitäten hinauszugehen und den MINT-Unterricht unterstützen kann. 

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Für Gamification wurde ein signifikanter Gesamteffekt von Cohen‘s d = 0.57 gefunden. Ein Effekt dieser Stärke bedeutet, dass circa 70% der Lernenden, die mit Gamification-Elementen lernten, eine höhere Lernleistung erbrachten als der Durchschnitt der Lernenden, die ohne solche Elemente lernten. Dieser Effekt repliziert frühere Ergebnisse (g = 0.50) aus der Gamification-Metaanalyse von Bai und Kollegen (2020) (siehe KR 30), was auf einen recht stabilen Effekt für Gamification hindeutet. Dai und Kollegen unterscheiden darüber hinaus zwischen kognitiven, kompetenzbasierten und affektiven Ergebnissen, wobei die kognitiven Effekte am größten waren (d = 0.61).

Von den verschiedenen Kombinationsmöglichkeiten der Gamification-Elemente zeigte das Zusammenspiel von drei Kategorien die größten Effekte („Regeln/Ziele“ + „Herausforderung“ + „Geheimnis“ oder „Fantasie“). Allerdings zeigte bereits die Kombination aus zwei Kategorien, nämlich „Regeln/Ziele“ + „Herausforderung“, ähnliche Effekte, während die alleinige Umsetzung von „Regeln/Zielen“ keinen Vorteil erkennen ließ. Dies legt nahe, dass Lehrkräfte mindestens die beiden Kategorien „Regeln/Ziele“ + „Herausforderung“ umsetzen sollten, um die Vorteile der Gamification nutzen zu können.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

In der Metaanalyse wurden drei abhängige Variablen berichtet: kognitive, kompetenzbasierte und affektive Lernergebnisse. In der Moderatoranalyse wurden zusätzlich Gamification-Effekte für verschiedene Fächer, Bildungsstufen und Interventionsdauer untersucht: 

Dabei zeigte sich, dass die Effekte je nach Fach variierten und in den MINT-Fächern (Mathematik und Ingenieurwesen) größer waren. In Bezug auf die Bildungsstufe unterschied die Metaanalyse zwischen den Auswirkungen auf SchülerInnen der Klassenstufen K-12 und Studierende im Hochschulbereich und stellte für beide Gruppen ähnliche Auswirkungen fest. Die AutorInnen unterschieden jedoch nicht weiter zwischen Grundschul- und SekundarschülerInnen, sodass keine Schlussfolgerungen zu diesen Gruppen gezogen werden können.

Die Interventionsdauer wurde in fünf Bereiche unterteilt: innerhalb eines Tages, innerhalb einer Woche, innerhalb eines Monats, innerhalb eines halben Jahres und innerhalb eines Jahres. Die Moderatoranalyse zeigt, dass die Auswirkungen der Gamification am größten sind, wenn sie einen Tag lang (d = 0.63) oder ein Jahr lang (d = 0.61) umgesetzt wird. Dai und Kollegen vermuten, dass die kurzfristigen Effekte auf den Neuigkeitseffekt zurückzuführen sein könnten, während längere Einsatzdauern möglicherweise tieferes Lernen fördern.

Wie verallgemeinerbar sind die Befunde?

In Bezug auf die Verallgemeinerbarkeit zeigt die Metaanalyse positive Effekte von Gamification für mehrere Lernergebnisse, über verschiedene Fachbereiche hinweg und während der gesamten Schul- und Universitätslaufbahn.

Die Auswirkungen von Gamification im Gegensatz zu keinen Elementen waren bei allen drei Lernergebnissen positiv. Darüber hinaus ergab die Metaanalyse ähnliche Auswirkungen für die K-12- und die Hochschulbildung, was darauf hindeutet, dass Gamification in allen Lernphasen positive Ergebnisse fördern kann. Obwohl Gamification in den MINT-Fächern größere Auswirkungen zeigte, stellten die Autoren positive Auswirkungen für alle Fächer fest, was für ihre Verallgemeinerbarkeit spricht. In Bezug auf die Kombinationen von Gamification-Kategorien ergab die Metaanalyse signifikante positive Effekte für alle Kombinationen von zwei oder mehr Kategorien. Dies deutet auf die Verallgemeinerbarkeit der Wirksamkeit hin, wenn Gamification über die Umsetzung von „Regeln/Zielen“ hinausgeht. 

Diese Metaanalyse untersuchte jedoch nicht die Auswirkungen unterschiedlicher Arten der Messung von Lernergebnissen oder kultureller Einflüsse. Bai und Kollegen (KR 30) fanden keine Auswirkungen methodischer Faktoren, stellten jedoch fest, dass Gamification in Studien aus Asien deutlich größere Effekte hatte.

Was macht die Metaanalyse wissenschaftlich relevant?

Diese Metaanalyse ist wissenschaftlich bedeutsam, da sie ähnliche Ergebnisse aus früheren Studien repliziert und darüber hinaus einen theoretisch fundierten Ansatz zur Analyse von Kombinationen von Gamification-Kategorien verfolgt. Sie bestätigt nicht nur den von Bai und Kollegen (2020) (KR 30) berichteten Haupteffekt der Gamification, sondern unterscheidet zudem zwischen kognitiven, kompetenzbezogenen und affektiven Lernergebnissen. Diese Ergebnisse spiegeln ähnliche metaanalytische Befunde wider, die darauf hindeuten, dass Gamification den größten Einfluss auf kognitive Ergebnisse und weniger auf affektive Ergebnisse hat (z. B. Sailer & Homner, 2019).

Besonders hervorzuheben ist die theoretisch fundierte Kategorisierung der eingesetzten Gamification-Elemente: Anhand des Modells von Garris et al. (2002) werden die Elemente nach ihrer Funktion geordnet. Zudem werden die verschiedenen Kombinationsmöglichkeiten genauer betrachtet. Dieser Ansatz liefert Impulse für die Weiterentwicklung theoretischer Modelle.

Wie methodisch verlässlich sind die Befunde?

Die Darstellung des methodischen Vorgehens entspricht nur zum Teil den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards). Die Transparenz der Berichterstattung zur Datenextraktion und statistischen Analyse wird nur teilweise detailliert dargestellt. Beispielsweise werden die Merkmale der Kontrollbedingung nicht explizit dokumentiert. Darüber hinaus fehlen in der Studie Informationen zu den statistischen Verfahren für die Moderationsanalyse.

Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Insgesamt liefert die Metaanalyse von Dai und Kollegen (2025) weitere Hinweise für die positiven Auswirkungen von Gamification, insbesondere auf kognitive Lernergebnisse.

Die AutorInnen stellten fest, dass Gamification vor allem dann wirksam ist, wenn verschiedene Gamification-Elemente sinnvoll kombiniert werden. Elemente der Kategorie „Regeln/Ziele”, wie Punkte, Abzeichen und Fortschrittsbalken, können den SchülerInnen zwar Feedback geben, reichen aber möglicherweise nicht aus, um tieferes Lernen zu fördern. Wird zusätzlich der Schwierigkeitsgrad gesteigert oder ein Wettbewerbselement hinzugefügt („Herausforderungen”), kann das kognitive Engagement steigen. Eine Metaanalyse von Sailer und Homner (2019) zeigte beispielweise die größten Effekte für Gamification mit kollaborativen Wettbewerb (z.B. Teams gegen Teams). Darüber hinaus kann das Hinzufügen fantasievoller Rollenspiele oder überraschender Handlungselemente („Fantasie“, „Geheimnis“) emotionale Beteiligung oder Neugier fördern. 

Die Studie zeigte zudem, dass Gamification besonders für stark strukturierte Bereiche wie Mathematik und Ingenieurwesen von Vorteil zu sein scheint. Dabei war der Einsatz sowohl bei SchülerInnen als auch bei Studierenden hilfreich – allerdings sollten die Elemente an das kognitive Niveau der Lernenden angepasst sein. 

Interessant ist auch: Die Wirksamkeit kann sich im Laufe der Zeit verändern. Die AutorInnen vermuten, dass die Auswirkungen zunächst mit einer starken (kurzlebigen) extrinsichen Motivation beginnen, die jedoch bald nachlässt. Wenn Gamification aber über einen Zeitraum von einem Jahr eingesetzt wird, fördert ein allmähliches, tieferes Lernen vermutlich eine nachhaltigere intrinsische Motivation, was wiederum zu größeren Auswirkungen von Gamification führt.

Referenzen und Links

Downloads

Einleitung

Selbstreguliertes Lernen (SRL) ist ein Kernbereich vieler aktueller Bildungsstandards und Schulcurricula. Es spielt eine zentrale Rolle für den Lernerfolg, da es den Lernenden ermöglicht, ihren Lernprozess aktiv zu steuern und anzupassen. Ein wichtiger Bestandteil dieses Prozesses ist das Monitoring, das während der Lernhandlung stattfindet und sowohl die kognitive als auch die metakognitive Überwachung des Lernens umfasst. Der positive Effekt von Selbst-Monitoring auf den Lernerfolg konnte bereits in einigen Metaanalysen festgestellt werden (Guzman et al., 2017; Yan et al., 2021).

In den letzten Jahren wurden zahlreiche Interventionen entwickelt, um das Monitoring durch den Einsatz von Tools wie Lerntagebücher, Rubriken (z. B. Bewertungsskalen) oder Portfolios zu fördern. Diese Tools sollen die Selbstregulation und die Leistung der Lernenden verbessern. Trotz ihres weit verbreiteten Einsatzes gibt es bisher jedoch wenig eindeutige empirische Belege dafür, welche Tools am effektivsten sind und unter welchen Bedingungen sie den größten Nutzen bringen. Die Metaanalyse geht genau diesen Fragen nach und untersucht, wie verschiedene Tools das Monitoring und die damit verbundenen Lernprozesse beeinflussen.

Worum geht es in dieser Studie?

Die Metaanalyse von Dignath et al. (2023) untersuchte die Wirksamkeit von Tools, die das Monitoring von Lerninhalten und -prozessen unterstützen. Ziel der Studie war es zu klären, wie sich diese Tools auf den Lernerfolg, die Selbstregulation und die Motivation der Lernenden auswirken und welche Faktoren (z.B. Feedback, Art des Monitoring) die Wirksamkeit dieser Interventionen moderieren. Es wurden nur Studien berücksichtigt, die ein Prä-Post-Design mit einer Kontrollgruppe verwendeten, so dass die Hauptergebnisse der Analyse auf dem Vergleich der Lernergebnisse zwischen Lernenden, die mit Monitoring-Tools arbeiteten, und Lernenden basieren, die keine Intervention erhielten.

Die Analyse umfasste 32 Interventionsstudien mit 3.492 Teilnehmenden zwischen 9 und 26 Jahren, die den Einsatz von Monitoring-Tools in verschiedenen Bildungsbereichen untersuchten. Zudem wurden Moderatoranalysen durchgeführt, um zu ermitteln, welche Faktoren wie Feedback und Art des Monitorings die Effektstärken beeinflussten. Hierfür wurden fünf zentrale Merkmale der Implementierung von Monitoring-Tools identifiziert, die deren Wirksamkeit beeinflussen können: 

1. Art des Monitorings. Es wurden drei Arten von Monitoring unterschieden:
   • Kognitives Monitoring bezieht sich auf die Überwachung der Lerninhalte. Der Schwerpunkt liegt dabei auf der Überprüfung, ob die Lernenden den Lerninhalt verstanden haben und ob sie die richtigen Lösungen oder Antworten gefunden haben (z.B. Quiz, Test). 
   • Metakognitives Monitoring zielt darauf ab, die Lernenden zur Reflexion über ihre Lernprozesse und -strategien anzuregen. Die Lernenden sollen nicht nur wissen, was sie lernen, sondern auch wie sie lernen und ob ihre Lernmethoden effektiv sind (z.B. Lerntagebuch).
2. Indirekte Stimulation im Monitoring erfolgt, indem die Lernenden ermutigt werden, Artefakte ihrer Arbeit zu sammeln und für die Reflexion zu nutzen (z.B. in Portfolios). Anstatt den Lernprozess direkt zu überwachen, wird den Lernenden die Möglichkeit gegeben, Beweise für ihre Arbeit zu sammeln, die später für die Selbstbewertung und Reflexion verwendet werden können.
3. Fokus des Tools. Es wurde untersucht, ob der Schwerpunkt des Tools auf dem (1) Lerninhalt (kognitiv), dem (2) Lernprozesse (metakognitiv) oder (3) beidem liegt. Der Lerninhalt bezieht sich auf die Themen oder Konzepte, die gelernt werden (z.B. durch Tests), während das Lernverhalten die Art und Weise betrifft, wie die Lernenden ihre Aufgaben überwachen (z.B. Lerntagebuch). 
4. Feedback durch Lehrkräfte. Hier wurde berücksichtigt, ob die Lernenden von der Lehrkraft ein Feedback zu ihren Monitoring-Ergebnissen erhalten haben.
5. Dauer der Intervention. Die Länge der Zeit, in der die Monitoring-Tools eingesetzt wurden, wobei darauf geachtet wurde, dass das Tool mindestens dreimal eingesetzt wurde.
6. Alter der Teilnehmenden. Die Altersspanne der Lernenden befand sich vom Grundschul- bis zum Erwachsenenalter.

Diese Merkmale werden als wesentliche Moderatoren für den Erfolg von Monitoring-Tools angesehen und liefern wichtige Hinweise für deren zielgerichteten Einsatz. 

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in dieser Metaanalyse von Dignath et al. (2023) ein Gesamteffekt von d = 0.27 (Konfidenzintervall d = 0.12 bis d = 0.42). Die Ergebnisse zeigten zudem, dass Monitoring-Tools den größten Einfluss auf den Lernerfolg (d = 0.42) hatten. Dies bestätigte auch den „Reaktivitätseffekt“ nach Zimmerman (2002), welcher aussagt, dass Lernende, die ihr eigenes Lernen überwachen und reflektieren, in der Regel bessere Lernergebnisse erzielen. Der Einfluss auf die Selbstregulation (d = 0.19) und die Motivation (d = 0.17) war dagegen geringer.  

Darüber hinaus weisen die Ergebnisse darauf hin, dass der Fokus des Tools einen entscheidenden Einfluss auf die Wirksamkeit hat: Tools, die sowohl den Lerninhalt als auch das Lernverhalten überwachten, führten zu größeren positiven Effekten. Metakognitive Monitoring-Tools, die den Lernenden nicht nur dabei helfen, ihr Lernen zu überwachen, sondern sie auch dazu anregen, über ihre Lernstrategien nachzudenken, erzielten die besten Ergebnisse. Diese metakognitive Reflexion ermöglichte es den Lernenden, ihre Lernprozesse anzupassen und Fehler frühzeitig zu erkennen. Das führte zu einer nachhaltigen Verbesserung des Lernerfolgs.

Weitere Faktoren, die die Wirksamkeit beeinflussten, waren die Dauer der Intervention und das Feedback, das die Lernenden von ihren Lehrkräften erhielten. Es wurde festgestellt, dass kürzere Interventionen signifikant größere positive Auswirkungen auf den Lernerfolg hatten. Das Feedback der Lehrkräfte, insbesondere wenn es regelmäßig und gezielt auf die Ergebnisse des Monitorings einging, erreichte keine statistische Signifikanz, zeigte aber einen positiven Trend. Es half den Lernenden, ihre Lernstrategien zu verbessern und den Lernprozess anzupassen. Schließlich ergab die Analyse keine signifikanten Alterseffekte, was darauf hindeutet, dass die Wirksamkeit der Tools über verschiedene Altersgruppen hinweg relativ konstant ist. Die Ergebnisse verdeutlichen die Heterogenität der Befunde. Dies unterstreicht die Notwendigkeit einer genaueren Betrachtung der Moderatorvariablen, die den Erfolg des Einsatzes von Monitoring-Tools beeinflussen. 

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der Klassifizierung von Cohen (1988) kam die Metaanalyse zu einem signifikant positiven Gesamteffekt von Monitoring-Tools im Unterricht (d = 0.27). Diese Effektstärke bedeutet, dass etwa 61% der SchülerInnen, die Monitoring-Tools im Unterricht eingesetzt haben, höhere Lernleistungen zeigten als der Durchschnitt der SchülerInnen in den Vergleichsgruppen. Am stärksten zeigte sich der Effekt beim Lernerfolg (d = 0.42). Im Vergleich dazu fielen die Effekte auf das selbstregulierte Lernen (d = 0.19) und die Motivation (d = 0.17) geringer aus.

Die in der Metaanalyse gefundenen Effektstärken zeigen Ähnlichkeiten mit den Effektstärken in früheren Metaanalysen (Guzman et al., 2017; Yan et al., 2021). Dies stützt die Belastbarkeit der Befunde.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse differenziert in drei verschiedene Lerndimensionen: Lernerfolg, Selbstreguliertes Lernen und Motivation. Die Effekte wurden zudem in Abhängigkeit folgender Moderatoren berichtet: (a) Art des Monitorings, (b) Fokus des Tools, (c) Feedback durch die Lehrkraft, (d) Dauer der Intervention und (e) Alter der Teilnehmenden. Der Effekt der Moderatoren wurde dabei sowohl getrennt für die drei Lernleistungen – Lernerfolg, selbstreguliertes Lernen und Motivation – als auch auf die gesamte Lernleistung dargestellt.

Neben dem Alter hätte die Berücksichtigung der Klassenstufen eine zusätzliche Differenzierung ermöglichen können. Auch eine Differenzierung der Fachbereiche wurde in der Metaanalyse nicht vorgenommen. Demnach kann nicht dargestellt werden, ob der Einsatz von Monitoring-Tools beispielsweise im Mathematikunterricht zu unterschiedlichen Lernleistungen führt als im Sprachenunterricht.

Wie verallgemeinerbar sind die Befunde?

Der insgesamt positive Effekt der Metaanalyse zeigt, dass der Einsatz von Monitoring-Tools das Lernen im Allgemeinen fördert. Die AutorInnen der Metaanalyse gelangten darüber hinaus zu dem Ergebnis, dass es eine erhebliche Heterogenität zwischen den Studien aufgrund unterschiedlicher Studienmerkmalen besteht. Um diese Unterschiede genauer zu erfassen und die Gründe für die beobachtete Heterogenität zu entschlüsseln, wurden Moderator-Analysen durchgeführt.

Es wurde festgestellt, dass die Effekte in Abhängigkeit von der Art des Monitorings, dem Fokus des Tools auf Lerninhalte und Lernverhalten, sowie der Dauer der Intervention variierten. Dem gegenüber zeigten sich die gefundenen Effekte einheitlich in Bezug auf das Alter der Teilnehmenden. Auch für externes Feedback durch die Lehrkraft fanden sich keine signifikanten Unterschiede.

Es ist jedoch zu beachten, dass andere Aspekte des Lernkontexts (z. B. Klassenstufe, Fachbereiche) sowie unterschiedliche methodische Merkmale (z. B. Stichprobengröße, Studiendesign) nicht als Moderatoren berücksichtigt wurden. In Anbetracht dessen kann keine Aussage über die Generalisierbarkeit dieser Aspekte getroffen werden.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse liefert die erste quantitative Zusammenfassung der Wirksamkeitsforschung über den Einsatz von Monitoring-Tools im Unterricht auf die Lernergebnisse. Die AutorInnen leisten somit einen wertvollen Beitrag zum Verständnis von Tools zur Förderung des Monitorings in der Schul- und Hochschulbildung. Dabei stellen sie dar, wie diese Tools am effektivsten eingesetzt werden können, um den Lernerfolg, das selbstregulierte Lernen und die Motivation zu fördern.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht in hohem Maße den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards).

Die Gesamtpunktzahl der Qualitätsbewertung der Metaanalyse ist sehr hoch einzuordnen. Dies lässt den Schluss zu, dass die Suche nach relevanten Studien, die Selektion der Studien, die Erfassung relevanter Elemente und Variablen sowie das Kodierungsschema transparent dargestellt wurden. Die statistischen Analysen wurden ausführlich beschrieben und durchgeführt. Es ist jedoch anzumerken, dass die Suche nach relevanten Studien ausschließlich auf Datenbanken beschränkt wurde. Folglich könnten mögliche relevante Studien nicht berücksichtigt worden sein. Zusätzliche Suchstrategien, wie die Recherche in den Inhaltsverzeichnissen relevanter Fachzeitschriften, könnten die Ergebnisse erweitern und präzisieren.

Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metaanalyse von Dignath et al. (2023) zeigt, dass Monitoring-Tools, die sowohl den Lerninhalt als auch das Lernverhalten überwachen, signifikant positive Effekte auf den Lernerfolg haben. Interventionen, die metakognitive Reflexion anregen, sind besonders effektiv, da sie den Lernenden helfen, ihre Lernstrategien aktiv zu steuern und anzupassen (siehe Beispielstudie). Diese Erkenntnisse liefern wertvolle Hinweise für die Praxis, insbesondere im Kontext des MINT-Unterrichts, in dem selbstreguliertes Lernen eine Schlüsselkompetenz für den Lernerfolg darstellen kann.

Zu den praktischen Implikationen der Metaanalyse gehört die Empfehlung, metakognitive Monitoring-Tools gezielt im Unterricht einzusetzen, insbesondere solche, die es den Lernenden ermöglichen, ihr Lernen aktiv zu reflektieren und zu steuern. Lehrkräfte sollten den Lernenden regelmäßig Feedback zu ihren Monitoring-Ergebnissen geben und ihnen die Möglichkeit bieten, ihre Lernprozesse zu überprüfen und zu verbessern. Darüber hinaus zeigt die Metaanalyse, dass kürzere Interventionen in der Regel effektiver sind, was darauf hindeutet, dass gezielte, aber kurze Phasen des Monitorings mit klarer und regelmäßiger Rückmeldung besonders geeignet sind, den Lernerfolg zu fördern. Außerdem wurde festgestellt, dass die Wirksamkeit der Monitoring-Tools über verschiedene Altersgruppen hinweg relativ konstant bleibt. Dies unterstreicht ihre Vielseitigkeit für den Einsatz in unterschiedlichen Jahrgangsstufen und Bildungsbereichen.

Studienbeispiel

Die Studie von Schmitz und Perels (2011) zielte auf die Verbesserung des Mathematiklernens und der Selbstregulation im Allgemeinen. Um das tägliche selbstregulierte Verhalten während der Mathematikhausaufgaben zu unterstützen, verwendeten die AutorInnen standardisierte Lerntagebücher als Monitoring-Tool (Fokus des Tools auf Lernprozesse).

Die Studie wurde mit 195 SchülerInnen der 8. Klasse aus drei verschiedenen Gymnasien durchgeführt. In der Experimentalgruppe nahmen 95 SchülerInnen über einen Zeitraum von 49 Tagen (insgesamt 7 Wochen) an der Tagebuchintervention teil, während die Kontrollgruppe lediglich an den Prä- und Posttests teilnahm. Prä- und Posttest bestanden jeweils aus einem Fragebogen zur Selbstregulation und einem Mathematiktest. Die SchülerInnen der Experimentalgruppe füllten täglich vor und nach den Hausaufgaben ihr Lerntagebuch aus. Dieses bestand aus einem allgemeinen Teil zur Selbstregulation, der täglich ausgefüllt wurde (z.B. „Warum lernst du heute nicht?“), und einem mathematikbezogenen Teil, der nur an Tagen mit Mathematikhausaufgaben ausgefüllt wurde (z.B. „Wie gehst du heute exakt vor?“).

Die Ergebnisse der Studie zeigten, dass sich die Selbstregulation und die Mathematikleistung der SchülerInnen in der Experimentalgruppe im Vergleich zur Kontrollgruppe signifikant verbesserten. Dies deutet darauf hin, dass der Einsatz von Lerntagebüchern während der Mathematikhausaufgaben einen positiven Einfluss auf das Lernen und die Selbstregulation haben kann.

Referenzen und Links

Downloads

Einleitung

Im MINT-Unterricht, vor allem in den Naturwissenschaften, lernen SchülerInnen häufig mit Texten, zum Beispiel in Schulbüchern und auf Arbeitsblättern. Nach van den Broek (2010) sind diese Texte fachsprachlich oft anspruchsvoll und für SchülerInnen nur schwer zu verstehen, auch weil sie im Alltag nur selten mit dieser Art von Fachsprache in Berührung kommen. Für MINT-Lehrkräfte kann es herausfordernd sein, diese Schwierigkeiten zu erkennen und die Texte so anzupassen, dass SchülerInnen optimal damit lernen können.

In der Forschung wurden bereits verschiedene Ansätze untersucht, wie MINT-Texte sprachlich so angepasst werden können, dass sie die Wissensvermittlung erleichtern. Diese Ansätze reichen von Veränderungen auf der lokalen Wortebene – beispielsweise, indem komplizierte Fachbegriffe oder Fremdwörter vermieden werden – bis hin zu Veränderungen auf der globalen Ebene von Sätzen oder des gesamten Textes. Dazu gehören zum Beispiel Zwischenüberschriften und Zusammenfassungen. Allerdings unterscheiden sich die Ergebnisse in diesem Forschungsfeld teilweise sehr stark je nach Eigenschaften der Lernenden und Art der Texte. Beispielsweise wird in manchen Studien gezeigt, dass leistungsschwächere SchülerInnen stärker von sprachlichen Vereinfachungen profitieren. Es ist für Lehrkräfte daher nur schwer zu schlussfolgern, welche sprachliche Veränderungen von Lerntexten für ihre eigene Klasse wirkungsvoll sein könnten. Die hier zugrundeliegende Metaanalyse untersucht deshalb, welche Veränderungen und Merkmale des Lernkontexts den Lerneffekt über alle Studien hinweg positiv beeinflussen.

Worum geht es in dieser Studie?

Die Metaanalyse von Strohmaier et al. (2023) fasst Studien zusammen, in denen MINT-Texte sprachlich verändert wurden, um zu untersuchen, wie diese Veränderungen den Lernerfolg beeinflussen. Die Autoren berücksichtigten nur experimentelle Studien, bei denen eine Kontrollgruppe mit einem Originaltext und mindestens eine Experimentalgruppe mit einem veränderten Text lernte. Anschließend absolvierten beide Gruppen den gleichen Test, um den Lernerfolg zu erfassen.

Um herauszufinden, welche sprachlichen Veränderungen lernwirksam sind, wurden drei Kategorien von sprachlichen Veränderungen unterschieden und in lokale und globale Elemente unterteilt: 

(1) Verringerung der sprachlichen Komplexität:

• Lokal: Reduktion der Komplexität auf Wortebene (z.B. Verwenden einfacherer Wörter, Vermeiden von Fachbegriffen)
• Global: Reduktion der strukturellen Komplexität (z.B. durch kürzere, weniger komplexe Sätze; 

(2) Erhöhung der Kohäsion:

• Lokal: klarere Verbindungen zwischen Wörtern und Sätzen (z.B. überlappende Substantive statt Pronomen und Synonymen, zusätzliche verbindende Phrasen)
• Global: Verbesserung der Textkontinuität (z.B. Veränderte Reihenfolge von Inhalten)

(3) Erhöhung von sprachlicher Klarheit und Tiefe:

• Lokal: Hinzufügen von Wörtern und verbindenden Ausführungen (z.B. durch Wiederholen von Begriffen und Verknüpfen mit Vorwissen)
• Global: Hinzufügen von inhaltlichen Ausarbeitungen (z.B. Überschriften, Zusammenfassungen, Personalisierung). 

Außerdem untersuchten die Autoren, für welche Lernenden sprachliche Veränderungen besonders wirkungsvoll waren. Dafür wurden unter anderem die Moderatoren Vorwissen, Unterrichtsfach, Textlänge, Alter der TeilnehmerInnen und Anforderungsniveau des Tests untersucht.Die Datengrundlage dieser Metaanalyse umfasst 45 Einzelstudien mit insgesamt 6.477 Lernenden von der Grundschule bis zur Hochschule. Die meisten Studien verwendeten Texte aus dem Physik- und Biologieunterricht.

Was findet diese Studie heraus?

Die Metaanalyse ermittelte einen insgesamt signifikanten positiven Effekt von sprachlichen Veränderungen von g = 0.15. Bei der Analyse der drei Subkategorien zeigte nur noch die Kategorie Erhöhung von sprachlicher Klarheit und Tiefe einen signifikanten positiven Einfluss auf das Lernen mit MINT-Texten. Auf lokaler Ebene ist es daher besonders effektiv (g = 0.20), Inhalte zu wiederholen und zu erklären (z. B. Schlussfolgerungen zu erläutern, Beziehungen und Handlungen zu verdeutlichen). Auf der globalen Ebene des gesamten Textes führten strukturierte Überschriften und Zusammenfassungen (z. B. Vorschauen, Advance Organizer) zu einem verbesserten Lernergebnis (g = 0.15). Darüber hinaus war die stärkere Personalisierung des Textes durch die Verwendung von Personal- und Possessivpronomen (z. B. „Du siehst“ statt „man sieht“; „dein Garten“ statt „ein Garten“) besonders wirksam (g = 0.52). 

Die weiterführenden Analysen zeigen, dass sprachliche Vereinfachungen tatsächlich vor allem für Lernende mit geringerem fachlichem Vorwissen hilfreich sind (g = 0.35). Dieser Moderationseffekt war so deutlich, dass dagegen für Lernende mit hohem fachlichem Vorwissen durchschnittlich überhaupt kein Effekt mehr zu erkennen war. Längere Texte erzielen dabei größere Effekte (g = 0.17). Das Unterrichtsfach, das Alter der Lernenden und das Anforderungsniveau der Tests beeinflussten die Wirksamkeit sprachlicher Veränderungen nicht; die Ergebnisse bleiben über diese Faktoren hinweg stabil.

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

In dieser Metaanalyse wird die mittlere Effektstärke von g = 0.15 gemäß gängiger Klassifikationen (z. B. Cohen, 1988) als kleiner Effekt angesehen. So würde ein/e SchülerIn, die einen sprachlich vereinfachten MINT-Text erhält, mit einer Wahrscheinlichkeit von 54% bessere Leistungen erzielen als mit dem ursprünglichen Text. Deutlich wird aber auch, dass sich die Effektstärken zwischen den Studien und verschiedenen Personengruppen teilweise sehr stark unterscheiden. Insbesondere war der mittlere Effekt für Personen mit geringem fachlichem Vorwissen mit g = 0.35 substanziell größer, hier lag die Wahrscheinlichkeit, dass ein veränderter Text zu mehr Lernerfolg führt, bei etwa 60%. 

Andere Metaanalysen, die im Kontext von Lernen aus Texten andere, nicht-sprachliche Textmerkmale untersuchen, berichten teilweise deutlich größere Effekte, wie beispielsweise die Bereitstellung von Feedback (g = 0.35; Swart et al., 2019) oder die Einbeziehung von Grafiken (g = 0.39; Guo et al., 2020). Diese Metaanalyse trägt mit dem Fokus auf rein sprachliche Vereinfachungen zum Forschungsfeld bei.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse beinhaltet eine umfangreiche Untersuchung von Moderatorvariablen mittels Metaregression und unterscheidet Effekte nach acht verschiedenen Typen von sprachlichen Veränderungen. Darüber hinaus differenziert sie Effekte auf den Lernerfolg für verschiedene Kontexte (z.B. Fachgebiet, Textlänge, Studienort), Studienteilnehmer (z. B. Altersgruppe, Vorwissen) und Studienmethodik (z. B. Erfolgsmessung). Die Ergebnisse zeigen, wie stark die einzelnen Merkmale den Lernerfolg beeinflussen.Die Metaanalyse beschränkt sich auf Texte aus MINT-Fächern: Physik, Biologie, Informatik und andere. Die Autoren berichten Ergebnisse differenziert über verschiedene Altersgruppen hinweg. In den Leistungstexts wurden verschiedene Anforderungsniveaus – Reproduktion, Anwendung, und Transfer – unterschieden. Mögliche motivationale Effekte wurden nicht berücksichtigt.

Wie verallgemeinerbar sind die Befunde?

Obwohl die Auswirkungen des Lernens aus MINT-Texten mit sprachlichen Veränderungen gering sind, lassen sich die Ergebnisse für verschiedene Lernkontexte verallgemeinern. Die Moderatoranalyse ergab keine wesentlichen Unterschiede, was verschiedene Altersgruppen, MINT-Fächer, Lernbewertungen oder Standorte (Labor vs. Feld) betrifft. Im Hinblick auf die Art der Textmodifikation, Textlänge, Vorwissen und ihre Kombination lassen sich die Ergebnisse jedoch nicht verallgemeinern.

Insgesamt deuten die Ergebnisse darauf hin, dass die Wirksamkeit sprachlicher Veränderungen in MINT-Texten von spezifischen Bedingungen abhängt. Insbesondere für Lernende mit geringem Vorwissen sind sprachliche Veränderungen im Allgemeinen hilfreich, für viele Lernende spielen aber sprachliche Veränderungen keine Rolle. 

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist aufgrund ihres klärenden und methodischen Beitrags für das Feld bedeutsam. In der Forschung wurden bereits verschiedene sprachliche Veränderungen in MINT-Texten untersucht, die Ergebnisse waren jedoch uneinheitlich oder widersprüchlich. Die Interpretation und Verallgemeinerbarkeit dieser Ergebnisse sind in den Einzelstudien besonders problematisch, da eine große Anzahl unterschiedlicher Ansätze unter der einzelnen Kategorie sprachliche Veränderungen verstanden werden. Darüber hinaus stammten diese Studien aus vielfältigen Forschungsbereichen, etwa aus den Fachdidaktiken, der Linguistik oder der Lernpsychologie, die teils sehr unterschiedliche Schwerpunkte setzen. Die Metaanalyse erzielt hier eine gewisse Vergleichbarkeit und hilft dabei zu verstehen, welche spezifische sprachliche Veränderungen über alle Studien hinweg für etwaige Lerneffekte verantwortlich sind.

Die Methode der Meta-Regression, die von Strohmaier et al. (2023) verwendet wird, erlaubt es, mehrere Studien mit unterschiedlichen sprachlichen Veränderungen in einer gemeinsamen Analyse zu untersuchen. Das statistische Verfahren ermittelt dabei isolierte Effekte aller sprachlichen Veränderungen. Dadurch können die Autoren bestehende Forschung so zusammenzufassen, dass sich allgemeine Aussagen ableiten lassen, die über verschiedene Forschungsdisziplinen hinweg einheitlich interpretiert werden können. 

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards).

Das systematische Vorgehen der Metaanalyse bei der Suche nach relevanten Studien, die Auswahl, Kodierung und statistische Analyse werden weitgehend transparent berichtet. Besonders hervorzuheben ist die Vielzahl untersuchter relevanter Moderatoren und die Verwendung eines differenzierten Metaregressionsmodells, welches die Über- oder Unterschätzung der Effekte verhindert. 

Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet ^[1]. 

^[1]Die methodische Beurteilung der Metaanalyse wurde ausschließlich von Autoren des CHU durchgeführt, um die Objektivität der Bewertung zu gewährleisten.

Fazit für die Unterrichtspraxis

Die Arbeit mit Texten gehört in den MINT-Fächern zum Unterrichtsalltag. Die Frage, ob durch eine sprachliche Veränderung solcher Texte ein höherer Lernerfolg erreicht werden kann, ist daher für die Unterrichtspraxis hochrelevant. Aus der Metaanalyse lassen sich folgende Schlussfolgerungen für die Praxis ableiten:

Insgesamt zeigt die Metaanalyse, dass sprachliche Veränderungen einen eher geringen Gesamteffekt haben. Somit müssen bereits vorhandene Texte aus Schulbüchern, die bereits ein angemessenes Sprachniveau haben, in der Regel nicht aufwendig überarbeitet werden. 

Wenn sprachliche Veränderungen aber Wirkung zeigen, hängt das oft mit dem Lerninhalt zusammen. Dieser sollte von Lehrkräften daher immer beachtet werden. Zusätzliche Erklärungen zu schwierigen Konzepten oder eine klare Gliederung durch Überschriften können beispielsweise das Verständnis der SchülerInnen fördern. Auch eine Kombination solcher Veränderung mit weiteren Methoden, wie zum Beispiel die SchülerInnen selbst eine Gliederung erstellen zu lassen, kann wirksam sein. Die Texte lediglich oberflächlich zu bearbeiten, zum Beispiel durch kürzere Wörter oder Sätze, erscheint jedoch den Ergebnissen der Metaanalyse zufolge als weniger sinnvoll. Zuletzt zeigt die Metaanalyse klar auf, dass gerade SchülerInnen mit geringerem fachlichem Vorwissen von sprachlichen Veränderungen profitieren können. Das ist eine wichtige Erkenntnis, denn sie zeigt, dass anspruchsvolle Texte die Leistungsunterschiede in der Klasse vergrößern können. Wenn Lehrkräfte sich jedoch gezielt auf die Erhöhung sprachliche Klarheit und Tiefe in ihren Texten konzentrieren, profitieren davon alle SchülerInnen – besonders in leistungsheterogenen Gruppen. 

Studienbeispiel

In der Studie von Boscolo und Mason (2003) wurde die Wirksamkeit eines Textes über den Treibhauseffekt mit unterschiedlichen sprachlichen Veränderungen mit einem Originaltext verglichen. Dafür wurde der Lernerfolg von 167 SchülerInnen der 10. und 11. Klasse einer italienischen Schule untersucht. In einer Version erhöhte die lokale Kohäsion des Texts durch Wortwiederholungen und explizite Verknüpfungen einzelner Sätze, eine andere Version schärfte zusätzlich die globale Klarheit und Tiefe durch die Verwendung von Überschriften und Kurzzusammenfassungen. Die Lernenden wurden nach fachlichen Vorwissen und Interesse eingeteilt und lernten mit jeweils einem der Texte. Der Lernerfolg wurde mit Aufgaben zu Reproduktion, Anwendung und Transfer getestet.

Die Ergebnisse zeigen, dass die Gruppe mit erhöhter globaler Klarheit und Tiefe im Text in einer Mehrzahl der Aufgaben den höchsten Lernerfolg erreichte, während lokale Kohäsion nur vereinzelt zu höherem Lernerfolg führte. Lernende mit weniger fachlichem Vorwissen profitierten tendenziell mehr von sprachlichen Veränderungen, aber der Effekt war in dieser Studie statistisch nicht signifikant. 

Referenzen und Links

Downloads

^[1] Nach Angaben der Zeitschrift wird ‚sustainable education‘ als das Finden nachhaltiger Lösungen für Umwelt-, soziale und wirtschaftliche Probleme durch Bildung definiert.

Einleitung

Die Integration von auf künstlicher Intelligenz basierenden Chatbots in den Unterricht gewinnt zunehmend an Bedeutung. Dies gilt insbesondere vor dem Hintergrund der digitalen Bildungsreform und dem Ziel, digitale Kompetenzen zu fördern. Für den MINT-Unterricht bieten Chatbots als Lehrassistenten und Tutoren neue Möglichkeiten, SchülerInnen individuell zu unterstützen und komplexe Inhalte zugänglicher zu machen. Dies steht im Einklang mit Bildungsstandards, die selbstgesteuertes Lernen und den Einsatz moderner Technologien betonen. In der Bildungsforschung wird jedoch kontrovers diskutiert, wie effektiv solche Technologien im Vergleich zu traditionellen Lehrmethoden tatsächlich sind, beispielsweise auch bezüglich der Motivation von Lernenden. Die Metaanalyse untersucht auf Basis von Theorien des technologiegestützten Lernens, wie Chatbots sieben unterschiedliche Lernergebnisse fördern können, wie Lernerfolg, Behaltensleistung und kritisches Denken. Außerdem analysiert sie verschiedene Einsatzbedingungen, die die Effektivität von Chatbots beeinflussen, um praktische Handlungsempfehlungen für den Unterricht zu liefern.

Worum geht es in dieser Studie?

In dieser Metaanalyse werden Chatbots von den AutorInnen als ein Dialogprogramm definiert, das Eingaben verarbeiten und dementsprechend Informationen durch verbale oder schriftliche Interaktion bereitstellen kann. Dabei werden experimentelle Designs mit Kontrollgruppen genutzt, um die Effektivität von Chatbots mit herkömmlichem Unterricht zu vergleichen. Hierfür beziehen sie 32 Studien mit insgesamt 2.201 Teilnehmenden ein. Die möglichen Einflüsse solcher Chatbots werden in drei zentralen Fragestellungen analysiert.

Erstens untersuchen sie, ob das Lernen mit Chatbots effektiver ist als das Lernen mit traditionellen Methoden, indem sie die Effekte von sieben verschiedenen Lernergebnissen zu einem Gesamteffekt kombinieren.  Zweitens untersuchen die AutorInnen, die Auswirkungen von Chatbots auf jede der sieben verschiedene Lernkomponenten wie z.B. Lernerfolg, Behaltensleistung, Motivation und Interesse (Definitionen und Effekte siehe Befunde zu Lernergebnisse). Drittens analysieren sie, ob Faktoren wie Dauer der Intervention, Rolle des Chatbots oder die Art der Lerninhalte die Effektivität der Chatbots beeinflussen. 

Die Studien, die zwischen 2010 und 2022 veröffentlicht wurden, untersuchen Chatbots in verschiedenen Kontexten, darunter Sprachunterricht und technische Fächer. Dabei nutzen sie standardisierte Tests, Befragungen und Beobachtungen als Messmethoden. Zudem decken die Analysen ein breites Spektrum an Bildungskontexten ab, darunter Schulen und Hochschulen. Die Autoren differenzieren zudem zwischen drei Rollen, die Chatbots einnehmen können: 

• Tutoren stellen und beantworten selbst Fragen und führen die SchülerInnen durch den Unterricht
• Lehrassistenten übernehmen eine unterstützende Funktion, indem sie professionelles Wissen bereitstellen, professionelles Feedback geben und den Lernprozess strukturieren
• Lernpartner kommunizieren und interagieren mit SchülerInnen – entweder über Text oder Sprache – weniger formal. 

Was findet diese Studie heraus?

Insgesamt zeigt diese Metaanalyse, dass der Einsatz von Chatbots im Unterricht einen mittleren bis großen positiven Einfluss auf den Lernergebnisse hat. Der durchschnittliche Gesamteffekt beträgt d = 0.79, was darauf hindeutet, dass Lernende, die mit Chatbots arbeiten, tendenziell bessere Ergebnisse erzielen als Lernende, die traditionelle Methoden nutzen. Darüber hinaus zeigen sich starke Effekte im Bereich der expliziten Argumentation (d = 1.19) und des Lernerfolgs (d = 1.03). Dies legt nahe, dass Chatbots besonders gut geeignet sind, argumentative Lernprozesse zu strukturieren und auch die Prüfungsleistung zu fördern. 

Ebenso finden sich signifikant positive Effekt auf die Behaltensleistung (d = 0.69). Dies zeigt, dass Chatbots Lerninhalte nicht nur kurzfristig vermitteln, sondern auch langfristig im Gedächtnis verankern können. Ein ähnlicher Effekt ist bei Interesse (d = 0.84) zu beobachten, was darauf hindeutet, dass Chatbots die Lernbereitschaft von SchülerInnen fördern können. 

Bei den Auswirkungen von Chatbots gibt es nur sehr geringe Unterschiede zwischen verschiedenen Nutzungsarten, für verschiedene Fächer und für verschiedene Zeiträume. Die größten deskriptiven Effekte wurden jedoch bei der Verwendung von Chatbots als Lernassistent (d = 1.63), bei einer Dauer von weniger als fünf Wochen (d = 1.06) und in den technischen Fächern Informatik (d = 0.70) und Unterrichtstechnologie (d = 0.93) festgestellt. Dies deutet auf die Nützlichkeit von strukturiertem und klarem Feedback in diesen Bereichen hin. Die Befunde zu den einzelnen Lernergebnissen und weiteren Moderatoren sind der jeweiligen Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der Klassifizierung von Cohen (1988) war der Gesamteffekt von Chatbots im Unterricht positiv (d = 0.79). Das bedeutet, dass Lernende, die auf Chatbots basierendes Lernen nutzten, im Durchschnitt bessere Lernergebnisse (z. B. Leistung, Argumentation) erzielten als Lernende, die traditionelle Lernansätze verwendeten. Um diesen Effekt zu veranschaulichen: Wenn man aus jeder experimentellen Gruppe zufällig einen Lernenden auswählt, ist die Wahrscheinlichkeit, dass der mit Chatbots Lernende, bessere Ergebnisse erzielt, um etwa 70 % höher als bei dem Lernenden, der sie nicht nutzt.

Dieser Effekt war besonders stark bei den Lernleistungen (d = 1.03). Das bedeutet, dass etwa 85 % der SchülerInnen, die Chatbots verwenden, bessere Testergebnisse erzielen würden als der Durchschnitt der SchülerInnen, die traditionelle Lernansätze verwenden.

Alle Einzelstudien in der Metaanalyse zeigten positive Auswirkungen von Chatbots auf die Lernergebnisse. Die Metaanalyse zeigte jedoch keinen signifikanten Unterschied zwischen dem Lernen mit Chatbots und den traditionellen Ansätzen in Bezug auf die Lernergebnisse kritisches Denken, Lernmotivation und Lernengagement auf. Dennoch wurde festgestellt, dass Chatbots über verschiedene Moderatoren, wie Nutzungsdauer, verschiedene Lerninhalte und bei der Verwendung verschiedener Rollen, hinweg effektiv sind.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

In dieser Studie wird die Wirkung des Lernens mit Chatbots auf verschiedene Weise differenziert. Die Effektgrößen werden nach Fachinhalten getrennt, einschließlich des MINT-Fachs Informatik . Darüber hinaus wurden Effektgrößen für sieben verschiedene Lernergebnisse angegeben: kritisches Denken, explizite Argumentation, Lernerfolg, Behaltensleistung, Lernengagement, Lernmotivation und Interesse. Die Effekte wurden auch in Abhängigkeit von der Rolle des Chatbots beim Lernen der SchülerInnen (d. h. Tutoren, Lernpartner oder Lehrassistenten) und der Dauer der Chatbot-Nutzung berichtet. Einschränkend ist festzuhalten, dass die Effektgrößen nicht nach Altersgruppen oder Klassenstufen unterteilt werden. Da die Studien in dieser Metaanalyse Stichproben aus verschiedenen Schulformen der Primar- und Sekundarstufe sowie der Hochschulbildung umfassten, kann nicht dargestellt werden, ob sich die Auswirkungen von Chatbots zwischen diesen Schulstufen unterscheiden.

Wie verallgemeinerbar sind die Befunde?

Laut der Metaanalyse haben Chatbots ihre Wirksamkeit für verschiedene Lernergebnisse und in mehreren Lernkontexten und Behandlungsbedingungen unter Beweis gestellt.

Im Lernkontext war die Wirkung von Chatbots über die Fächer hinweg größtenteils stabil. Ebenso waren die Lerneffekte durch Chatbots über unterschiedliche Zeiträume (d. h. von weniger als einer Woche bis zu mehr als zehn Wochen) und für verschiedene Rollen ähnlich. Diese Ergebnisse zeigen, dass die Effektivität von Chatbots für diese Lernkontexte tendenziell verallgemeinerbar ist.

In Bezug auf die Ergebnisse zeigte sich auch, dass das Lernen mit Chatbots gegenüber traditionellen Lernansätzen einen deutlichen Vorteil für den Lernerfolg bietet. Diese Effekte waren jedoch über die Vielzahl der untersuchten Lernergebnisse weniger verallgemeinerbar. Die Effekte waren robust für den Lernerfolg und basierten auf 31 Studien. Andere Ergebnisse, wie beispielsweise das Interesse basierten aber auf weniger Studien, was ihre Verallgemeinerbarkeit trotz möglicher positiver Trends einschränkte. Bei anderen Ergebnissen, wie z. B. kritisches Denken, unterschied sich der Einsatz von Chatbots nicht von traditionellen Methoden. Daher kann angenommen werden, dass die Wirkung von Chatbots vom Lernziel abhängt. 

Einschränkend ist festzuhalten, dass andere Aspekte des Lernkontexts (z.B. Klassenstufe, geographische Lage) sowie unterschiedliche methodische Merkmale (z.B. Stichprobengröße, Studiendesign) nicht als Moderatoren mitberücksichtigt wurden, weswegen keine Aussage über die Generalisierbarkeit dieser Aspekte getroffen werden kann. Auch für eine differenzierte Aussage über die Wirksamkeit in anderen MINT-Fächern bedarf es weiterer experimenteller Studien.

Was macht die Metaanalyse wissenschaftlich relevant?

Mit der wachsenden Verbreitung von KI und Chatbot-Technologie und ihrer Integration in den Unterricht nimmt die Forschung zur Lerneffektivität weiter zu. Da es sich um ein relativ neues Forschungsthema handelt, liefern erste Metaanalysen spezialisierte Informationen über aufkommende Trends, die Lehrkräften erste Einblicke in dieses dynamische Phänomen bieten. Da sich diese Studie auf den Einsatz von Chatbots in der Allgemeinbildung und nicht nur auf bestimmte Fachbereiche oder Chatbot-Rollen konzentriert, ist sie die erste, die Einblicke in die umfassendere Frage nach der Wirksamkeit von Chatbots für das Lernen im Bildungsbereich gibt. 

Darüber hinaus sollten diese Ergebnisse im Bildungskontext zwar als vorläufig betrachtet werden, doch die strenge Auswahl der Studien, durch die AutorInnen (z.B. Äquivalenz von Kontroll- und Experimentalgruppe) und ihre Differenzierung zwischen den sieben Lernergebnissen, verleihen ihren Erkenntnissen zur Effektivität von Chatbots sowohl Stärke als auch Nuancen. Die Metaanalyse ist zudem wissenschaftlich bedeutsam, da sie ein besonders interessantes Ergebnis liefert: Im Gegensatz zur allgemeinen Meinung legen die bisherigen Befunde nahe, dass Chatbots keinen deutlichen Einfluss auf Motivation, Engagement und kritisches Denken haben.  

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards)

Die Gesamtpunktzahl liegt im oberen Drittel. Somit werden das systematische Vorgehen der Metaanalyse bei der Suche nach relevanten Studien, die Auswahl der Studien, die Kodierung und die statistische Analyse weitgehend transparent und nachvollziehbar berichtet und beschrieben. Diese Studie zeigte beispielsweise besondere Stärken bei der Ermittlung relevanter Schlüsselwörter für die Datenbanksuche unter Verwendung einer neuartigen Clustering-Methode und der Durchführung mehrerer statistischer Prüfungen (z. B. Publikationsbias, Sensitivitätsanalyse) zur Sicherstellung der Validität. Die Datenbanksuche hätte jedoch durch zusätzliche Suchmethoden ergänzt werden können (z. B. Rückwärtssuche in Referenzlisten), um weitere relevante Studien zu finden, die einige Ergebniskategorien möglicherweise robuster gemacht hätten (z. B. kritisches Denken).  

Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet. 

Fazit für die Unterrichtspraxis

Die Ergebnisse dieser Metaanalyse bieten einen ersten Einblick in die Forschung zur Effektivität von Chatbots im Bildungsbereich. So erhalten Lehrkräfte einen ersten Überblick über bestimmte Lernergebnisse, Kontexte und Bedingungen, mit welchen die Integration von Chatbots erfolgreich gelingen kann. Was die Auswirkungen auf das Lernen betrifft, können Lehrkräfte positive Ergebnisse bei Leistungstests und möglicherweise auch einen positiven Einfluss auf explizite Argumentation und die Behaltensleistung erwarten.

Hinsichtlich des Lernengagements und der Lernmotivation der Lernenden scheinen Chatbots ihrem angenommenen Einfluss jedoch möglicherweise nicht gerecht zu werden. Weiterhin ist unklar, ob Chatbots kritisches Denken fördern (siehe dazu unser Kurzreview). Es ist auch erwähnenswert, dass ein potenzielles Risiko bei der Verwendung von Chatbots der Neuigkeitseffekt ist, bei dem sich die Ergebnisse anfangs verbessern, die Effekte aber nachlassen, sobald der Reiz des Neuen nachlässt (Clark, 1983; e.g., Fryer et al., 2017). Dies kann vermieden werden, indem sich SchülerInnen zunächst mit dem Chatbot vertraut machen, bevor sie ihn für Lernaktivitäten verwenden.

Die AutorInnen betonen, dass Chatbots in technischen Kursen, insbesondere als Tutoren oder Lernpartner die größten und robustesten Effekte erzielen, wenn sie über einen Zeitraum von weniger als fünf Wochen eingesetzt werden. In diesen Kontexten können sie gezielt eingesetzt werden, um explizite Argumentation oder die Behaltensleistung zu fördern. 

Studienbeispiel

Eine Laborstudie von Ruan und Kollegen (2020) zeigte signifikante Auswirkungen eines Lerndesigns mit einem Chatbot-Tutor. Die Studie untersuchte eine interaktive mathematische Lernumgebung für SchülerInnen der 3. bis 5. Klasse und ihre Auswirkungen auf Engagement, Lernen und Wissenserhalt in Mathematik. Sie verglichen vier Varianten der Lernplattform: 

• Gruppe A: Nur mathematische Textaufgabe (Kontrollgruppe)
• Gruppe B: Dieselbe mathematische Aufgabe eingebettet in eine märchenhafte Geschichte
• Gruppe C: Dieselbe mathematische Aufgabe in einer Geschichte mit Schritt-für-Schritt-Anleitung zur Lösung
• Gruppe D: Dieselbe Mathematische Aufgabe in einer Geschichte plus einen Chatbot-Tutor. Der Chatbot bot den SchülerInnen personalisierten Smalltalk, Ermutigung, wenn sie nicht weiterkamen, adaptive Hinweise im Konversationsstil und Fragen, um das Verständnis zu überprüfen.

Die Studie ergab, dass die erzählbasierte Aktivität plus Chatbot-Variante (D) im Vergleich zur reinen Aufgabenvariante (A) einen großen und signifikanten Effekt auf das Engagement (ES = 0.90), das Lernen (ES = 0.88) und den Wissenserhalt der Konzepte, eine Woche nach der Aktivität, hatte. 

Referenzen und Links

Downloads

Einleitung

Quizabfragen sind eine bewährte Methode im Klassenzimmer und erfreuen sich großer Beliebtheit bei Lehrkräften und SchülerInnen. Regelmäßiges Testen in Form von Quizzen bietet eine unkomplizierte Möglichkeit, SchülerInnen Rückmeldung darüber zu geben, wie gut sie den aktuellen Unterrichtsstoff verstehen.

Empirisch fundierte Lerntheorien, wie der Testeffekt (engl. testing effect), unterstützen den Ansatz, dass wiederholtes Testen – etwa durch unbenotete Quizze – das Verständnis und die Leistung der Lernenden verbessert. Der Testeffekt besagt, dass Lernende beim Beantworten von Testfragen Inhalte aktiv abrufen müssen, wodurch das Wissen langfristiger verankert wird. Darüber hinaus zeigt die Forschung, dass häufiges Testen auch das Erlernen neuen Wissens fördert (test-potentiated learning).

Diese Metaanalyse fasst erstmals die Ergebnisse von Feldstudien zum Einsatz von Quizzen zusammen. Die Erkenntnisse sind besonders relevant für die Lehrpraxis an Schulen und Hochschulen, da sie unter realen Bedingungen im Klassenzimmer – und nicht im Labor – gewonnen wurden.

Worum geht es in dieser Studie?

In dieser Metaanalyse untersuchen die Autoren vier zentrale Fragestellungen: Erstens prüfen sie, ob regelmäßige Quizze im Unterricht im Vergleich zu Unterricht ohne Quizze einen Mehrwert bieten. Dafür analysieren sie 52 (quasi-)experimentelle Studien mit insgesamt 7864 Teilnehmenden, die zwischen 1932 und 2017 veröffentlicht wurden. Diese Studien vergleichen die Kursleistungen (Noten) in Unterrichtssettings mit und ohne Quizze.

Zweitens untersuchen die Autoren, unter welchen Bedingungen Quizze besonders wirksam sind. In sogenannten Moderatoranalysen prüfen sie, ob die Effektstärke von bestimmten Faktoren wie Testhäufigkeit, sofortigem oder verzögertem Feedback, Fragetypen, der Durchführung als Hausaufgabe oder im Unterricht sowie einer vorherigen Ankündigung der Quizze beeinflusst wird. Ebenso betrachten sie Rahmenbedingungen wie die Bildungsstufe (Schule vs. Hochschule) und das Fach, wobei sie zwischen Psychologie (etwa die Hälfte der Studien) und anderen Fächern unterscheiden.

Drittens analysieren sie anhand von 5 Studien mit 1004 Teilnehmenden, ob mehr Lernende den Kurs bestehen, wenn Quizze häufiger eingesetzt werden, da insbesondere schwächere Lernende von regelmäßigen Tests profitieren könnten.

Abschließend wird untersucht, ob ein Zusammenhang zwischen den Quizleistungen und der späteren Kursnote besteht. Hierfür lieferten 20 Studien mit insgesamt 4268 Teilnehmenden die erforderlichen Daten[*].

[*] Diese Studien sind Teil der oben genannten Gesamtstichprobe von 52 Studien und liefern die für diese Fragestellung notwendigen Daten.

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in dieser Metaanalyse ein signifikanter Gesamteffekt von d = 0.42 (Konfidenzintervall d = 0.29 bis d = 0.55) zugunsten der Leistung von Lernenden, die regelmäßig mit Quizzen getestet wurden.  

In den Moderatoranalysen zur zweiten Frage zeigte sich, dass die Effektstärken deskriptiv größer waren, wenn die Quizzergebnisse in die Endnote einflossen (d = 0.51) im Vergleich zu Quizzen ohne Einfluss auf die Note (d = 0.33). Höhere Effektstärken traten auf, wenn das Feedback unmittelbar erfolgte (d = 0.41) im Vergleich zu verzögertem Feedback (d = 0.31) und wenn die Quizze aus offenen Fragen bestanden (d = 0.60) im Gegensatz zu Multiple-Choice-Fragen (d = 0.37) oder Lückentext- und anderen Fragetypen (d = .38). Deskriptive Unterschiede in den Effektstärken waren auch für einige der Moderatoren erkennbar, die aus rein explorativen Gründen untersucht wurden. Das heißt, die Effektstärken waren größer, wenn die Quizze außerhalb des Klassenzimmers online stattfanden (d = 0.62) anstatt im Klassenzimmer (d = 0.22); angekündigt (d = 0.43) im Vergleich zu nicht angekündigt (d = 0.15) und wenn sie im Fach Psychologie stattfanden (d = 0.47) im Vergleich zu anderen Fächern (d = 0.29). In einer Metaregression wurden davon zwei Moderatoren signifikant: 1. Einfluss auf die Endnote: wenn die Quizzleistungen Einfluss auf die Endnote hatten, waren die Leistungen signifikant höher und 2. das Fach: Im Fach Psychologie zeigten sich signifikant höhere Effektstärken als in den anderen Fächern.

Die Befunde zur dritten Fragestellung zeigten, dass der Anteil der Lernenden, die den Kurs bestehen größer war, wenn Quizze eingesetzt wurden.

Schließlich zeigte die Untersuchung des Zusammenhangs zwischen Quizeinsatz und späteren Prüfungsleistungen eine deutliche, statistisch signifikante Korrelation von r = 0.55.  

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die Metaanalyse kommt bezüglich der Lernleistungen der SchülerInnen insgesamt zu einem signifikanten positiven Gesamteffekt d = 0.42. Diese Effektstärke bedeutet, dass etwa 66% der SchülerInnen, die regelmäßig in realen Lehr-Lernsettings mit Quizzen getestet wurden, einen größeren Lernerfolg zeigten als der Durchschnitt der SchülerInnen in den Vergleichsgruppen. Zudem zeigen die Moderatoranalyse, dass dieser Gesamteffekt über unterschiedliche Bedingungen weitgehend robust ist.  

Vorherige Metaanalysen (z.B. Anderson et al., 1999; Vanhove & Harms, 2015) dokumentieren zudem, dass ähnliche Effektstärken auch unter Laborbedingungen beobachtet wurden. Zudem zeigte eine weitere aktuelle und umfassende Metaanalyse von Yang et al. (2020) ebenfalls einen positiven Effekt von g = 0.50, was die Ergebnisse dieser Metaanalyse bestätigt.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird von der Clearing House Unterricht Research Group anhand der untersuchten Fachbereiche, Bildungsstufen und abhängigen Variablen eingeschätzt. In dieser Metaanalyse werden die Ergebnisse differenziert nach Bildungsstufe (Sekundarstufe vs. tertiäre Stufe) und Fachbereich untersucht. Bei den Fachbereichen wurde zwischen Befunden in Kursen der Psychologie und anderen Fächern (darin enthalten: u.a. naturwissenschaftliche Fächer oder Finanzen und Management) unterschieden, da viele der inkludierten Studien mit Studierenden des Fachbereichs „Psychologie“ durchgeführt wurden. 

Sämtliche Befunde der Metaanalyse beziehen sich auf die Leistung der Lernenden; weitere mögliche Effektkategorien wie etwa Lernmotivation wurden nicht untersucht.  

Wie verallgemeinerbar sind die Befunde?

Die Autoren prüfen mithilfe zweier unterschiedlicher Analyseansätze bezogen auf die Moderatorvariablen, inwiefern der Gesamteffekt für unterschiedliche Bedingungen verallgemeinerbar ist. Als Erstes vergleichen sie deskriptiv die aggregierten Befunde der unterschiedlichen Stufen aller einbezogener Moderatorvariablen. Hier zeigten sich auf vielen Moderatorvariablen beachtenswerte Unterschiede (siehe Ergebnisse). Da diese Unterschiede jedoch nicht auf statistische Signifikanz hin getestet wurden und zum Teil auch erhebliche Unterschiede in der Zahl der eingeflossenen Primärstudien bestehen, sind diese Befunde als Trends zu verstehen und lassen nur bedingt Rückschlüsse auf Einschränkungen der Verallgemeinerbarkeit zu. Als Zweites führen die Autoren eine Metaregressionsanalyse durch. Hierbei zeigte ich, dass Quizze unterschiedlich wirksam sein können, je nachdem in welchen Fachbereichen sie durchgeführt werden und ob Quizzleistungen für die Endnote gewertet werden. Für alle anderen Moderatoren ergab die Analyse keine Einschränkung der Verallgemeinerbarkeit. Bei der Auswahl der Moderatorvariablen zeigt sich, dass der Fokus vor allem auf Aspekten der Durchführung lag. Merkmale der Lernenden, wie beispielsweise deren Vorwissen, sowie Kontextvariablen wie die geografische Region, wurden hingegen nicht berücksichtigt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse untersucht im Gegensatz zu früheren Metaanalysen nur Befunde aus Primärstudien, in denen Quizze tatsächlich im Kontext des Schulunterrichts oder in der universitären Lehre eingesetzt wurden. Die Befunde lassen sich demnach mit höherer Wahrscheinlichkeit auf diese Kontexte übertragen verglichen mit Befunden reiner Laborstudien. Zudem wurden auf Basis verschiedener Theorien (z.B. Testeffekt, test potentiated learning) eine sehr umfassende Analyse von moderierenden Variablen vorgenommen.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Schritte bei der Auswahl der Primärstudien und der Analyse der Befunde sind größtenteils transparent. Damit sind das Vorgehen bei der Suche nach relevanten Studien, Studienauswahl, Kodierung und statistische Analyse weitgehend offengelegt und nachvollziehbar beschrieben. Im Bereich der Kodierung der Primärstudien wären allerdings genauere Angaben zur Messung des Lernerfolgs, zur Kodierung der jeweiligen Studienqualität sowie zum Herkunftsland der Studie wünschenswert gewesen. Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metaanalyse verdeutlicht, dass regelmäßige Quizze eine effektive Methode zur Förderung des Lernens sowohl im Schulunterricht als auch in der Hochschullehre darstellen. Die Ergebnisse untermauern die theoretischen Annahmen zum „Testing Effect“ und „Test-Potentiated Learning“ und zeigen, dass Quizze Lehrkräften eine einfache und kostengünstige Möglichkeit bieten, den Lernfortschritt der SchülerInnen gezielt zu verfolgen und Wissenslücken systematisch zu schließen. Dadurch wird das Verständnis der Lerninhalte verbessert und die gezielte Vorbereitung auf Prüfungen unterstützt.

Besonders wirksam erwies sich der Einsatz von Quizzen, wenn deren Ergebnisse in die Endnote einflossen. Neben einer allgemeinen Steigerung der Lernleistung trugen Quizze auch dazu bei, die Anzahl der SchülerInnen zu verringern, die einen Kurs nicht bestehen. Diese Methode erweist sich somit als praktisches und nachhaltiges Werkzeug zur Förderung des Lernerfolgs. Fortschritte in der künstlichen Intelligenz und der Entwicklung digitaler Quiztools erleichtern die Erstellung personalisierter Quizfragen, was den Einsatz dieser Methode weiter vereinfacht und deren Potenzial zur Lernförderung noch steigert.

Studienbeispiel

McDaniel et al. (2011) untersuchten in einer experimentellen Studie, wie regelmäßige Quizze die Lern- und Behaltensleistung im naturwissenschaftlichen Unterricht einer Middle School (vergleichbar mit der Sekundarstufe I) fördern können. Es wurden verschiedene Themenbereiche u.a. Genetik, Anatomie und Evolution in mehreren Unterrichtsstunden behandelt. In diesen sog. Unterrichtseinheiten wurde jeweils ein Thema behandelt, welches nach etwas 20 Tagen durch eine Prüfung abgeschlossen wurde. Die Studie wurde mit 139 AchtklässlerInnen in den USA in drei experimentellen Designs durchgeführt. Dabei erhielten die SchülerInnen zu drei Zeitpunkten Quizze im Multiple Choice Format: 

Pre-Lecture-Quiz: Quiz vor der Unterrichtsstunde zur Aktivierung des Vorwissens.

Post-Lecture-Quiz: Quiz direkt nach der Unterrichtsstunde zur Festigung des im Unterricht behandeltes Inhalts.

Review-Quiz: Quiz vor Prüfungen zur gezielten Wiederholung der Inhalte.

Die Pre- und Post-Lecture-Quizze wurden über den gesamten Zeitraum der jeweiligen Unterrichtseinheit an die SchülerInnen ausgegeben. Die Versuchsreihen endeten jeweils mit einem Review-Quiz, das etwa 24 Stunden vor der Prüfung am Ende der Unterrichtseinheit durchgeführt wurde. Die Prüfungen fanden je nach experimentellen Design am Ende der Unterrichtseinheit, am Ende des Semesters und am Ende des Jahres statt. Zur genaueren Untersuchung der Behaltensleistung wurde zwischen den Review-Quizzen vor der ersten Prüfung und den späteren Prüfungen keine weiteren Quizze durchgeführt. Die Hälfte der Testfragen waren inhaltlich übereinstimmend mit Fragen, die auch in den späteren Prüfungen abgefragt wurden. Die andere Hälfte an prüfungsrelevanten Inhalten wurde in Lektüren und im Unterricht besprochen.  Dies ermöglichte es, den Effekt der Quizze auf die Lern- und Behaltensleistung im Vergleich zu regulärem Unterricht ohne Quizze zu untersuchen.

Die Ergebnisse zeigten, dass Review-Quizze die stärkste Verbesserung der Prüfungsleistungen erzielten: Gequizzte Inhalte wurden zu 86 % korrekt beantwortet, verglichen mit 64 % bei nicht gequizzten Inhalten. Post-Lecture-Quizze zeigten ebenfalls positive Effekte, während Pre-Lecture-Quizze keinen signifikanten Einfluss hatten. In einem weiteren Experiment wurde deutlich, dass sowohl einzelne Review-Quizze als auch Review- und Post-Lecture-Quizze kombiniert, langfristig den größten Nutzen für die Lernleistung der SchülerInnen bringen. Laut den Autoren, können strategisch platzierte Quizze eine effektive Methode sein, um sowohl kurzfristige Lernziele zu erreichen als auch das langfristige Behalten von Wissen zu fördern. 

Referenzen und Links

Downloads

Einleitung

Großangelegte Studien wie PISA zeigen immer wieder geschlechtsspezifische Unterschiede in motivational-affektiven Merkmalen: Mädchen zeigen tendenziell mehr Interesse und positivere Einstellungen für bzw. gegenüber sprachlich-künstlerischen Fächern, Jungen mehr für bzw. gegenüber naturwissenschaftlich-mathematischen Fächern[*]. Motivational-affektive Merkmale beeinflussen, welche Ziele SchülerInnen als wünschenswert erachten, welche Handlungen sie initiieren und bei welchen Handlungen sie Ausdauer zeigen. Dementsprechend hängen diese Merkmale auch eng mit der (schulischen) Leistung von SchülerInnen, ihren späteren Bildungsentscheidungen (z.B. Aufnahme eines naturwissenschaftlichen Studiums) und ihrer Berufswahl zusammen. Geschlechtsspezifische Unterschiede in motivational-affektiven Merkmalen können damit bestehende Bildungsungleichheiten verstärken.

Um allen SchülerInnen unabhängig ihres Geschlechts gleiche Bildungschancen zu eröffnen, sind in den letzten Jahren zahlreiche schulbasierte Interventionen entwickelt worden, die motivational-affektive Merkmale von allen SchülerInnen fördern sollen. Diese schulbasierten Interventionen adressieren die Veränderung von motivational-affektiven Merkmalen und Geschlechterstereotypen dabei entweder direkt (z.B. durch ein spezifisches Selbstwirksamkeitstraining oder explizite Reflexion von Geschlechterstereotypen) oder indirekt (z.B. durch den Einsatz von spielbasierten oder kooperativen Lernformen). Bislang ist aber nicht klar, ob solche Interventionen die motivational-affektiven Merkmale von Mädchen und Jungen gleichermaßen fördern können. Hier setzt die Metaanalyse von Lesperance und KollegInnen an. Die AutorInnen werten systematisch aus, ob und wie bestehende schulbasierte Interventionen motivational-affektive Merkmale bei Mädchen und Jungen insbesondere in den jeweils stereotyp benachteiligten Fächern fördern können.

[*] Da die der Metaanalyse zugrundeliegenden Daten ein binäres Geschlechterverhältnis abbilden, unterscheiden wir in diesem Kurzreview nur zwischen Mädchen und Jungen.

Worum geht es in dieser Studie?

Lesperance und KollegInnen analysieren in ihrer Metaanalyse, ob schulbasierte Interventionen die motivational-affektiven Merkmale von Mädchen und Jungen gleichermaßen fördern können. Die Datenbasis bilden insgesamt 20 Einzelstudien, die zwischen 1981 und 2019 in internationalen wissenschaftlichen Zeitschriften und Dissertationen publiziert wurden. Grundlage der 20 Einzelstudien sind Daten von 3458 SchülerInnen der Primar- und Sekundarstufe. Die AutorInnen berücksichtigten in ihrer Metaanalyse nur Studien, die ein (quasi)experimentelles Forschungsdesign sowie einen Prä- und Posttest aufwiesen.

Im Rahmen von Moderatoranalysen untersuchen die AutorInnen zudem, ob weitere Einflussfaktoren des Kontexts oder der Intervention die geschlechtsspezifischen Effekte der schulbasierten Interventionen beeinflussen. Sie werten beispielsweise aus, ob das Schulfach, in dem die Intervention durchgeführt wurde (Kontextmerkmal) oder die Interventionsstrategie (Interventionsmerkmal) einen Einfluss auf den Effekt haben. Die in den Moderatoranalysen untersuchten Variablen finden Sie in der untenstehenden Tabelle.

Was findet diese Studie heraus?

Die Ergebnisse der Metaanalyse zeigen, dass Mädchen und Jungen, die an schulbasierten Interventionen teilgenommen hatten, höhere Werte in ihren motivational-affektive Merkmalen aufwiesen als Vergleichsgruppen ohne Intervention. Mädchen (g = 0.49; Konfidenzintervall g = 0.27 bis g = 0.71) profitieren – deskriptiv betrachtet – stärker von den Interventionen als Jungen (g = 0.28; Konfidenzintervall g = 0.01 bis g = 0.55). Dieser Unterschied war allerdings statistisch nicht signifikant.

Bei den Moderatoranalysen zeigen sich für die Interventionsstrategie und die Ausrichtung der Intervention signifikante Unterschiede zugunsten der Mädchen. Mädchen erzielten bei direkter Förderung signifikant größere Effekte (g = 0.53) als Jungen (g = 0.19). Mädchen berichteten außerdem signifikant größere Zuwächse in ihren motivational-affektiven Merkmalen bei geschlechtsspezifisch ausgerichteten Interventionen (g = 0.63) im Vergleich zu nicht geschlechtsspezifisch ausgerichteten Interventionen (g = 0.20).

Die weiteren Moderatoranalysen ergaben keine signifikanten Unterschiede hinsichtlich des Effekts schulbasierter Interventionen. So profitierten Mädchen und Jungen gleichermaßen von schulbasierten Interventionen – unabhängig davon, ob diese im naturwissenschaftlichen oder mathematischen Unterricht durchgeführt wurden. Auch die Schulstufe, die Dauer der Intervention und die Art des motivational-affektiven Merkmals beeinflussten die positiven Effekte der Interventionen nicht.

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt in dieser Metaanalyse für Mädchen bei g = 0.49 und für Jungen bei g = 0.28. Diese Effektstärke bedeutet, dass etwa 70 % der Mädchen bzw. 61 % der Jungen, die an einer schulbasierten Intervention teilgenommen hatten, höhere Ausprägungen in ihren motivational-affektiven Merkmalen aufwiesen als der Durchschnitt der SchülerInnen aus den Kontrollgruppen (ohne Intervention). Diese Effekte sind über alle untersuchten Kontextmerkmale (Schulstufe und Schulfach) und die untersuchten motivational-affektiven Merkmale hinweg stabil. Es zeigte sich jedoch, dass durch eine direkte (g = 0.53) und geschlechtsspezifische Förderung (g = 0.63) der Effekt für Mädchen signifikant vergrößert werden kann.

Zur Substanz der Effekte trägt zudem bei, dass die AutorInnen bei der Auswahl der Einzelstudien strikte Qualitätskriterien genutzt (u.a. Standardkriterien des What Works Clearinghouse) und so nur Studien mit zuverlässigen Forschungsdesigns und zuverlässigen Messverfahren berücksichtigt haben. Es finden sich keine Anzeichen für Publikationsverzerrungen, sog. publication bias (also eine überdurchschnittliche Anzahl positiver Ergebnisse), in der Metaanalyse, was die Substanz weiter unterstützt.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Effektstärken werden differenziert für MINT-Schulfächer (Mathematik, Naturwissenschaften), Schulstufen (Primarstufe, Sekundarstufe I und II) sowie verschiedene Arten von motivational-affektiven Merkmalen berichtet. Die Unterschiede in diesen drei Bereichen sind jedoch nicht statistisch signifikant. Dieser Befund spricht dafür, dass sich schulbasierte Interventionen zur Förderung motivational-affektiver Merkmale bei Mädchen und Jungen innerhalb dieser Bereiche ähnlich positiv auswirken.

Wie verallgemeinerbar sind die Befunde?

Der statistisch signifikante positive Gesamteffekt (jeweils für Mädchen und Jungen) spricht dafür, dass schulbasierte Interventionen motivational-affektive Merkmale auf vielfältige Art und Weisen fördern können. Grundsätzlich kann von hoher Generalisierbarkeit ausgegangen werden, da die gefundenen positiven Effekte unabhängig von Schulfächern, Schulstufen, Interventionsdauern und den spezifischen motivational-affektiven Merkmalen sind.

Allerdings kann angenommen werden, dass Anzahl und Größe der eingehenden Studien die Ergebnisse der Moderatoranalysen entscheidend beeinflussen. Bei der vorliegenden, limitierten Studienlage konnten Lesperance und KollegInnen bestimmte, womöglich relevante, Moderatoren nicht berücksichtigen. Eine umfangreichere Studienlage, die beispielsweise auch geschlechtsspezifische Unterschiede in stereotyp weiblichen Fächern berücksichtigt, könnte differenziertere Befunde zur Effektivität schulbasierter Interventionen ermöglichen.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist wissenschaftlich bedeutsam, da sie die bereits bekannte Forschungsthematik zu Interventionen rund um motivational-affektive Merkmale um eine wichtige, geschlechtsspezifische Perspektive ergänzt. Sie bietet einen umfassenden Blick auf verschiedene Gestaltungsmöglichkeiten von schulbasierten Interventionen, die sich für die Förderung motivational-affektiver Merkmale von Mädchen und Jungen als wirksam gezeigt haben.

Aus wissenschaftlicher Sicht ist zudem bedeutsam, dass diese Metaanalyse als Registered Report veröffentlicht wurde. Die AutorInnen haben die Metaanalyse präregistriert sowie alle Materialien auf dem Open Science Framework zugänglich gemacht, was die Nachvollziehbarkeit des Prozesses, die Replizierbarkeit der Ergebnisse und damit die wissenschaftliche Glaubwürdigkeit der Befunde deutlich erhöht.

Nicht zuletzt zeigt die Metaanalyse auch Forschungsdesiderate bestehender Forschung auf: Nur wenige Studien zu schulbasierten Interventionen berichten explizit geschlechtsspezifische Effekte. Bislang gibt es außerdem kaum Studien, die die Effekte schulbasierter Interventionen für Jungen in stereotyp benachteiligten Fächern wie Schreiben und Lesen untersuchen.

Wie methodisch verlässlich sind die Befunde?

Die methodische Verlässlichkeit wird auf Grundlage eines Ratingsystems (basierend auf u.a. Meta-Analysis Reporting Standards der APA) eingeordnet. Die Transparenz und Begründung des methodischen Vorgehens entsprechen größtenteils den Kriterien dieses Ratingsystems. Das Vorgehen bei der Suche nach relevanten Studien, bei der Studienauswahl, der Kodierung und der statistischen Analyse sind weitgehend offengelegt und nachvollziehbar beschrieben. Eine detailliertere Beurteilung ist im Begleitmaterial verfügbar (Rating Sheet).

Fazit für die Unterrichtspraxis

Motivational-affektive Merkmale lassen sich durch schulbasierte Interventionen fördern – bei Mädchen und Jungen gleichermaßen. Es lohnt sich also Zeit dafür in schulbasierten Workshop-Reihen oder Projektwochen einzuräumen, um Stereotypisierung in verschiedenen Fächern zu adressieren. Die förderlichen Strategien der Interventionen können auch direkt im (eigenen) Unterricht eingesetzt werden: So lohnt es sich beispielsweise, die SchülerInnen gezielt nach Vorbildern suchen zu lassen, die dem jeweiligen Geschlechterstereotyp widersprechen. Gerade beim Umgang mit Fehlern oder Misserfolgen, lassen sich durch die Unterstützung eines „Growth Mindset“ (z. B. durch die Formulierung „das kann ich noch nicht“) motivational-affektive Merkmale fördern. Schließlich ist es auch gewinnbringend, SchülerInnen immer wieder über die persönliche Bedeutung eines Themas nachdenken und miteinander diskutieren zu lassen. Die Wege zur Förderung motivational-affektiver Merkmale sind also vielfältig.

Die Befunde der aktuellen Metaanalyse zeigen darüber hinaus, dass in naturwissenschaftlich-mathematischen Fächern Mädchen – das stereotyp benachteiligte Geschlecht – vor allem dann profitieren, wenn gezielt geschlechtsspezifische Maßnahmen ergriffen und motivational-affektive Merkmale direkt gefördert werden. Es kann davon ausgegangen werden, dass vor allem SchülerInnen mit niedrigen Startwerten (z. B. wenig Interesse für bestimmte Fächer), also z.B. das jeweils stereotyp benachteiligte Geschlecht, von Maßnahmen profitieren. Inwiefern das so auch auf Fächer zutrifft, in denen Jungen stereotyp benachteiligt sind (z. B. beim Lesen und Schreiben) wird künftige Forschung beantworten.

Studienbeispiel

Falco und Summers (2019) untersuchten in einem Experiment, ob eine schulbasierte Intervention in Form einer Karriereberatung die Selbstwirksamkeitserwartung von Mädchen im Hinblick auf ihre Berufswahlkompetenzen und ihre MINT-Kompetenzen steigern kann. Dafür teilten sie eine Gruppe von 88 Schülerinnen einer amerikanischen High-School im Alter von 14 bis 16 Jahren zufällig entweder einer Interventionsgruppe oder einer Kontrollgruppe ohne Intervention zu. Die 44 Schülerinnen der Interventionsgruppen nahmen in den folgenden 9 Wochen einmal pro Woche an einem 50-minütigen Gruppenworkshop teil. Die Themen und didaktischen Methoden der Gruppenworkshops variierten dabei von Woche zu Woche. So gab es u. a. Reflexionsübungen zu Wert und Nutzen verschiedener Bildungs- oder Berufsziele in MINT-Bereichen, Aufklärung über MINT-Berufe und -Berufswege sowie Übungen zum persönlichen „Growth Mindset“. Vor dem Hintergrund der untersuchten Interventionsmerkmale der vorliegenden Metaanalyse steht diese Intervention beispielhaft für eine geschlechtsspezifische Ausrichtung (auf Mädchen) und eine direkte Interventionsstrategie.

Um die Wirksamkeit der Karriereberatung zu bestimmen, bearbeiteten alle 88 Mädchen vor und nach der Intervention einen Fragebogen zu ihrer Selbstwirksamkeitserwartung. Die Ergebnisse zeigten, dass Mädchen der Interventionsgruppe nach der Intervention (Posttest) höhere Selbstwirksamkeitserwartung aufwiesen als zu Beginn (Prätest). Die Selbstwirksamkeitserwartung der Kontrollgruppe hatte sich nicht verändert. Darüber hinaus zeigten die Mädchen der Interventionsgruppe nach der Intervention eine signifikant höhere Selbstwirksamkeitserwartung im Hinblick auf ihre Berufswahl und ihre MINT-Kompetenzen als die Mädchen der Kontrollgruppe.

Referenzen und Links

Downloads

Einleitung

Gruppen- und Partnerarbeiten gehören für SchülerInnen und Lehrkräfte gleichermaßen zum Schulalltag. Sie sind eine beliebte Sozialform, um den Unterrichtsfluss anzuregen oder verschiedene Lernende miteinander zu vernetzen. Aus konstruktivistischer Sicht bieten Partner- und Gruppenarbeiten die Chance, sich mit fremden Perspektiven auseinanderzusetzen, kognitive Konflikte zu induzieren und dadurch Lernen anzuregen.

Sowohl in der Unterrichtspraxis als auch in der Theorie ist allerdings unklar, welche Konstellationen der Partner- und Gruppenarbeit das Lernen am besten unterstützen. Lernen die SchülerInnen besser zu zweit als zu dritt? Welchen Einfluss hat die Geschlechterkonstellation einer Gruppe auf das Lernen? Sind diese Fragen je nach Inhalt der Gruppenarbeit vielleicht verschieden zu beantworten? Diesen Fragen gehen Tenenbaum und KollegInnen in ihrer Metaanalyse nach.

Worum geht es in dieser Studie?

Die Metaanalyse geht der Frage nach, ob SchülerInnen, die Aufgaben in Partner- oder Gruppenarbeit bearbeiten, erfolgreicher lernen, d. h. zum Beispiel mehr Aufgaben lösen und/oder qualitativ hochwertigere Lösungen erzielen, als SchülerInnen, die die Aufgabe allein, gar nicht oder mit einer erwachsenen Person bearbeiten.

Als Datengrundlage dienen 62 Publikationen, die sich auf 71 verschiedene Stichproben mit insgesamt 7103 SchülerInnen zwischen 4 und 18 Jahren beziehen. Alle berücksichtigten Studien vergleichen den Lernerfolg von SchülerInnen, die an Partner- und Gruppenarbeiten teilnahmen, mit dem Lernerfolg von SchülerInnen aus mindestens einer der drei folgenden Vergleichsbedingungen: 1) die SchülerInnen bearbeiten die Aufgabe allein, 2) die SchülerInnen bearbeiten die Aufgabe gemeinsam mit einer erwachsenen Person oder 3) die SchülerInnen bearbeiten die Aufgabe gar nicht und warten einfach (eine sogenannte Wartekontrollgruppe). Die Aufgaben, die gelöst werden mussten, waren dabei für alle SchülerInnen der jeweiligen Primärstudie gleich – egal ob sie an der Partner- und Gruppenarbeit oder einer der drei Vergleichsbedingungen teilnahmen.

In der Metaanalyse wird außerdem untersucht, ob verschiedene Moderatorvariablen den Lernerfolg während der Partner- und Gruppenarbeit beeinflussen. Diese Variablen werden von den AutorInnen in drei Kategorien eingeteilt: Studiendesign (z. B. Häufigkeit der Partner- und Gruppenarbeit), Gruppenmerkmale (z. B. Geschlechtszusammensetzung) und Lernbereich der Aufgabe (z. B. naturwissenschaftliches Argumentieren).

Einen Überblick über alle untersuchten Moderatorvariablen in diesen drei Kategorien finden Sie in der Übersicht über alle Einzelbefunde.

Was findet diese Studie heraus?

SchülerInnen, die Aufgaben während einer Partner- bzw. Gruppenarbeit lösten, zeigten einen signifikant größeren Lernerfolg (also beispielsweise mehr gelöste Aufgaben) als SchülerInnen in den Vergleichsbedingungen. Dies spiegelt sich in dem positiven und statistisch signifikanten Gesamteffekt von g = 0.40 (Konfidenzintervall g = 0.27 bis g = 0.54) wider. Wenn man die Lernerfolge der SchülerInnen in den drei Vergleichsbedingungen jeweils getrennt mit den Lernerfolgen der SchülerInnen in Partner- bzw. Gruppenarbeiten vergleicht, zeigen sich jedoch signifikante Unterschiede: SchülerInnen, die mit Erwachsenen arbeiteten, erzielten genauso große Lernerfolge wie SchülerInnen, die die Aufgaben in Partner- bzw. Gruppenarbeit lösten. SchülerInnen, die in der Wartekontrollbedingung gar nicht oder alleine arbeiteten, erzielten allerdings geringere Lernerfolge als SchülerInnen, die in Partner- bzw. Gruppenarbeit zusammenarbeiteten.

In der Metaanalyse waren die Lernerfolge außerdem signifikant größer, wenn die Kinder und Jugendlichen angehalten wurden während der Partner- bzw. Gruppenarbeit zu einem Konsens zu kommen (g = 0.61; Konfidenzintervall g = 0.42 bis g = 0.81). Alle anderen Variablen des Studiendesigns (z. B. Häufigkeit der Partner- bzw. Gruppenarbeit) und der Gruppenmerkmale (z. B. Alter, Gruppengröße) sowie der Lernbereich der Aufgabe beeinflussten den positiven Gesamteffekt nicht signifikant. Das heißt für den Lernerfolg der SchülerInnen bei den Partner- und Gruppenarbeiten war es egal, ob die Partner- bzw. Gruppenarbeit

• nur einmal oder mehr als einmal
• mit jungen (4-10-jährigen) oder älteren (11-18-jährigen) SchülerInnen
• in gleichgeschlechtlichen oder gemischtgeschlechtlichen Paarungen bzw. Gruppen
• mit zwei oder mehr als zwei SchülerInnen
• im Lernbereich Kreativität, Moral, Argumentieren, räumliches Denken etc.

stattfand.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Insgesamt kommt die Metaanalyse zu einem signifikanten positiven Gesamteffekt von g = 0.40. Die Größe dieses Effekts zeigt an, dass ca. 65% der SchülerInnen, die in Partner- bzw. Gruppenarbeit gearbeitet haben, einen größeren Lernerfolg erzielten als der Durchschnitt der SchülerInnen in den anderen drei Vergleichsbedingungen (Wartekontrollgruppe, Bearbeitung der Aufgabe allein, Bearbeitung der Aufgabe mit einer erwachsenen Person).

Der positive Gesamteffekt von g = 0.40 ist über die untersuchten Gruppenmerkmale und Lernbereiche der Aufgaben hinweg stabil, wird aber von bestimmten Merkmalen des Studiendesigns (Vergleichsbedingung, Instruktion zur Konsensfindung) beeinflusst. Das heißt, obwohl die Einzelstudien zum Teil Effekte aufweisen, die unter oder über dem Gesamteffekt liegen, ist insgesamt davon auszugehen, dass Partner- bzw. Gruppenarbeiten unter vielen Umständen das Lernen fördern können.

Der Gesamteffekt (g = 0.40) fällt im Vergleich mit zwei bestehenden Metaanalysen, bei denen es weniger um spontane Partner- und Gruppenarbeit, sondern um geübtes kooperatives bzw. kollaboratives Lernen geht (siehe Kurzreview 4 zur Wirksamkeit kooperativer Lernformen (g = 0.54) und Kurzreview 15 zur Wirksamkeit von kollaborativem Lernen mit mobilen digitalen Geräten (g = 0.52)) etwas geringer aus. Werden die SchülerInnen jedoch instruiert, während der Partner- bzw. Gruppenarbeit zu einem Konsens zu finden, übersteigt der Effekt von g = 0.61 die Gesamteffekte der beiden vergleichbaren Metaanalysen.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse berichtet die Ergebnisse differenziert nach Lernbereichen der Aufgaben und Altersstufen. In der Metaanalyse werden insgesamt neun verschiedene inhaltliche Lernbereiche getrennt analysiert (z. B. naturwissenschaftliches Argumentieren und mathematisches Argumentieren). Außerdem werden die Ergebnisse differenziert für zwei Altersgruppen dargestellt, die Aufteilung entspricht dabei in etwa dem internationalen Primar- und Sekundarstufenbereich.

Innerhalb der verschiedenen Lernbereiche und über die beiden Altersgruppen hinweg finden sich keine statistisch signifikanten Unterschiede, das heißt, Partner- und Gruppenarbeiten wirken in dieser Metaanalyse über verschiedene Lernbereiche und Altersstufen hinweg ähnlich positiv. Einschränkend ist festzuhalten, dass in der Metaanalyse keine Differenzierung bezüglich der verschiedenen Erhebungsmethoden des Lernerfolgs durchgeführt wird.

Wie verallgemeinerbar sind die Befunde?

In der vorliegenden Metaanalyse wurden verschiedene Moderatoranalysen durchgeführt, um die Generalisierbarkeit über verschiedene Studiendesigns (z. B. Art der Vergleichsgruppe, Häufigkeit der Messung), Gruppenmerkmale (z. B. Alter, Geschlecht) und Lernbereiche hinweg zu testen. Der vorteilhafte Effekt der Partner- bzw. Gruppenarbeit ist über alle untersuchten Gruppenmerkmale (Alter, Gruppengröße, Geschlechtszusammensetzung) und Lernbereiche hinweg robust. Es ist einschränkend festzustellen, dass bei den verschiedenen Lernbereichen der Aufgaben teilweise nur sehr wenige Studien eingeflossen sind (z.B. nur zwei Studien im Lernbereich Kreativität). Außerdem enthält die Metaanalyse keinerlei Informationen zu den geografischen Regionen der Studien, was die direkte Übertragbarkeit auf den MINT-Unterricht an deutschen Schulen erschwert.

Auch wenn der positive Gesamteffekt über bestimmte Variablen des Studiendesigns (Häufigkeit und Zeitpunkt der Messung sowie Häufigkeit der Partner- bzw. Gruppenarbeit) hinweg generalisierbar ist, wird er von zwei anderen Variablen des Studiendesigns, nämlich der Art der Vergleichsgruppe sowie der Instruktion zur Konsensfindung, signifikant beeinflusst.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse berücksichtigt zentrale Punkte aus konstruktivistischen Lerntheorien nach Jean Piaget und Lew Wygotsky: Kinder und Jugendliche profitieren in ihrer Entwicklung vom aktiven (sprachlichen) Austausch mit mind. einer anderen Person. Während Piaget annimmt, dass SchülerInnen bei der Zusammenarbeit mit Erwachsenen weniger lernen als bei der Zusammenarbeit mit Gleichaltrigen, geht Wygotsky davon aus, dass SchülerInnen sehr wohl von der Zusammenarbeit mit Erwachsenen profitieren können.

Die AutorInnen der Metaanalyse tragen diesen Überlegungen durch die Bildung ihrer Vergleichsgruppen Rechnung. So untersuchen sie den ersten Punkt, indem sie analysieren, ob SchülerInnen im aktiven (sprachlichen) Austausch mit Gleichaltrigen (Partner- bzw. Gruppenarbeit) mehr bzw. erfolgreicher lernen als SchülerInnen, die Aufgaben alleine bearbeiten (Vergleichsgruppe). Den zweiten Punkt, in dem sich Piaget und Wygotsky allerdings unterscheiden, untersuchen sie, indem sie den Lernerfolg von SchülerInnen, die Aufgaben mit Gleichaltrigen (Partner- bzw. Gruppenarbeit) bearbeiten, mit dem Lernerfolg von SchülerInnen, die Aufgaben gemeinsam mit Erwachsenen lösen, vergleichen.

Weitere wissenschaftliche Relevanz erlangt die Metaanalyse dadurch, dass sie bestehende Forschungsdesiderate aufzeigt: Es ist bislang wenig darüber bekannt, wie und ob soziale Rollen oder kognitive Voraussetzungen (z. B. Vorwissen) der SchülerInnen bei Partner- und Gruppenarbeiten zusammenwirken und den Lernerfolg beeinflussen können. Des Weiteren ist unklar, ob die konkrete Dauer der Gruppenarbeit den Lernerfolg beeinflusst.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Schritte bei der Auswahl der Primärstudien und der Analyse der Befunde sind weitgehend transparent. Im Bereich der Kodierung der Primärstudien wären allerdings genauere Angaben zur Messung des Lernerfolgs, zur Kodierung der jeweiligen Studienqualität sowie zum Herkunftsland der Studie wünschenswert gewesen. Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Partner- und Gruppenarbeiten können im Unterricht schnell und variabel eingesetzt werden. Die Befunde der vorliegenden Metaanalyse können als Hinweis dafür angesehen werden, dass Partner- und Gruppenarbeiten das Lernen von SchülerInnen zwischen 4 und 18 Jahren fördern können. SchülerInnen können von der Partner- und Gruppenarbeit unabhängig von der Geschlechterzusammensetzung und der Gruppengröße profitieren. Die AutorInnen der Metaanalyse verweisen allerdings auf Forschungsergebnisse der Sozialpsychologie, wonach sowohl bei älteren SchülerInnen als auch ab einer Gruppengröße von sechs Personen das Phänomen des „sozialen Faulenzens“ wesentlich häufiger auftritt.

Um den gegenseitigen Austausch und die Perspektivübernahme, vor allem bei kontroversen Themen, weiter anzuregen, bietet es sich an, die SchülerInnen zur Konsensfindung aufzufordern. Insgesamt liefert die Metaanalyse Indizien dafür, dass die Lerneffekte beim gemeinschaftlichen Lernen scheinbar größer sind als beim Lernen allein.

Trotz dieser praktischen Erkenntnisse weisen die Ergebnisse der Metaanalyse aber auch daraufhin, dass für zuverlässige evidenzbasierte Aussagen zu spezifischen Gestaltungsmöglichkeiten (z. B. Dauer der Gruppenarbeit, Zusammensetzung der Gruppen nach Vorwissen) noch weitere Forschungsbemühungen notwendig sind.

Studienbeispiel

Schwarz und Linchevski (2007) untersuchten in ihrer Studie, ob Partnerarbeit im Vergleich zu einer Wartekontrollgruppe zu Verbesserungen beim mathematischen Argumentieren von Zehntklässlern führt. Dafür absolvierten 60 ZehntklässlerInnen aus Israel einen Prä- und Posttest mit Aufgaben zum mathematischen Argumentieren. Zwischen dem Prä- und Posttest lagen drei Wochen.

Nach dem Prätest wurden die SchülerInnen in eine Experimentalgruppe und eine Wartekontrollgruppe aufgeteilt. Die 32 SchülerInnen der Experimentalgruppe bearbeiteten in 16 randomisierten Paaren gemeinsam 3 der 9 Aufgaben aus dem Prätest, die dann nicht im Posttest vorkamen. Zentraler Punkt der Partnerarbeit war, dass die SchülerInnen sich gegenseitig ihre Lösungswege erklärten. Die 28 SchülerInnen der Kontrollgruppe warteten und bearbeiteten zwischen Prä- und Posttest keine weiteren Aufgaben.

Während die Zehntklässler, die zwischen Prä- und Posttest an der Partnerarbeit teilgenommen hatten, im Posttest einen signifikanten Zuwachs in der Anzahl und Qualität der Lösungen der Aufgaben aufwiesen, fand sich bei den Zehntklässlern, die nur Prä- und Posttest ohne Partnerarbeit absolviert hatten, kein signifikanter Zuwachs.

Ein Beispiel für die in der Studie bearbeiteten Aufgaben zum mathematischen Argumentieren:

Den SchülerInnen werden zwei Paare von Blöcken gezeigt (A, B und C, D); alle Würfel in den Blöcken A und C wiegen gleich viel, alle Würfel in B und D wiegen gleich viel. Bei allen Aufgaben bleibt die Anzahl der Würfel von Block A und Block C gleich, die Anzahl der Würfel von Block B und D variiert allerdings. Am Anfang jeder Aufgabe werden die SchülerInnen über das relative Gewicht der Blöcke A und B informiert, z. B. Block A ist schwerer als Block B. Danach sollen sie jeweils das relative Gewicht der Blöcke C und D ableiten.

Eine Beispielaufgabe

Block A besteht aus 27 Würfeln, Block C aus 30 Würfeln. Block B besteht aus 26, Block D aus 30 Würfeln. Block A und B sind gleich schwer. Ist der Block C leichter als Block D? Begründe.

Referenzen und Links

Podcast

Downloads

Einleitung

Die Diskussion, ob und unter welchen Bedingungen spielbasierte Anwendungen im Allgemeinen für den Einsatz im Unterricht geeignet sind, ist nicht neu und es existieren bereits einige Metaanalysen hierzu (siehe zum Beispiel Kurzreview 2 über Unterstützungsmaßnahmen beim Game-based Learning und Kurzreview 3 über kognitive und motivationale Effekte von Serious Games). Bai und KollegInnen (2020) fokussieren in ihrer Metaanalyse im Speziellen auf die Wirksamkeit von digitalen Spielelementen im Rahmen von Gamification. Hiermit meinen die AutorInnen den Einsatz von digitalen Spielelementen in nicht-spielerischen Kontexten (z. B. im Unterricht), um so SchülerInnen zum Lernen zu motivieren.

Die AutorInnen grenzen den Begriff der Gamification klar von Serious Games ab. Bei Serious Games handelt es sich um den Einsatz von Spielen, die gezielt entwickelt wurden, um Lerninhalte zu transportieren. In ihrer Metaanalyse zu Gamification konzentrieren sich Bai und KollegInnen auf digitale Spielelemente, die den Lernenden dabei helfen, ihren Lernprozess spielerisch zu beobachten und zu evaluieren. Darunter fallen beispielsweise Badges (i. S. v. Abzeichen für Lernerfolge), Wettbewerbsysteme, Rankings (i. S. v. Rangfolgelisten), Punkte und Lernfortschrittsanzeigen. Die bisherige Forschung zu Gamification kommt zu unterschiedlichen Ergebnissen: Mal werden positive, mal negative und teilweise auch gar keine Effekte berichtet. Bai und KollegInnen untersuchen nun anhand von ausgewählten Einzelstudien systematisch, ob Lernumgebungen mit digitalen Spielelementen im Vergleich zu Lernumgebungen ohne diese Elemente, einen positiven Effekt auf die Lernleistung der SchülerInnen haben.

Worum geht es in dieser Studie?

Bai und KollegInnen beleuchten in ihrer Metaanalyse die Frage, ob der Einsatz digitaler Spielelemente im Rahmen von Gamification einen Effekt auf die Leistung der SchülerInnen hat und unter welchen Bedingungen der Einsatz besonders lernförderlich ist. Die AutorInnen berücksichtigen hierbei 24 Einzelstudien, in denen die Wirkung von insgesamt 30 unabhängigen Interventionen untersucht werden. Insgesamt gehen die Studien auf die Werte von 3.202 SchülerInnen der Primar- und Sekundarstufe sowie Studierende zurück. Alle Studien wurden im Zeitraum von 2010 bis 2018 veröffentlicht und haben (quasi)experimentelle Designs.

Das heißt, sie beinhalten den empirischen Vergleich einer Experimentalgruppe, die mit digitalen Spielelementen im Rahmen von Gamification lernt, und einer Kontrollgruppe, die in einer Lernumgebung ohne solche digitalen Spielelemente lernt. Im Rahmen von Moderatoranalysen untersuchen die AutorInnen zusätzlich, inwiefern die Wirksamkeit von Gamification von unterschiedlichen Gestaltungsmöglichkeiten und Untersuchungsmerkmalen abhängt. Dafür berücksichtigen sie vier Kategorien an Moderatoren: Typ und die Anzahl der eingesetzten Spielelemente, Art der Kontrollbedingung, Merkmale des Kurses (z. B. Schul-/Studienfach, Anzahl der ProbandInnen oder Dauer des Einsatzes) und Merkmale der ProbandInnen (z. B. Alter und geographische Region).

Was findet diese Studie heraus?

Die Metaanalyse zeigt über alle Studien hinweg einen signifikanten Gesamteffekt von Hedges’ g = 0.50 (Konfidenzintervall g = 0.28 bis g = 0.72) zugunsten der Lernumgebungen mit digitalen Spielelementen im Vergleich zu Lernangeboten ohne solche Elemente. Die meisten untersuchten Moderatoren zeigen keine signifikanten Unterschiede bezüglich der Wirksamkeit von digitalen Gamification-Elementen in unterschiedlichen Untergruppen.

Signifikante Unterschiede in der Wirksamkeit zeigen sich lediglich bei der Anzahl an ProbandInnen, der Dauer der Intervention und der geographischen Region, aus der die Lernenden stammen. Hinsichtlich der Anzahl der Lernenden zeigt sich, dass der Einsatz von digitalen Spielelementen bei größeren Gruppen von 50 bis 100 Personen am wirkungsvollsten zu sein scheint. Zudem bekunden die Ergebnisse der Analyse bzgl. der Dauer des Einsatzes der digitalen Spielelemente den größten Effekt bei einem bis drei Monate. Mit Blick auf die geographische Region der Lernenden finden sich die größten Effekte in West- und Ostasien. Eine genaue Auflistung der untersuchen Moderatoren und der Ergebnisse der Moderatoranalysen finden Sie in der Gesamtübersicht.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt in dieser Metaanalyse bei Hedge’s g = 0.50. Ein Effekt dieser Stärke bedeutet, dass circa 70 % der Lernenden, die mit digitalen Spielelementen lernten, eine höhere Lernleistung erbrachten als der Durchschnitt der Lernenden, die ohne solche digitalen Elemente lernten. Dieser Gesamteffekt ist etwas höher als in vorausgehenden Metaanalysen zum spielbasierten Lernen: Wouters und Kollegen (2013) berichten einen Gesamteffekt digitaler Spiele (Serious Games) auf den Lernerfolg von Cohen’s d = 0.29 (siehe Kurzreview 3).

Die Ergebnisse der Moderatoranalysen weisen darauf hin, dass die Wirksamkeit von Gamification durch die Gruppengröße (z. B. bei Gruppen von 50 Lernenden) und die Dauer der Intervention (z. B. über mehrere Tage/Wochen) potentiell vergrößert werden kann. Zur Substanz der Befunde trägt zudem bei, dass Einzelstudien mit selbstberichteten bzw. subjektiven Lernerfolgsmaßen aus den Analysen ausgeschlossen wurden. Weitere Informationen zur Einschätzung von Effektstärken finden Sie in unserem Handout zu Effektstärken.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der untersuchten Schulfächer und Altersgruppen eingeschätzt. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (z. B. Computer und Informatik, Mathematik, Naturwissenschaften, Sprache, Kunst) und unterschiedlichen Altersgruppen (Primarstufe, Sekundarstufe, Bachelorstudium, Masterstudium). Beide untersuchten Moderatoren (Fach und Alter) liefern jedoch keine Hinweise auf signifikante Unterschiede zwischen den Ausprägungsformen. Das untersuchte Leistungskriterium Lernleistung wird nicht weiter differenziert betrachtet.

Wie verallgemeinerbar sind die Befunde?

Grundsätzlich zeigen sich positive Effekte von digitalen Spielelementen im Rahmen von Gamification über die verschiedenen Gestaltungsmöglichkeiten und Rahmenbedingungen hinweg. Die AutorInnen fanden keine signifikanten Unterschiede in der Effektivität von Gamification zwischen der Art oder der Anzahl von Spielelementen, der Schulart der SchülerInnen oder dem Unterrichtsfach. Dies deutet darauf hin, dass die Wirksamkeit des Einsatzes digitaler Spielelemente gut verallgemeinerbar ist. Die Moderatoranalysen zeigen jedoch, dass die Anzahl der ProbandInnen die Dauer der Intervention und die geographische Region, in der die Studie durchgeführt wurde, zu signifikanten Unterschieden führen. In diesen Fällen sind die spezifischen Effektstärken aussagekräftiger als der Gesamteffekt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist aufgrund folgender Argumente wissenschaftlich bedeutsam: Zum einen liefert sie neue Befunde zum spielbasierten Lernen mit einem Fokus auf die Wirksamkeit von Gamification. Zum anderen zeichnet sich die Metaanalyse durch die Auswahl unterschiedlicher Moderatoren aus. Neben methodischen Moderatoren (z. B. Kontrollbedingungen) wurden auch Merkmale der Lernenden und des Kurses berücksichtigt. So zeigt sich nicht nur, dass digitale Spielelemente lernförderlich sein können, sondern auch, unter welchen Bedingungen sie besonders wirksam sind.

Wie methodisch verlässlich sind die Befunde?

Die Darstellung des methodischen Vorgehens entsprechen nur teilweise den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards). Über die Recherche und statistischen Analysen wird überwiegend transparent und nachvollziehbar berichtet. Allerdings fehlen detaillierte Aussagen zur Auswahl und Kodierung der Einzelstudien (z. B. Stichprobengrößen, Kontrollgruppen). Detaillierte Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Spielen und Lernen – diese Begriffe passen zusammen! Die Metaanalyse zeigt: Der Einsatz digitaler Spielelemente, kurz Gamification, lohnt sich auch im Klassenzimmer. Der positive Gesamteffekt deutet darauf hin, dass die Lernleistung der SchülerInnen durch Gamification gefördert werden kann. Dieses Ergebnis zeigt sich stabil über Schularten, Unterrichtsfächer und Altersgruppen hinweg. Auch die Art und Anzahl der eingesetzten Spiele scheint den Effekt digitaler Spielelemente nicht signifikant zu beeinflussen. Der konkrete Unterrichtskontext, in dem Gamification eingesetzt wird, zeigt sich damit in der Metaanalyse als weniger entscheidend.

Auch wenn sich aus der Metaanalyse keine Handlungsempfehlungen für konkrete Unterrichtssituationen ableiten lassen, so geben die Ergebnisse wichtige Hinweise darauf, dass Gamification grundsätzlich lernförderlich sein kann. Ob sich die gefundenen Effekte auch außerhalb des asiatischen Kulturkreis zeigen, müssen weitere Studien klären. Diese Metaanalyse ermutigt Lehrkräfte, Gamification auszuprobieren und sie in Rücksprache mit den SchülerInnen bedarfsgerecht einzusetzen. Für einen Einstieg in diesen Prozess gibt die Metaanalyse erste Impulse.

Studienbeispiel

Turan, Avinc, Kara und Goktas (2016) untersuchen in ihrer Studie den Effekt von digitalen Spielelementen im Rahmen von Gamification auf die kognitive Belastung und Leistung von SchülerInnen in einem Informatik- und Softwarekurs. An der Studie nahmen insgesamt 94 SchülerInnen der 6. Jahrgangsstufe an zwei Schulen in der Türkei teil, die in zwei Gruppen aufgeteilt wurden – eine Experimental- und eine Kontrollgruppe. Die Experimentalgruppe umfasste 46 SchülerInnen, die für bestimmte Aufgaben und Verhaltensweisen während des Unterrichts Punkte erhielten, die wiederrum auf einem digitalen Board vermerkt wurden. Zusätzlich bearbeiteten die SchülerInnen der Experimentalgruppe kleine fachbezogene Quizzes (auf der Quiz-Plattform Kahoot). Dadurch erhielten die SchülerInnen stets unmittelbar Rückmeldung zu ihrem derzeitigen Lernstand.

Die Intervention erfolgte über sechs Wochen für zwei Stunden pro Woche. Die 48 SchülerInnen der Kontrollgruppe wurden zum gleichen Inhalt regulär ohne den Einsatz digitaler Spielelemente unterrichtet. Um die Effektivität von Gamification zu untersuchen, erhoben die AutorInnen nach jeder Woche bei allen SchülerInnen die kognitive Belastung und zum Abschluss der Intervention die erbrachte Lernleistung mit Fragbögen und Tests. Die SchülerInnen der Experimentalgruppe zeigten nach der Intervention zwar eine höhere kognitive Belastung (gemittelt über die sechs Wochen der Studie), allerdings auch signifikant höhere Leistungen als die SchülerInnen der Kontrollgruppe.

Referenzen und Links

Podcast

Downloads

Einleitung

Peer Assessment taucht in der Literatur unter verschiedenen Begriffen auf, z.B. peer feedback, peer grading oder peer evaluation. In der Metaanalyse von Double und KollegInnen wird Peer Assessment als eine Methode verstanden, bei der sich Peers – verstanden als Mitglieder einer Peer Group, z.B. SchülerInnen der gleichen Schulstufe – wechselseitig Rückmeldung auf ihre erbrachte Leistung geben. Diese Form der Leistungsrückmeldung umfasst den mündlichen, schriftlichen oder digitalen Austausch von aufgabenrelevantem Feedback.

Im Unterricht kann Peer Assessment auf unterschiedliche Weisen umgesetzt werden. Lehrkräfte können den SchülerInnen beispielsweise Bewertungskriterien in Form von Leitfäden oder Benotungssystemen zur Verfügung stellen, den digitalen Austausch von Feedback ermöglichen oder Peer Assessment als eine regelmäßige Feedbackpraxis in ihrem Unterricht etablieren.

Die bisherige Forschung zu Peer Assessment weist auf einen starken Zusammenhang zwischen den Bewertungen von SchülerInnen durch MitschülerInnen im Rahmen von Peer Assessment und den Bewertungen der selben SchülerInnen durch die Lehrkraft hin (z.B. Li et al, 2016; Sanchez et al., 2017). Die vorliegende Metaanalyse untersucht nun die Wirksamkeit von Peer Assessment auf die schulische und akademische Leistung auch auf der Basis experimenteller Untersuchungen.

Worum geht es in dieser Studie?

Double und KollegInnen untersuchen in ihrer Metaanalyse, wie sich der Einsatz von Peer Assessment auf die Leistung von SchülerInnen (Primar- und Sekundarstufe) und Studierenden (tertiäre Stufe) im Vergleich zu Unterricht ohne Assessment, mit Selbstbewertungen (engl. Self Assessment) oder Bewertung durch die Lehrkraft (engl. Teacher Assessment) auswirkt.

Insgesamt fließen in die Metaanalyse 55 (quasi-)experimentelle Einzelstudien mit insgesamt 143 Effektstärken ein, die im Zeitraum zwischen 1966 und 2018 in internationalen Zeitschriften veröffentlicht wurden oder als »graue Literatur« (z.B. Dissertationen, Konferenzbeiträge) zur Verfügung standen. In den berücksichtigten Studien wurde Peer Assessment auf unterschiedlichste Weise in den Unterricht integriert (siehe Tabelle 1) und jeweils mit einer passiven Kontrollgruppe (d.h. kein Assessment) oder einer aktiven Kontrollgruppe (d.h. andere Form des Assessments, z. B. durch Lehrkraft) verglichen.

Die Leistung der SchülerInnen wird dabei entweder in Form von schriftlichen Leistungen (z.B. Test oder Essays) oder praktischen Leistungen (z.B. Anwendungsaufgaben) erfasst. Um zu untersuchen, unter welchen dieser Bedingungen Peer Assessment im Unterricht besonders effektiv ist, nutzen die AutorInnen sogenannte Moderatoranalysen. Dabei untersuchen sie nicht nur den Einfluss verschiedener Umsetzungsmöglichkeiten im Unterricht, sondern auch, in welchem Fach das Peer Assessment eingesetzt wurde (siehe Gesamtübersicht).

Tabelle 1. Umsetzungsmöglichkeiten von Peer Assessment im Unterricht

Was findet diese Studie heraus?

Basierend auf den 55 Einzelstudien konnten die AutorInnen einen signifikanten positiven Gesamteffekt von Peer Assessment auf die Leistung feststellen: g = 0.31 (Konfidenzintervall g = 0.18 bis g = 0.44). Auch bei gesonderter Betrachtung von SchülerInnen der Sekundarstufe ergab sich ein signifikant positiver Effekt von Peer Assessment auf die schulische Leistung: g = 0.44 (13 Studien).

Mit Blick auf die berücksichtigten Kontrollgruppen zeigt sich, dass SchülerInnen und Studierende mit Peer Assessment signifikant bessere Lernleistungen erbrachten als SchülerInnen und Studierende in Kontrollgruppen ohne Assessment (g = 0.31). Dieser Effekt zeigte sich auch im Vergleich zu Kontrollgruppen mit Bewertung durch die Lehrkraft (g = 0.28), jedoch nicht im Vergleich zu Kontrollgruppen mit Selbstbewertungen.

In den Moderatoranalysen stellen die AutorInnen fest, dass der positive Effekt von Peer Assessment über verschiedene Umsetzungsmöglichkeiten hinweg robust ist. Das heißt, für beinahe alle* untersuchten Formen des Peer Assessment (Typ, Häufigkeit etc.) lässt sich ein positiver Effekt auf die Leistung der SchülerInnen feststellen. Eine Übersicht aller Moderatoren findet sich im Überblick über alle Einzelbefunde.

*Lediglich beim Einsatz von Noten zeigt sich ein Unterschied: Während der Einsatz von Noten beim Peer Assessment bei Studierenden einen signifikanten positiven Effekt auf die Leistung hat (g = 0.55), konnte dieser Effekt nicht für SchülerInnen der Primar- und Sekundarstufe gezeigt werden (g = 0.002, n.s.)

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Insgesamt kommt die Metaanalyse zu einem signifikanten positiven Gesamteffekt von g = 0.31. Die Größe dieses Effekts zeigt, dass mehr als 60 % der SchülerInnen, die mit Peer Assessment gearbeitet haben, eine bessere Lernleistung erzielen als der Durchschnitt der SchülerInnen in den Kontrollbedingungen ohne Assessment oder mit anderen Formen des Assessments. Ergebnisse aus Moderatoranalysen zeigen, dass verschiedene Umsetzungsmöglichkeiten des Peer Assessments keine statistisch bedeutsamen Unterschiede in diesem Effekt ausmachen. Somit deuten die Befunde insgesamt darauf hin, dass Peer Assessment unabhängig von der jeweiligen Umsetzung positiv auf die Leistung der SchülerInnen wirkt. Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die AutorInnen berücksichtigen in ihren Analysen verschiedene Bildungsstufen (Primarstufe, Sekundarstufe und tertiärer Bildungsbereich) und Schulfächer. Zwischen den Bildungsstufen und Schulfächern zeigen sich jedoch keine signifikanten Unterschiede hinsichtlich der Wirksamkeit von Peer Assessment. Sowohl SchülerInnen als auch Studierende scheinen in verschiedenen Fächergruppen und bei unterschiedlichen Umsetzungsmöglichkeiten von Peer Assessment zu profitieren. Das untersuchte Leistungskriterium wird zwar bei der Studienselektion differenziert in schriftliche und praktische Aufgaben, in den Analysen allerdings nicht getrennt untersucht.

Wie verallgemeinerbar sind die Befunde?

Die Ergebnisse der Metaanalyse zeigen für nahezu alle Umsetzungsmöglichkeiten von Peer Assessment positive Effekte auf die Leistung. Dabei konnten keine statistisch bedeutsamen Unterschiede für verschiedene Fächer oder Bildungsstufen festgestellt werden. Grundsätzlich kann also davon ausgegangen werden, dass der positive Effekt von Peer Assessment als verallgemeinerbar angesehen werden kann.

Einschränkend ist festzuhalten, dass die geographische Lage nicht als Moderator mitberücksichtigt wurde, weswegen keine Aussage über die Generalisierbarkeit über verschiedene Länder hinweg getroffen werden kann. Auch für eine differenzierte Aussage über die Wirksamkeit verschiedener Umsetzungsmöglichkeiten von Peer Assessment speziell in der Sekundarstufe und den verschiedenen mathematischen-naturwissenschaftlichen Fächergruppen bedarf es weiterer experimenteller Studien.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse von Double und KollegInnen ist wissenschaftlich bedeutsam, da sie die Wirksamkeit von Peer Assessment für den Lernerfolg systematisch und verlässlich in Ergänzung zu bereits existierenden qualitativen Übersichts- und Literaturarbeiten einschätzt (Dochy et al., 1999; Topping, 1998).

Darüber hinaus zeigt die Metaanalyse zwei wichtige Forschungsdesiderate auf: Sie macht zum einen sichtbar, dass experimentelle Untersuchungen, in denen Effekte des Bewertens und des Bewertetwerdens auf die Leistung differenziert betrachtet werden, bisher fehlen. Die Berücksichtigung dieser jeweiligen Rolle beim Peer Assessment ist wichtig, um spezifischere Aussagen über die lernförderlichen Mechanismen treffen zu können. Zudem zeigt die Metaanalyse, dass die SchülerInnen in den berücksichtigten Studien überwiegend als ganze Klassen in Experimental- und Kontrollbedingung, also quasi-experimentell zugeteilt wurden. Für die Zukunft bräuchte es strengere Studiendesigns mit randomisierter Zuweisung auf Individualebene (experimentelle Studiendesigns).

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht zum Großteil den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Insbesondere die Studiensuche und -selektion sind vorbildlich dokumentiert. Im Bereich der Kodierung und Analyse der Primärstudien wären für eine bessere Nachvollziehbarkeit genauere Angaben erforderlich – z.B. Details zu den Stichproben, Designs und Erhebungsinstrumenten der berücksichtigten Studien. Detailliertere Informationen zur methodischen Beurteilung sind dem Rating Sheet zu entnehmen.

Fazit für die Unterrichtspraxis

Die Befunde der vorliegenden Metaanalyse geben Hinweise darauf hin, dass Peer Assessment eine lernförderliche Ergänzung für den Unterricht darstellen kann. Der positive Effekt von Peer Assessment auf die Leistung ist über verschiedene Altersstufen, Fächer und weiteren Bedingungen hinweg stabil. Dies deutet daraufhin, dass Peer Assessment in vielfältiger Form wirksam in den Unterricht implementiert werden kann.

Für die SchülerInnen bietet Peer Assessment die Möglichkeit, sich kritisch mit dem Lerninhalt auseinanderzusetzen und die eigenen Leistungen zu reflektieren. Anhand der berücksichtigten Einzelstudien lässt sich allerdings auch feststellen, dass die bisherige Forschung zum Peer Assessment noch recht unspezifisch ist. So fehlen Untersuchungen, die die verschiedenen Rollen beim Peer Assessment oder die konkreten Kontexte mit einbeziehen, um hier evidenzbasierte Empfehlungen zur konkreten Umsetzung aussprechen zu können. Um die Effektivität unterschiedlicher Umsetzungsmöglichkeiten und lernförderliche Mechanismen noch besser zu verstehen, sind daher weitere Forschungsbemühungen notwendig.

Studienbeispiel

Wang und KollegInnen (2017) untersuchen in ihrer Studie die Wirksamkeit von Peer Assessment im Informatikunterricht in der 9. Klasse. In den zehn Wochen der Untersuchung sollten die SchülerInnen die Programmiersprache »Scratch« lernen. Die Stichprobe bestand aus vier Schulklassen mit insgesamt 166 SchülerInnen. Alle vier Klassen erhielten eine Einführung in »Scratch« und die Aufgabe, ein eigenes Projekt zu programmieren.

In zwei Klassen sollten sich die SchülerInnen anschließend gegenseitig Feedback auf ihre individuellen Projekte geben (Experimentalgruppe mit 80 SchülerInnen, Peer Assessment). Dafür standen ihnen klare Bewertungskriterien (z.B. zu Thema und Inhalt oder Gestaltung) und Bewertungsstufen (von 1 bis 4) zur Verfügung. In den anderen beiden Klassen erhielten die SchülerInnen Feedback von der Lehrkraft (Kontrollgruppe mit 86 SchülerInnen).

Um die Wirksamkeit von Peer Assessment im Vergleich zur Bewertung durch die Lehrkraft zu überprüfen, nahmen alle SchülerInnen an einem Test zu Programmierkenntnissen und -fähigkeiten sowie Fragebögen zum kritischen Denken und ihren Einstellungen teil – einmal vor Beginn (Prätest, zur Kontrolle der Eingangsvoraussetzungen) und zum Abschluss des Kurses (Posttest). Zusätzlich erhielten die SchülerInnen zu beiden Zeitpunkten Programmieraufgaben, um ihre praktischen Programmierfertigkeiten zu testen. Im Ergebnis erzielte die Experimentalgruppe in allen Bereichen des Posttests signifikant bessere Ergebnisse als die Kontrollgruppe.

Referenzen und Links

Podcast

Downloads