Einleitung

Die Selbstbestimmungstheorie (Deci & Ryan, 2000, 2017) der Lernmotivation erklärt, wie Lernende sowohl extrinsische als auch intrinsische Motivation entwickeln können. Extrinsische Motivation bedeutet, dass Lernende Aktivitäten hauptsächlich auf Grundlage externer Erwartungen oder Belohnungen (z. B. Lob) ausüben. Bisherige Forschung konnte zeigen, dass dies zu einer Abhängigkeit von externen Anreizen führen und die langfristige Leistung oder Zufriedenheit verringern kann. Durch Internalisierung kann sich extrinsisch motiviertes Verhalten jedoch in Überzeugungen, Werte und Handlungen umwandeln, die besser mit dem Selbstverständnis einer Person übereinstimmen. Dieser Prozess kann langfristig zu intrinsischer Motivation führen, also dem Wunsch, eine Aktivität aufgrund ihres inhärenten Interesses an einem Lerninhalt, ihrer Freude oder ihres persönlichen Wertempfindens bei einer Lernaktivität auszuüben. Intrinsische Motivation wird mit einer besseren Entwicklung, mehr Wohlbefinden und qualitativ hochwertigem Lernen in Verbindung gebracht. Laut der Selbstbestimmungstheorie finden Internalisierung und die Entwicklung intrinsischer Motivation statt, wenn die grundlegenden psychologischen Bedürfnisse nach Autonomie, Kompetenz und sozialer Verbundenheit unterstützt werden.

Im Unterricht kann die intrinsische Motivation der SchülerInnen aktives Engagement und Lernen fördern. Lehrkräfte können die Internalisierung und die Entwicklung intrinsischer Motivation der Lernenden fördern, indem sie die Bedürfnisse der Lernenden nach Autonomie und Kompetenz unterstützen. Beide Bedürfnisse sind mit positiven schulischen Leistungen verbunden.

Autonomie spiegelt das Gefühl der SchülerInnen wider, Verantwortung und Kontrolle über ihre interessengerechten Lernziele und -erfahrungen zu haben. Die Unterstützung der Autonomie durch Lehrkräfte umfasst daher das Verstehen der Perspektiven der SchülerInnen, die Förderung ihres Wohlbefindens und die Schaffung von Bedingungen, die sie dazu ermutigen, sinnvolle Entscheidungen zu treffen und sich aktiv an ihrem eigenen Lernen zu beteiligen. Zu den gängigen Strategien gehören das Anbieten von Wahlmöglichkeiten, das Geben von Erklärungen, das Anpassen an das Tempo der Lernenden und das einfühlsame Zuhören.

Kompetenz spiegelt die Wahrnehmung der SchülerInnen ihrer Fähigkeiten und ihrer Effektivität im Unterricht, beim Lernen und beim Erreichen akademischer Ziele wider. Lehrkräfte unterstützen das Kompetenzerleben, indem sie strukturierende Maßnahmen, die es den Lernenden ermöglichen, Fähigkeiten aufzubauen und unnötige Schwierigkeiten zu vermeiden. Strukturelle Unterstützung kann entweder leitend (z. B. Anpassung der Aufgaben an die sich entwickelnden Fähigkeiten der Schüler) oder klärend sein (z. B. Bereitstellung expliziter Anweisungen, Erwartungen und umsetzbarer Rückmeldungen). Forschungsergebnisse deuten darauf hin, dass sich die Unterstützung der Autonomie und die strukturierenden Maßnahmen gegenseitig ergänzen können, um die Lernergebnisse zu verbessern und es Lehrkräften zu ermöglichen, bedürfnisorientierten Unterricht zu praktizieren (Jang et al., 2010). Bisher hat jedoch keine Metaanalyse ihre Beziehung untersucht. Patzak und Zhang (2025) schließen diese Lücke mit ihrer Korrelationsbasierten Metaanalyse. Ihre Ergebnisse tragen dazu bei, zu klären, was im Unterricht am wichtigsten ist: Autonomieunterstützung, Struktur oder beides.

Worum geht es in dieser Studie?

In ihrer Metaanalyse untersuchen Patzak und Zhang (2025) zwei Unterstützungsformen der Selbstbestimmungstheorie: Autonomieunterstützung und die strukturierenden Maßnahmen zur Förderung des Kompetenzerlebens. Im Gegensatz zu Metaanalysen, die die Effektivität von Interventionen durch den Vergleich von Versuchs- und Kontrollgruppen in Primärstudien untersuchen, handelt es sich hier um eine korrelationsbasierte Metaanalyse. Hierbei stehen die Korrelationen oder Beziehungen zwischen Variablen im Fokus. Diese Art der Metaanalyse liefert keine Informationen über die Wirksamkeit einer Intervention, sondern bietet vielmehr einen Überblick über die Zusammenhänge zwischen Variablen in verschiedenen Studien und das Ausmaß, in dem sie die Lernergebnisse von SchülerInnen vorhersagen. Konkret untersuchen die AutorInnen

1. wie Autonomieunterstützung und strukturierende Maßnahmen zusammenhängen,
2. ob diese Beziehung je nach Kontext (d. h. Schulstufe, Fach, Kultur und Datenerhebungsmethode) variiert und 
3. wie diese Unterstützungsmaßnahmen einzeln und gemeinsam mit den Lernergebnissen der SchülerInnen zusammenhängen.

Darüber hinaus berichten sie über die Konzeptualisierungen beider Unterstützungsformen. Die Evidenzbasis umfasst 94 Studien aus den Jahren 2002 bis 2024. Die Meta-Analyse stützt sich so auf 110 korrelative Effektgrößen zwischen Autonomieunterstützung und Struktur, 85 korrelative Effektgrößen zwischen Autonomieunterstützung und Lernergebnissen, und 85 korrelative Effektgrößen zwischen Struktur und Lernergebnissen. Diese Studien wurden durch eine gründliche Suche in mehreren Datenbanken und ergänzenden Recherchen ermittelt und umfassten insgesamt Daten von 592.553 SchülerInnen und Lehrkräften.

Autonomieunterstützung und Struktur wurden in den Studien durch Schüler- und Lehrkraftbefragungen sowie durch Beobachtungsinstrumente erfasst. Typische Strategien und Verhaltensweisen lassen sich wie folgt zusammenfassen:

Was findet diese Studie heraus?

Die Metaanalyse ergab einen signifikanten positiven Effekt für den Zusammenhang zwischen Autonomieunterstützung und der strukturierenden Maßnahmen (r = 0.53). Das bedeutet, dass beide Unterstützungsformen in der Praxis häufig gemeinsam auftreten, statt sich auszuschließen. Außerdem wurde festgestellt, dass dieser Zusammenhang über verschiedene Fächer und kulturelle Kontexte hinweg stabil ist. Hinsichtlich der Schularten jedoch variierte die Stärke des Zusammenhangs signifikant: In der Sekundarstufe (r = 0.56) und bei Studierenden (r = 0.57) fiel der Zusammenhang stärker aus als in der Grundschule (r = 0.29). Die Datenerhebungsmethode für Autonomieunterstützung und Struktur hatten ebenfalls einen signifikanten Einfluss auf ihre Beziehung, wobei die Effektstärken bei Schülerberichten (r = 0.59) größer waren als bei Lehrerberichten (r = 0.45) und Beobachtungen (r = 0.36).

Die AutorInnen fanden auch heraus, dass sowohl die Autonomieunterstützung als auch die strukturierenden Maßnahmen einen positiven Zusammenhang zu den Lernergebnissen der SchülerInnen leisteten. Die Unterstützung der Autonomie zeigte den größten Zusammenhang mit dem Autonomieerleben der SchülerInnen (r = 0.29) und ihrem akademischen Engagement (r = 0.21). Die strukturierende Maßnahme war am stärksten mit dem Kompetenzerleben der SchülerInnen (r = 0.25), ihrem Autonomieerleben (r = 0.21) und ihrem akademischen Engagement (r = 0.19) verbunden. Weder Autonomieunterstützung noch strukturierende Maßnahmen zeigten einen signifikanten Zusammenhang mit kontrollierter Motivation (Belohnung/Bestrafung durch äußeres Umfeld). 

Schließlich stellten sie fest, dass die kombinierte Unterstützung einen größeren Zusammenhang mit den Lernergebnissen der SchülerInnen hatte als die einzelnen Unterstützungsmaßnahmen für sich genommen. Die Kombination aus Autonomieunterstützung und Struktur stand am stärksten im Zusammenhang mit dem Autonomiegefühl der SchülerInnen (r = 0.47) und dem Kompetenzgefühl der SchülerInnen (r = 0.36).

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen. In der Tabelle 1 können Sie die Moderatoreffekte auf die Korrelationen zwischen Autonomieunterstützung und Struktur einsehen. Tabelle 2 zeigt den Zusammenhang zwischen Autonomieunterstützung bzw. Struktur und dem Lernoutcome.

Studienbeispiel

Hornstra et al. (2021) untersuchten, wie SchülerInnen der Sekundarstufe das Unterrichtsklima erleben und wie diese Wahrnehmung mit ihrer Motivation zusammenhängt. Insgesamt nahmen 287 SchülerInnen der 7. Jahrgangsstufe teil, die im regulären Unterricht der Fächer Mathematik, Englisch oder Niederländisch befragt wurden. 

Ziel der Studie war es, zu erfassen, ob Autonomieunterstützung und Struktur im Unterricht gemeinsam auftreten und wie stark beide Aspekte mit der Motivation der SchülerInnen verbunden sind. Die SchülerInnen füllten dazu einmalig den „Teacher as Social Context Questionnaire“ (TASC) aus. Damit wurden Autonomieunterstützung (z.B. Wahlmöglichkeiten, nachvollziehbare Begründungen) und Struktur (z.B. klare Erwartungen, verständliche Schrittfolgen) erfasst. Zusätzlich bearbeiteten sie den „Self-Regulation Questionnaire – Academic“ (SRQ-A), mit dem autonome Motivation (z.B. aus eigenem Interesse oder persönlichen Werten) und kontrollierte Motivation (z.B. durch äußere Bestrafungen/Belohnungen veranlasst) im jeweiligen Fach eingeschätzt wurde. 

Die Ergebnisse zeigten einen deutlich positiven Zusammenhang zwischen Autonomieunterstützung und Struktur Lehrkräfte, die viel Autonomieunterstützung bieten, schaffen in der Regel auch klare und hilfreiche Strukturen. Beide Unterstützungsformen standen zudem in engem Zusammenhang mit einer höheren autonomen Motivation der SchülerInnen. SchülerInnen, die sich stärker unterstützt fühlten, schätzten ihre eigenen schulischen Leistungen außerdem höher ein.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die Metaanalyse ergab, dass die Unterstützung der Autonomie und die strukturierenden Maßnahmen insgesamt einen positiven und signifikanten Zusammenhang zeigten (r = 0.53). Von diesen 110 Effektgrößen, waren lediglich sieben negativ, was darauf hindeutet, dass die Beziehung überwiegend verstärkend war: Wenn die Unterstützung der Autonomie im Klassenzimmer zunimmt, nimmt also auch die Strukturierende Maßnahmen tendenziell zu. Die Stärke und Richtung der Gesamteffekt deutet darauf hin, dass Lehrkräfte, die ihren SchülerInnen Unterstützung für ihre grundlegenden psychologischen Bedürfnisse bieten, dies in Bezug auf Autonomie und Kompetenz recht konsequent tun.

Im Vergleich zu vielen anderen Befunden aus der pädagogisch-psychologischen Unterrichtsforschung ist dieser Gesamteffekt bemerkenswert hoch. Andere Meta-Analysen im Bereich der Selbstbestimmungstheorie berichten typischerweise nur über kleinere bis moderate Zusammenhänge zwischen „Need Support“, d.h. Unterstützung zu grundlegenden psychologischen Bedürfnissen und Lernergebnissen. So fanden beispielsweise Mammadov und Schroeder (2023) einen durchschnittlichen Zusammenhang von r = .32 zwischen der wahrgenommenen Autonomieunterstützung durch Lehrkräfte bzw. Eltern und positiven Lern- und Motivationsvariablen.

Die AutorInnen stellten außerdem fest, dass die Unterstützung der Autonomie und die strukturierenden Maßnahmen jeweils unterschiedliche Zusammenhänge zu den Lernergebnissen der SchülerInnen aufwiesen: Die Unterstützung der Autonomie zeigte die stärksten Zusammenhänge mit dem Autonomieerleben und dem akademischen Engagement der Lernenden, während die strukturierenden Maßnahmen die stärksten Zusammenhänge mit dem Kompetenzgefühl, dem Autonomiegefühl und dem akademischen Engagement aufwies. Diese Ergebnisse deuten darauf hin, dass der Einsatz von Strategien zur Unterstützung der Autonomie durch die Lehrkräfte und die strukturierenden Maßnahmen zur Förderung der Kompetenz von SchülerInnen jeweils auf unterschiedliche, aber sich ergänzende Weise zur Motivation dieser beitragen. Darüber hinaus war der Zusammenhang zwischen kombinierter Unterstützung und den Lernergebnissen der SchülerInnen sogar noch größer. Dies deutet darauf hin, dass die Unterstützung von Autonomie und Kompetenz, wenn sie zusammen eingesetzt werden, mit besseren Lernergebnissen verbunden ist als die Unterstützung nur einer dieser Bereiche.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Es wurden sechs verschiedene Lernergebnisse in Zusammenhang mit der Autonomieunterstützung und den Strukturangeboten untersucht. Dabei ging es um Autonomiegefühl, Kompetenzgefühl, autonome Motivation, kontrollierte Motivation, akademisches Engagement und akademische Leistung. Anhand früherer Ergebnisse wurde vorausgesagt, dass alle Ergebnisse (mit Ausnahme der kontrollierten Motivation) eine positive Beziehung zur Unterstützung der Autonomie und zu den strukturierenden Maßnahmen aufweisen würden. Diese Hypothese wurde bestätigt. Für die kontrollierte Motivation dagegen wurde in den Hypothesen ein negativer Zusammenhang bei der Unterstützung der Bedürfnisse vorausgesagt. Da diese Zusammenhänge jedoch nicht signifikant waren, konnte diese Hypothese durch die Studie nicht bestätigt wurde. 

Die Beziehung zur Unterstützung der Bedürfnisse wurde auch anhand verschiedener Kontextvariablen bewertet, um die differenzierte Ausprägung des Zusammenhangs zu bestimmen. Untersucht wurde, ob sich die Beziehung je nach Fach (allgemeinbildende/gemischte Fächer, MINT-Fächer, Sport und Sozialwissenschaften) oder Klassenstufe (Grundschule, Sekundarstufe und postsekundäre Bildung) veränderte. In Bezug auf das Bildungsniveau stellten sie fest, dass der Zusammenhang in der Sekundarstufe und an der Universität stärker ausgeprägt war. Dies deutet darauf hin, dass die Unterstützung von Autonomie und Kompetenz bei älteren Lernenden Hand in Hand gehen kann, während Lehrkräfte jüngerer Lernender möglicherweise nicht so häufig beide Arten der Unterstützung kombiniert einsetzen. Zudem wurde untersucht, ob sich der Zusammenhang je nach Datenerhebungsmethode (Schülerbericht, Lehrerbericht und Beobachtung) verändert. Dabei zeigte sich, dass der Zusammenhang bei Schülerberichten deutlich stärker ausgeprägt war. Dies deutet darauf hin, dass die SchülerInnen die Beziehung zwischen Autonomieunterstützung und Struktur als stärker empfanden als Lehrkräfte und externe Beobachter. 

Ein Bereich, der in dieser Studie nicht untersucht wurde, ist die Unterstützung des dritten grundlegenden psychologischen Bedürfnisses gemäß der Selbstbestimmungstheorie, nämlich das Bedürfnis nach sozialer Eingebundenheit. Auch wenn nachgewiesen wurde, dass diese Art der Unterstützung Lernende fördert (King, 2015), war dies nicht Teil der Metaanalyse, sodass keine Aussage über diese Unterstützung möglich ist.

Wie verallgemeinerbar sind die Befunde?

Insgesamt zeigten in dieser Metaanalyse die Unterstützung der Autonomie und die strukturierenden Maßnahmen einen signifikanten positive Zusammenhang. Zusätzlich konnte durch folgende Ergebnisse eine erhebliche Verallgemeinerbarkeit belegt werden. Primärstudien innerhalb der Metaanalyse (103 / 110) berichteten überwiegend über eine positive, verstärkende Beziehung.

Darüber hinaus zeigten die Unterstützung der Autonomie und die strukturierenden Maßnahmen sowohl eindeutige als auch noch größere kollektive Zusammenhänge mit allen positiven motivationalen Schülerergebnissen, dass beide Arten der Unterstützung, insbesondere in Kombination, wahrscheinlich zu positiven motivationalen Wahrnehmungen und Verhaltensweisen der SchülerInnen beitragen. 

Die Studie weist zwar auf die Verallgemeinerbarkeit des Zusammenhangs zwischen den Unterstützungsstrategien hin, die AutorInnen stellten jedoch auch eine erhebliche Heterogenität zwischen den Studien fest. Daher führten sie eine Moderatoranalyse durch, um zu untersuchen, ob sich der Zusammenhang je nach Kontextvariablen ändert. Sie hielten es für möglich, dass das Engagement der SchülerInnen für das Fach ihre Unterstützungsbedürfnisse widerspiegelt. Darüber hinaus stellten sie die Hypothese auf, dass kollektivistische vs. individualistische kulturellen Kontexte zu Unterschieden in der Umsetzung von Unterstützungsstrategien durch Lehrkräfte führen könnten (so könnte beispielsweise die Unterstützung der Autonomie mit kollektivistischen kulturellen Normen in Konflikt stehen). Sie stellten jedoch fest, dass der Zusammenhang für das Fachgebiet^[1] und den kulturellen Kontext relativ stabil ist, was auf seine Verallgemeinerbarkeit für diese Variablen hindeutet. Wie oben erwähnt, stellten die AutorInnen auch fest, dass die Verallgemeinerbarkeit der Beziehung für GrundschülerInnen sowie für Messungen aus Selbstberichten von Lehrkräften und externen Beobachtungen begrenzt ist.

Was die Merkmale der Unterstützungsstrategien (z. B. Dauer, verschiedene Strategietypen) betrifft, so wurden diese Variablen in der vorliegenden Studie nicht untersucht, sodass keine Aussage über die Verallgemeinerbarkeit der Beziehung getroffen werden kann.

^[1] Die AutorInnen weisen darauf hin, dass die relative Stabilität dieses Zusammenhangs vorsichtig zu interpretieren ist, da in vielen Primärstudien das konkrete Unterrichtsfach nicht berichtet wurde und daher in den Analysen fehlt

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse leistet einen wichtigen Beitrag zur Selbstbestimmungstheorie. Sie ist die erste, die Autonomieunterstützung und Strukturierung (Kompetenzunterstützung) im Unterricht gemeinsam untersucht, um den Zusammenhang zueinander, zu Lernergebnissen und verschiedenen Bildungskontexten zu verstehen.

Die Ergebnisse klären bestehende Kontroversen: Autonomieunterstützung und Strukturierung sind unabhängige Strategien, die sich gegenseitig verstärken und einzeln wie gemeinsam zur Motivation und zum Lernerfolg der SchülerInnen beitragen. Dies bestätigt frühere Metaanalysen (z.B. Mammadov & Schroeder, 2023).

Zusätzlich bietet die Studie eine systematische Begriffsklärung beider Konzepte, die auf dem Rahmen von Reeve und Cheon (2021) aufbaut (siehe Abbildung 1). Der präsentierte Überblick über die zugehörigen Strategien schafft ein einheitlicheres Verständnis im Feld und fördert die Verallgemeinerbarkeit zukünftiger Forschung.

Wie methodisch verlässlich sind die Befunde?

Die Darstellung und Begründung des methodischen Vorgehens entspricht in hohem Maße den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards).

Die statistische Berichterstattung der Studie war gründlich, beispielsweise erläuterten die AutorInnen ihr ausgewähltes Modell und verwendeten mehrere Tests für die Veröffentlichungsvoreingenommenheit. Es gab jedoch auch Bereiche, in denen Verbesserungen möglich waren. Die AutorInnen hätten detailliertere Angaben zu den Einschlusskriterien, Moderatorstufen und Datenkodierung sowie zur Reliabilität machen können.

Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metanalyse zeigt, dass Lehrkräfte am meisten erreichen, wenn sie zwei Ansätze kombinieren: Autonomie unterstützen (z.B. Lernende mitentscheiden lassen) und Struktur geben (z.B. klare Orientierung bieten). Diese beiden Strategien ergänzen sich und wirken zusammen am stärksten auf die Motivation der SchülerInnen. Die Lernenden fühlen sich dann kompetenter, engagieren sich mehr im Unterricht und lernen aus eigenem Antrieb. Das gilt über alle Fächer und Kulturen hinweg und zeigt sich besonders deutlich bei älteren SchülerInnen.

Konkret bedeutet Autonomieunterstützung, echte Wahlmöglichkeiten anzubieten, zu erklären warum etwas wichtig ist, und die Perspektiven der Lernenden ernst zu nehmen. Struktur geben heißt, klare Anleitungen und Erwartungen zu kommunizieren und regelmäßig zu ermutigen.

Wichtig ist jedoch: Die Studie zeigt Zusammenhänge, aber keine direkten Ursache-Wirkung-Beziehungen. Der positive Einfluss auf die Motivation ist klar erkennbar, der direkte Einfluss auf die Noten weniger. Vermutlich wirkt sich die bessere Motivation indirekt über mehr Engagement auf die Leistung aus. Dies muss jedoch noch genauer erforscht werden. In jedem Fall lohnen sich beide Strategien, am besten setzt man sie zusammen ein.

Referenzen und Links

Downloads

Einleitung

Selbstreguliertes Lernen (SRL) ist ein Kernbereich vieler aktueller Bildungsstandards und Schulcurricula. Es spielt eine zentrale Rolle für den Lernerfolg, da es den Lernenden ermöglicht, ihren Lernprozess aktiv zu steuern und anzupassen. Ein wichtiger Bestandteil dieses Prozesses ist das Monitoring, das während der Lernhandlung stattfindet und sowohl die kognitive als auch die metakognitive Überwachung des Lernens umfasst. Der positive Effekt von Selbst-Monitoring auf den Lernerfolg konnte bereits in einigen Metaanalysen festgestellt werden (Guzman et al., 2017; Yan et al., 2021).

In den letzten Jahren wurden zahlreiche Interventionen entwickelt, um das Monitoring durch den Einsatz von Tools wie Lerntagebücher, Rubriken (z. B. Bewertungsskalen) oder Portfolios zu fördern. Diese Tools sollen die Selbstregulation und die Leistung der Lernenden verbessern. Trotz ihres weit verbreiteten Einsatzes gibt es bisher jedoch wenig eindeutige empirische Belege dafür, welche Tools am effektivsten sind und unter welchen Bedingungen sie den größten Nutzen bringen. Die Metaanalyse geht genau diesen Fragen nach und untersucht, wie verschiedene Tools das Monitoring und die damit verbundenen Lernprozesse beeinflussen.

Worum geht es in dieser Studie?

Die Metaanalyse von Dignath et al. (2023) untersuchte die Wirksamkeit von Tools, die das Monitoring von Lerninhalten und -prozessen unterstützen. Ziel der Studie war es zu klären, wie sich diese Tools auf den Lernerfolg, die Selbstregulation und die Motivation der Lernenden auswirken und welche Faktoren (z.B. Feedback, Art des Monitoring) die Wirksamkeit dieser Interventionen moderieren. Es wurden nur Studien berücksichtigt, die ein Prä-Post-Design mit einer Kontrollgruppe verwendeten, so dass die Hauptergebnisse der Analyse auf dem Vergleich der Lernergebnisse zwischen Lernenden, die mit Monitoring-Tools arbeiteten, und Lernenden basieren, die keine Intervention erhielten.

Die Analyse umfasste 32 Interventionsstudien mit 3.492 Teilnehmenden zwischen 9 und 26 Jahren, die den Einsatz von Monitoring-Tools in verschiedenen Bildungsbereichen untersuchten. Zudem wurden Moderatoranalysen durchgeführt, um zu ermitteln, welche Faktoren wie Feedback und Art des Monitorings die Effektstärken beeinflussten. Hierfür wurden fünf zentrale Merkmale der Implementierung von Monitoring-Tools identifiziert, die deren Wirksamkeit beeinflussen können: 

1. Art des Monitorings. Es wurden drei Arten von Monitoring unterschieden:
   • Kognitives Monitoring bezieht sich auf die Überwachung der Lerninhalte. Der Schwerpunkt liegt dabei auf der Überprüfung, ob die Lernenden den Lerninhalt verstanden haben und ob sie die richtigen Lösungen oder Antworten gefunden haben (z.B. Quiz, Test). 
   • Metakognitives Monitoring zielt darauf ab, die Lernenden zur Reflexion über ihre Lernprozesse und -strategien anzuregen. Die Lernenden sollen nicht nur wissen, was sie lernen, sondern auch wie sie lernen und ob ihre Lernmethoden effektiv sind (z.B. Lerntagebuch).
2. Indirekte Stimulation im Monitoring erfolgt, indem die Lernenden ermutigt werden, Artefakte ihrer Arbeit zu sammeln und für die Reflexion zu nutzen (z.B. in Portfolios). Anstatt den Lernprozess direkt zu überwachen, wird den Lernenden die Möglichkeit gegeben, Beweise für ihre Arbeit zu sammeln, die später für die Selbstbewertung und Reflexion verwendet werden können.
3. Fokus des Tools. Es wurde untersucht, ob der Schwerpunkt des Tools auf dem (1) Lerninhalt (kognitiv), dem (2) Lernprozesse (metakognitiv) oder (3) beidem liegt. Der Lerninhalt bezieht sich auf die Themen oder Konzepte, die gelernt werden (z.B. durch Tests), während das Lernverhalten die Art und Weise betrifft, wie die Lernenden ihre Aufgaben überwachen (z.B. Lerntagebuch). 
4. Feedback durch Lehrkräfte. Hier wurde berücksichtigt, ob die Lernenden von der Lehrkraft ein Feedback zu ihren Monitoring-Ergebnissen erhalten haben.
5. Dauer der Intervention. Die Länge der Zeit, in der die Monitoring-Tools eingesetzt wurden, wobei darauf geachtet wurde, dass das Tool mindestens dreimal eingesetzt wurde.
6. Alter der Teilnehmenden. Die Altersspanne der Lernenden befand sich vom Grundschul- bis zum Erwachsenenalter.

Diese Merkmale werden als wesentliche Moderatoren für den Erfolg von Monitoring-Tools angesehen und liefern wichtige Hinweise für deren zielgerichteten Einsatz. 

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in dieser Metaanalyse von Dignath et al. (2023) ein Gesamteffekt von d = 0.27 (Konfidenzintervall d = 0.12 bis d = 0.42). Die Ergebnisse zeigten zudem, dass Monitoring-Tools den größten Einfluss auf den Lernerfolg (d = 0.42) hatten. Dies bestätigte auch den „Reaktivitätseffekt“ nach Zimmerman (2002), welcher aussagt, dass Lernende, die ihr eigenes Lernen überwachen und reflektieren, in der Regel bessere Lernergebnisse erzielen. Der Einfluss auf die Selbstregulation (d = 0.19) und die Motivation (d = 0.17) war dagegen geringer.  

Darüber hinaus weisen die Ergebnisse darauf hin, dass der Fokus des Tools einen entscheidenden Einfluss auf die Wirksamkeit hat: Tools, die sowohl den Lerninhalt als auch das Lernverhalten überwachten, führten zu größeren positiven Effekten. Metakognitive Monitoring-Tools, die den Lernenden nicht nur dabei helfen, ihr Lernen zu überwachen, sondern sie auch dazu anregen, über ihre Lernstrategien nachzudenken, erzielten die besten Ergebnisse. Diese metakognitive Reflexion ermöglichte es den Lernenden, ihre Lernprozesse anzupassen und Fehler frühzeitig zu erkennen. Das führte zu einer nachhaltigen Verbesserung des Lernerfolgs.

Weitere Faktoren, die die Wirksamkeit beeinflussten, waren die Dauer der Intervention und das Feedback, das die Lernenden von ihren Lehrkräften erhielten. Es wurde festgestellt, dass kürzere Interventionen signifikant größere positive Auswirkungen auf den Lernerfolg hatten. Das Feedback der Lehrkräfte, insbesondere wenn es regelmäßig und gezielt auf die Ergebnisse des Monitorings einging, erreichte keine statistische Signifikanz, zeigte aber einen positiven Trend. Es half den Lernenden, ihre Lernstrategien zu verbessern und den Lernprozess anzupassen. Schließlich ergab die Analyse keine signifikanten Alterseffekte, was darauf hindeutet, dass die Wirksamkeit der Tools über verschiedene Altersgruppen hinweg relativ konstant ist. Die Ergebnisse verdeutlichen die Heterogenität der Befunde. Dies unterstreicht die Notwendigkeit einer genaueren Betrachtung der Moderatorvariablen, die den Erfolg des Einsatzes von Monitoring-Tools beeinflussen. 

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der Klassifizierung von Cohen (1988) kam die Metaanalyse zu einem signifikant positiven Gesamteffekt von Monitoring-Tools im Unterricht (d = 0.27). Diese Effektstärke bedeutet, dass etwa 61% der SchülerInnen, die Monitoring-Tools im Unterricht eingesetzt haben, höhere Lernleistungen zeigten als der Durchschnitt der SchülerInnen in den Vergleichsgruppen. Am stärksten zeigte sich der Effekt beim Lernerfolg (d = 0.42). Im Vergleich dazu fielen die Effekte auf das selbstregulierte Lernen (d = 0.19) und die Motivation (d = 0.17) geringer aus.

Die in der Metaanalyse gefundenen Effektstärken zeigen Ähnlichkeiten mit den Effektstärken in früheren Metaanalysen (Guzman et al., 2017; Yan et al., 2021). Dies stützt die Belastbarkeit der Befunde.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse differenziert in drei verschiedene Lerndimensionen: Lernerfolg, Selbstreguliertes Lernen und Motivation. Die Effekte wurden zudem in Abhängigkeit folgender Moderatoren berichtet: (a) Art des Monitorings, (b) Fokus des Tools, (c) Feedback durch die Lehrkraft, (d) Dauer der Intervention und (e) Alter der Teilnehmenden. Der Effekt der Moderatoren wurde dabei sowohl getrennt für die drei Lernleistungen – Lernerfolg, selbstreguliertes Lernen und Motivation – als auch auf die gesamte Lernleistung dargestellt.

Neben dem Alter hätte die Berücksichtigung der Klassenstufen eine zusätzliche Differenzierung ermöglichen können. Auch eine Differenzierung der Fachbereiche wurde in der Metaanalyse nicht vorgenommen. Demnach kann nicht dargestellt werden, ob der Einsatz von Monitoring-Tools beispielsweise im Mathematikunterricht zu unterschiedlichen Lernleistungen führt als im Sprachenunterricht.

Wie verallgemeinerbar sind die Befunde?

Der insgesamt positive Effekt der Metaanalyse zeigt, dass der Einsatz von Monitoring-Tools das Lernen im Allgemeinen fördert. Die AutorInnen der Metaanalyse gelangten darüber hinaus zu dem Ergebnis, dass es eine erhebliche Heterogenität zwischen den Studien aufgrund unterschiedlicher Studienmerkmalen besteht. Um diese Unterschiede genauer zu erfassen und die Gründe für die beobachtete Heterogenität zu entschlüsseln, wurden Moderator-Analysen durchgeführt.

Es wurde festgestellt, dass die Effekte in Abhängigkeit von der Art des Monitorings, dem Fokus des Tools auf Lerninhalte und Lernverhalten, sowie der Dauer der Intervention variierten. Dem gegenüber zeigten sich die gefundenen Effekte einheitlich in Bezug auf das Alter der Teilnehmenden. Auch für externes Feedback durch die Lehrkraft fanden sich keine signifikanten Unterschiede.

Es ist jedoch zu beachten, dass andere Aspekte des Lernkontexts (z. B. Klassenstufe, Fachbereiche) sowie unterschiedliche methodische Merkmale (z. B. Stichprobengröße, Studiendesign) nicht als Moderatoren berücksichtigt wurden. In Anbetracht dessen kann keine Aussage über die Generalisierbarkeit dieser Aspekte getroffen werden.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse liefert die erste quantitative Zusammenfassung der Wirksamkeitsforschung über den Einsatz von Monitoring-Tools im Unterricht auf die Lernergebnisse. Die AutorInnen leisten somit einen wertvollen Beitrag zum Verständnis von Tools zur Förderung des Monitorings in der Schul- und Hochschulbildung. Dabei stellen sie dar, wie diese Tools am effektivsten eingesetzt werden können, um den Lernerfolg, das selbstregulierte Lernen und die Motivation zu fördern.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht in hohem Maße den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards).

Die Gesamtpunktzahl der Qualitätsbewertung der Metaanalyse ist sehr hoch einzuordnen. Dies lässt den Schluss zu, dass die Suche nach relevanten Studien, die Selektion der Studien, die Erfassung relevanter Elemente und Variablen sowie das Kodierungsschema transparent dargestellt wurden. Die statistischen Analysen wurden ausführlich beschrieben und durchgeführt. Es ist jedoch anzumerken, dass die Suche nach relevanten Studien ausschließlich auf Datenbanken beschränkt wurde. Folglich könnten mögliche relevante Studien nicht berücksichtigt worden sein. Zusätzliche Suchstrategien, wie die Recherche in den Inhaltsverzeichnissen relevanter Fachzeitschriften, könnten die Ergebnisse erweitern und präzisieren.

Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metaanalyse von Dignath et al. (2023) zeigt, dass Monitoring-Tools, die sowohl den Lerninhalt als auch das Lernverhalten überwachen, signifikant positive Effekte auf den Lernerfolg haben. Interventionen, die metakognitive Reflexion anregen, sind besonders effektiv, da sie den Lernenden helfen, ihre Lernstrategien aktiv zu steuern und anzupassen (siehe Beispielstudie). Diese Erkenntnisse liefern wertvolle Hinweise für die Praxis, insbesondere im Kontext des MINT-Unterrichts, in dem selbstreguliertes Lernen eine Schlüsselkompetenz für den Lernerfolg darstellen kann.

Zu den praktischen Implikationen der Metaanalyse gehört die Empfehlung, metakognitive Monitoring-Tools gezielt im Unterricht einzusetzen, insbesondere solche, die es den Lernenden ermöglichen, ihr Lernen aktiv zu reflektieren und zu steuern. Lehrkräfte sollten den Lernenden regelmäßig Feedback zu ihren Monitoring-Ergebnissen geben und ihnen die Möglichkeit bieten, ihre Lernprozesse zu überprüfen und zu verbessern. Darüber hinaus zeigt die Metaanalyse, dass kürzere Interventionen in der Regel effektiver sind, was darauf hindeutet, dass gezielte, aber kurze Phasen des Monitorings mit klarer und regelmäßiger Rückmeldung besonders geeignet sind, den Lernerfolg zu fördern. Außerdem wurde festgestellt, dass die Wirksamkeit der Monitoring-Tools über verschiedene Altersgruppen hinweg relativ konstant bleibt. Dies unterstreicht ihre Vielseitigkeit für den Einsatz in unterschiedlichen Jahrgangsstufen und Bildungsbereichen.

Studienbeispiel

Die Studie von Schmitz und Perels (2011) zielte auf die Verbesserung des Mathematiklernens und der Selbstregulation im Allgemeinen. Um das tägliche selbstregulierte Verhalten während der Mathematikhausaufgaben zu unterstützen, verwendeten die AutorInnen standardisierte Lerntagebücher als Monitoring-Tool (Fokus des Tools auf Lernprozesse).

Die Studie wurde mit 195 SchülerInnen der 8. Klasse aus drei verschiedenen Gymnasien durchgeführt. In der Experimentalgruppe nahmen 95 SchülerInnen über einen Zeitraum von 49 Tagen (insgesamt 7 Wochen) an der Tagebuchintervention teil, während die Kontrollgruppe lediglich an den Prä- und Posttests teilnahm. Prä- und Posttest bestanden jeweils aus einem Fragebogen zur Selbstregulation und einem Mathematiktest. Die SchülerInnen der Experimentalgruppe füllten täglich vor und nach den Hausaufgaben ihr Lerntagebuch aus. Dieses bestand aus einem allgemeinen Teil zur Selbstregulation, der täglich ausgefüllt wurde (z.B. „Warum lernst du heute nicht?“), und einem mathematikbezogenen Teil, der nur an Tagen mit Mathematikhausaufgaben ausgefüllt wurde (z.B. „Wie gehst du heute exakt vor?“).

Die Ergebnisse der Studie zeigten, dass sich die Selbstregulation und die Mathematikleistung der SchülerInnen in der Experimentalgruppe im Vergleich zur Kontrollgruppe signifikant verbesserten. Dies deutet darauf hin, dass der Einsatz von Lerntagebüchern während der Mathematikhausaufgaben einen positiven Einfluss auf das Lernen und die Selbstregulation haben kann.

Referenzen und Links

Downloads

Einleitung

Im MINT-Unterricht, vor allem in den Naturwissenschaften, lernen SchülerInnen häufig mit Texten, zum Beispiel in Schulbüchern und auf Arbeitsblättern. Nach van den Broek (2010) sind diese Texte fachsprachlich oft anspruchsvoll und für SchülerInnen nur schwer zu verstehen, auch weil sie im Alltag nur selten mit dieser Art von Fachsprache in Berührung kommen. Für MINT-Lehrkräfte kann es herausfordernd sein, diese Schwierigkeiten zu erkennen und die Texte so anzupassen, dass SchülerInnen optimal damit lernen können.

In der Forschung wurden bereits verschiedene Ansätze untersucht, wie MINT-Texte sprachlich so angepasst werden können, dass sie die Wissensvermittlung erleichtern. Diese Ansätze reichen von Veränderungen auf der lokalen Wortebene – beispielsweise, indem komplizierte Fachbegriffe oder Fremdwörter vermieden werden – bis hin zu Veränderungen auf der globalen Ebene von Sätzen oder des gesamten Textes. Dazu gehören zum Beispiel Zwischenüberschriften und Zusammenfassungen. Allerdings unterscheiden sich die Ergebnisse in diesem Forschungsfeld teilweise sehr stark je nach Eigenschaften der Lernenden und Art der Texte. Beispielsweise wird in manchen Studien gezeigt, dass leistungsschwächere SchülerInnen stärker von sprachlichen Vereinfachungen profitieren. Es ist für Lehrkräfte daher nur schwer zu schlussfolgern, welche sprachliche Veränderungen von Lerntexten für ihre eigene Klasse wirkungsvoll sein könnten. Die hier zugrundeliegende Metaanalyse untersucht deshalb, welche Veränderungen und Merkmale des Lernkontexts den Lerneffekt über alle Studien hinweg positiv beeinflussen.

Worum geht es in dieser Studie?

Die Metaanalyse von Strohmaier et al. (2023) fasst Studien zusammen, in denen MINT-Texte sprachlich verändert wurden, um zu untersuchen, wie diese Veränderungen den Lernerfolg beeinflussen. Die Autoren berücksichtigten nur experimentelle Studien, bei denen eine Kontrollgruppe mit einem Originaltext und mindestens eine Experimentalgruppe mit einem veränderten Text lernte. Anschließend absolvierten beide Gruppen den gleichen Test, um den Lernerfolg zu erfassen.

Um herauszufinden, welche sprachlichen Veränderungen lernwirksam sind, wurden drei Kategorien von sprachlichen Veränderungen unterschieden und in lokale und globale Elemente unterteilt: 

(1) Verringerung der sprachlichen Komplexität:

• Lokal: Reduktion der Komplexität auf Wortebene (z.B. Verwenden einfacherer Wörter, Vermeiden von Fachbegriffen)
• Global: Reduktion der strukturellen Komplexität (z.B. durch kürzere, weniger komplexe Sätze; 

(2) Erhöhung der Kohäsion:

• Lokal: klarere Verbindungen zwischen Wörtern und Sätzen (z.B. überlappende Substantive statt Pronomen und Synonymen, zusätzliche verbindende Phrasen)
• Global: Verbesserung der Textkontinuität (z.B. Veränderte Reihenfolge von Inhalten)

(3) Erhöhung von sprachlicher Klarheit und Tiefe:

• Lokal: Hinzufügen von Wörtern und verbindenden Ausführungen (z.B. durch Wiederholen von Begriffen und Verknüpfen mit Vorwissen)
• Global: Hinzufügen von inhaltlichen Ausarbeitungen (z.B. Überschriften, Zusammenfassungen, Personalisierung). 

Außerdem untersuchten die Autoren, für welche Lernenden sprachliche Veränderungen besonders wirkungsvoll waren. Dafür wurden unter anderem die Moderatoren Vorwissen, Unterrichtsfach, Textlänge, Alter der TeilnehmerInnen und Anforderungsniveau des Tests untersucht.Die Datengrundlage dieser Metaanalyse umfasst 45 Einzelstudien mit insgesamt 6.477 Lernenden von der Grundschule bis zur Hochschule. Die meisten Studien verwendeten Texte aus dem Physik- und Biologieunterricht.

Was findet diese Studie heraus?

Die Metaanalyse ermittelte einen insgesamt signifikanten positiven Effekt von sprachlichen Veränderungen von g = 0.15. Bei der Analyse der drei Subkategorien zeigte nur noch die Kategorie Erhöhung von sprachlicher Klarheit und Tiefe einen signifikanten positiven Einfluss auf das Lernen mit MINT-Texten. Auf lokaler Ebene ist es daher besonders effektiv (g = 0.20), Inhalte zu wiederholen und zu erklären (z. B. Schlussfolgerungen zu erläutern, Beziehungen und Handlungen zu verdeutlichen). Auf der globalen Ebene des gesamten Textes führten strukturierte Überschriften und Zusammenfassungen (z. B. Vorschauen, Advance Organizer) zu einem verbesserten Lernergebnis (g = 0.15). Darüber hinaus war die stärkere Personalisierung des Textes durch die Verwendung von Personal- und Possessivpronomen (z. B. „Du siehst“ statt „man sieht“; „dein Garten“ statt „ein Garten“) besonders wirksam (g = 0.52). 

Die weiterführenden Analysen zeigen, dass sprachliche Vereinfachungen tatsächlich vor allem für Lernende mit geringerem fachlichem Vorwissen hilfreich sind (g = 0.35). Dieser Moderationseffekt war so deutlich, dass dagegen für Lernende mit hohem fachlichem Vorwissen durchschnittlich überhaupt kein Effekt mehr zu erkennen war. Längere Texte erzielen dabei größere Effekte (g = 0.17). Das Unterrichtsfach, das Alter der Lernenden und das Anforderungsniveau der Tests beeinflussten die Wirksamkeit sprachlicher Veränderungen nicht; die Ergebnisse bleiben über diese Faktoren hinweg stabil.

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

In dieser Metaanalyse wird die mittlere Effektstärke von g = 0.15 gemäß gängiger Klassifikationen (z. B. Cohen, 1988) als kleiner Effekt angesehen. So würde ein/e SchülerIn, die einen sprachlich vereinfachten MINT-Text erhält, mit einer Wahrscheinlichkeit von 54% bessere Leistungen erzielen als mit dem ursprünglichen Text. Deutlich wird aber auch, dass sich die Effektstärken zwischen den Studien und verschiedenen Personengruppen teilweise sehr stark unterscheiden. Insbesondere war der mittlere Effekt für Personen mit geringem fachlichem Vorwissen mit g = 0.35 substanziell größer, hier lag die Wahrscheinlichkeit, dass ein veränderter Text zu mehr Lernerfolg führt, bei etwa 60%. 

Andere Metaanalysen, die im Kontext von Lernen aus Texten andere, nicht-sprachliche Textmerkmale untersuchen, berichten teilweise deutlich größere Effekte, wie beispielsweise die Bereitstellung von Feedback (g = 0.35; Swart et al., 2019) oder die Einbeziehung von Grafiken (g = 0.39; Guo et al., 2020). Diese Metaanalyse trägt mit dem Fokus auf rein sprachliche Vereinfachungen zum Forschungsfeld bei.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse beinhaltet eine umfangreiche Untersuchung von Moderatorvariablen mittels Metaregression und unterscheidet Effekte nach acht verschiedenen Typen von sprachlichen Veränderungen. Darüber hinaus differenziert sie Effekte auf den Lernerfolg für verschiedene Kontexte (z.B. Fachgebiet, Textlänge, Studienort), Studienteilnehmer (z. B. Altersgruppe, Vorwissen) und Studienmethodik (z. B. Erfolgsmessung). Die Ergebnisse zeigen, wie stark die einzelnen Merkmale den Lernerfolg beeinflussen.Die Metaanalyse beschränkt sich auf Texte aus MINT-Fächern: Physik, Biologie, Informatik und andere. Die Autoren berichten Ergebnisse differenziert über verschiedene Altersgruppen hinweg. In den Leistungstexts wurden verschiedene Anforderungsniveaus – Reproduktion, Anwendung, und Transfer – unterschieden. Mögliche motivationale Effekte wurden nicht berücksichtigt.

Wie verallgemeinerbar sind die Befunde?

Obwohl die Auswirkungen des Lernens aus MINT-Texten mit sprachlichen Veränderungen gering sind, lassen sich die Ergebnisse für verschiedene Lernkontexte verallgemeinern. Die Moderatoranalyse ergab keine wesentlichen Unterschiede, was verschiedene Altersgruppen, MINT-Fächer, Lernbewertungen oder Standorte (Labor vs. Feld) betrifft. Im Hinblick auf die Art der Textmodifikation, Textlänge, Vorwissen und ihre Kombination lassen sich die Ergebnisse jedoch nicht verallgemeinern.

Insgesamt deuten die Ergebnisse darauf hin, dass die Wirksamkeit sprachlicher Veränderungen in MINT-Texten von spezifischen Bedingungen abhängt. Insbesondere für Lernende mit geringem Vorwissen sind sprachliche Veränderungen im Allgemeinen hilfreich, für viele Lernende spielen aber sprachliche Veränderungen keine Rolle. 

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist aufgrund ihres klärenden und methodischen Beitrags für das Feld bedeutsam. In der Forschung wurden bereits verschiedene sprachliche Veränderungen in MINT-Texten untersucht, die Ergebnisse waren jedoch uneinheitlich oder widersprüchlich. Die Interpretation und Verallgemeinerbarkeit dieser Ergebnisse sind in den Einzelstudien besonders problematisch, da eine große Anzahl unterschiedlicher Ansätze unter der einzelnen Kategorie sprachliche Veränderungen verstanden werden. Darüber hinaus stammten diese Studien aus vielfältigen Forschungsbereichen, etwa aus den Fachdidaktiken, der Linguistik oder der Lernpsychologie, die teils sehr unterschiedliche Schwerpunkte setzen. Die Metaanalyse erzielt hier eine gewisse Vergleichbarkeit und hilft dabei zu verstehen, welche spezifische sprachliche Veränderungen über alle Studien hinweg für etwaige Lerneffekte verantwortlich sind.

Die Methode der Meta-Regression, die von Strohmaier et al. (2023) verwendet wird, erlaubt es, mehrere Studien mit unterschiedlichen sprachlichen Veränderungen in einer gemeinsamen Analyse zu untersuchen. Das statistische Verfahren ermittelt dabei isolierte Effekte aller sprachlichen Veränderungen. Dadurch können die Autoren bestehende Forschung so zusammenzufassen, dass sich allgemeine Aussagen ableiten lassen, die über verschiedene Forschungsdisziplinen hinweg einheitlich interpretiert werden können. 

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards).

Das systematische Vorgehen der Metaanalyse bei der Suche nach relevanten Studien, die Auswahl, Kodierung und statistische Analyse werden weitgehend transparent berichtet. Besonders hervorzuheben ist die Vielzahl untersuchter relevanter Moderatoren und die Verwendung eines differenzierten Metaregressionsmodells, welches die Über- oder Unterschätzung der Effekte verhindert. 

Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet ^[1]. 

^[1]Die methodische Beurteilung der Metaanalyse wurde ausschließlich von Autoren des CHU durchgeführt, um die Objektivität der Bewertung zu gewährleisten.

Fazit für die Unterrichtspraxis

Die Arbeit mit Texten gehört in den MINT-Fächern zum Unterrichtsalltag. Die Frage, ob durch eine sprachliche Veränderung solcher Texte ein höherer Lernerfolg erreicht werden kann, ist daher für die Unterrichtspraxis hochrelevant. Aus der Metaanalyse lassen sich folgende Schlussfolgerungen für die Praxis ableiten:

Insgesamt zeigt die Metaanalyse, dass sprachliche Veränderungen einen eher geringen Gesamteffekt haben. Somit müssen bereits vorhandene Texte aus Schulbüchern, die bereits ein angemessenes Sprachniveau haben, in der Regel nicht aufwendig überarbeitet werden. 

Wenn sprachliche Veränderungen aber Wirkung zeigen, hängt das oft mit dem Lerninhalt zusammen. Dieser sollte von Lehrkräften daher immer beachtet werden. Zusätzliche Erklärungen zu schwierigen Konzepten oder eine klare Gliederung durch Überschriften können beispielsweise das Verständnis der SchülerInnen fördern. Auch eine Kombination solcher Veränderung mit weiteren Methoden, wie zum Beispiel die SchülerInnen selbst eine Gliederung erstellen zu lassen, kann wirksam sein. Die Texte lediglich oberflächlich zu bearbeiten, zum Beispiel durch kürzere Wörter oder Sätze, erscheint jedoch den Ergebnissen der Metaanalyse zufolge als weniger sinnvoll. Zuletzt zeigt die Metaanalyse klar auf, dass gerade SchülerInnen mit geringerem fachlichem Vorwissen von sprachlichen Veränderungen profitieren können. Das ist eine wichtige Erkenntnis, denn sie zeigt, dass anspruchsvolle Texte die Leistungsunterschiede in der Klasse vergrößern können. Wenn Lehrkräfte sich jedoch gezielt auf die Erhöhung sprachliche Klarheit und Tiefe in ihren Texten konzentrieren, profitieren davon alle SchülerInnen – besonders in leistungsheterogenen Gruppen. 

Studienbeispiel

In der Studie von Boscolo und Mason (2003) wurde die Wirksamkeit eines Textes über den Treibhauseffekt mit unterschiedlichen sprachlichen Veränderungen mit einem Originaltext verglichen. Dafür wurde der Lernerfolg von 167 SchülerInnen der 10. und 11. Klasse einer italienischen Schule untersucht. In einer Version erhöhte die lokale Kohäsion des Texts durch Wortwiederholungen und explizite Verknüpfungen einzelner Sätze, eine andere Version schärfte zusätzlich die globale Klarheit und Tiefe durch die Verwendung von Überschriften und Kurzzusammenfassungen. Die Lernenden wurden nach fachlichen Vorwissen und Interesse eingeteilt und lernten mit jeweils einem der Texte. Der Lernerfolg wurde mit Aufgaben zu Reproduktion, Anwendung und Transfer getestet.

Die Ergebnisse zeigen, dass die Gruppe mit erhöhter globaler Klarheit und Tiefe im Text in einer Mehrzahl der Aufgaben den höchsten Lernerfolg erreichte, während lokale Kohäsion nur vereinzelt zu höherem Lernerfolg führte. Lernende mit weniger fachlichem Vorwissen profitierten tendenziell mehr von sprachlichen Veränderungen, aber der Effekt war in dieser Studie statistisch nicht signifikant. 

Referenzen und Links

Downloads

^[1] Nach Angaben der Zeitschrift wird ‚sustainable education‘ als das Finden nachhaltiger Lösungen für Umwelt-, soziale und wirtschaftliche Probleme durch Bildung definiert.

Einleitung

Die Integration von auf künstlicher Intelligenz basierenden Chatbots in den Unterricht gewinnt zunehmend an Bedeutung. Dies gilt insbesondere vor dem Hintergrund der digitalen Bildungsreform und dem Ziel, digitale Kompetenzen zu fördern. Für den MINT-Unterricht bieten Chatbots als Lehrassistenten und Tutoren neue Möglichkeiten, SchülerInnen individuell zu unterstützen und komplexe Inhalte zugänglicher zu machen. Dies steht im Einklang mit Bildungsstandards, die selbstgesteuertes Lernen und den Einsatz moderner Technologien betonen. In der Bildungsforschung wird jedoch kontrovers diskutiert, wie effektiv solche Technologien im Vergleich zu traditionellen Lehrmethoden tatsächlich sind, beispielsweise auch bezüglich der Motivation von Lernenden. Die Metaanalyse untersucht auf Basis von Theorien des technologiegestützten Lernens, wie Chatbots sieben unterschiedliche Lernergebnisse fördern können, wie Lernerfolg, Behaltensleistung und kritisches Denken. Außerdem analysiert sie verschiedene Einsatzbedingungen, die die Effektivität von Chatbots beeinflussen, um praktische Handlungsempfehlungen für den Unterricht zu liefern.

Worum geht es in dieser Studie?

In dieser Metaanalyse werden Chatbots von den AutorInnen als ein Dialogprogramm definiert, das Eingaben verarbeiten und dementsprechend Informationen durch verbale oder schriftliche Interaktion bereitstellen kann. Dabei werden experimentelle Designs mit Kontrollgruppen genutzt, um die Effektivität von Chatbots mit herkömmlichem Unterricht zu vergleichen. Hierfür beziehen sie 32 Studien mit insgesamt 2.201 Teilnehmenden ein. Die möglichen Einflüsse solcher Chatbots werden in drei zentralen Fragestellungen analysiert.

Erstens untersuchen sie, ob das Lernen mit Chatbots effektiver ist als das Lernen mit traditionellen Methoden, indem sie die Effekte von sieben verschiedenen Lernergebnissen zu einem Gesamteffekt kombinieren.  Zweitens untersuchen die AutorInnen, die Auswirkungen von Chatbots auf jede der sieben verschiedene Lernkomponenten wie z.B. Lernerfolg, Behaltensleistung, Motivation und Interesse (Definitionen und Effekte siehe Befunde zu Lernergebnisse). Drittens analysieren sie, ob Faktoren wie Dauer der Intervention, Rolle des Chatbots oder die Art der Lerninhalte die Effektivität der Chatbots beeinflussen. 

Die Studien, die zwischen 2010 und 2022 veröffentlicht wurden, untersuchen Chatbots in verschiedenen Kontexten, darunter Sprachunterricht und technische Fächer. Dabei nutzen sie standardisierte Tests, Befragungen und Beobachtungen als Messmethoden. Zudem decken die Analysen ein breites Spektrum an Bildungskontexten ab, darunter Schulen und Hochschulen. Die Autoren differenzieren zudem zwischen drei Rollen, die Chatbots einnehmen können: 

• Tutoren stellen und beantworten selbst Fragen und führen die SchülerInnen durch den Unterricht
• Lehrassistenten übernehmen eine unterstützende Funktion, indem sie professionelles Wissen bereitstellen, professionelles Feedback geben und den Lernprozess strukturieren
• Lernpartner kommunizieren und interagieren mit SchülerInnen – entweder über Text oder Sprache – weniger formal. 

Was findet diese Studie heraus?

Insgesamt zeigt diese Metaanalyse, dass der Einsatz von Chatbots im Unterricht einen mittleren bis großen positiven Einfluss auf den Lernergebnisse hat. Der durchschnittliche Gesamteffekt beträgt d = 0.79, was darauf hindeutet, dass Lernende, die mit Chatbots arbeiten, tendenziell bessere Ergebnisse erzielen als Lernende, die traditionelle Methoden nutzen. Darüber hinaus zeigen sich starke Effekte im Bereich der expliziten Argumentation (d = 1.19) und des Lernerfolgs (d = 1.03). Dies legt nahe, dass Chatbots besonders gut geeignet sind, argumentative Lernprozesse zu strukturieren und auch die Prüfungsleistung zu fördern. 

Ebenso finden sich signifikant positive Effekt auf die Behaltensleistung (d = 0.69). Dies zeigt, dass Chatbots Lerninhalte nicht nur kurzfristig vermitteln, sondern auch langfristig im Gedächtnis verankern können. Ein ähnlicher Effekt ist bei Interesse (d = 0.84) zu beobachten, was darauf hindeutet, dass Chatbots die Lernbereitschaft von SchülerInnen fördern können. 

Bei den Auswirkungen von Chatbots gibt es nur sehr geringe Unterschiede zwischen verschiedenen Nutzungsarten, für verschiedene Fächer und für verschiedene Zeiträume. Die größten deskriptiven Effekte wurden jedoch bei der Verwendung von Chatbots als Lernassistent (d = 1.63), bei einer Dauer von weniger als fünf Wochen (d = 1.06) und in den technischen Fächern Informatik (d = 0.70) und Unterrichtstechnologie (d = 0.93) festgestellt. Dies deutet auf die Nützlichkeit von strukturiertem und klarem Feedback in diesen Bereichen hin. Die Befunde zu den einzelnen Lernergebnissen und weiteren Moderatoren sind der jeweiligen Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der Klassifizierung von Cohen (1988) war der Gesamteffekt von Chatbots im Unterricht positiv (d = 0.79). Das bedeutet, dass Lernende, die auf Chatbots basierendes Lernen nutzten, im Durchschnitt bessere Lernergebnisse (z. B. Leistung, Argumentation) erzielten als Lernende, die traditionelle Lernansätze verwendeten. Um diesen Effekt zu veranschaulichen: Wenn man aus jeder experimentellen Gruppe zufällig einen Lernenden auswählt, ist die Wahrscheinlichkeit, dass der mit Chatbots Lernende, bessere Ergebnisse erzielt, um etwa 70 % höher als bei dem Lernenden, der sie nicht nutzt.

Dieser Effekt war besonders stark bei den Lernleistungen (d = 1.03). Das bedeutet, dass etwa 85 % der SchülerInnen, die Chatbots verwenden, bessere Testergebnisse erzielen würden als der Durchschnitt der SchülerInnen, die traditionelle Lernansätze verwenden.

Alle Einzelstudien in der Metaanalyse zeigten positive Auswirkungen von Chatbots auf die Lernergebnisse. Die Metaanalyse zeigte jedoch keinen signifikanten Unterschied zwischen dem Lernen mit Chatbots und den traditionellen Ansätzen in Bezug auf die Lernergebnisse kritisches Denken, Lernmotivation und Lernengagement auf. Dennoch wurde festgestellt, dass Chatbots über verschiedene Moderatoren, wie Nutzungsdauer, verschiedene Lerninhalte und bei der Verwendung verschiedener Rollen, hinweg effektiv sind.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

In dieser Studie wird die Wirkung des Lernens mit Chatbots auf verschiedene Weise differenziert. Die Effektgrößen werden nach Fachinhalten getrennt, einschließlich des MINT-Fachs Informatik . Darüber hinaus wurden Effektgrößen für sieben verschiedene Lernergebnisse angegeben: kritisches Denken, explizite Argumentation, Lernerfolg, Behaltensleistung, Lernengagement, Lernmotivation und Interesse. Die Effekte wurden auch in Abhängigkeit von der Rolle des Chatbots beim Lernen der SchülerInnen (d. h. Tutoren, Lernpartner oder Lehrassistenten) und der Dauer der Chatbot-Nutzung berichtet. Einschränkend ist festzuhalten, dass die Effektgrößen nicht nach Altersgruppen oder Klassenstufen unterteilt werden. Da die Studien in dieser Metaanalyse Stichproben aus verschiedenen Schulformen der Primar- und Sekundarstufe sowie der Hochschulbildung umfassten, kann nicht dargestellt werden, ob sich die Auswirkungen von Chatbots zwischen diesen Schulstufen unterscheiden.

Wie verallgemeinerbar sind die Befunde?

Laut der Metaanalyse haben Chatbots ihre Wirksamkeit für verschiedene Lernergebnisse und in mehreren Lernkontexten und Behandlungsbedingungen unter Beweis gestellt.

Im Lernkontext war die Wirkung von Chatbots über die Fächer hinweg größtenteils stabil. Ebenso waren die Lerneffekte durch Chatbots über unterschiedliche Zeiträume (d. h. von weniger als einer Woche bis zu mehr als zehn Wochen) und für verschiedene Rollen ähnlich. Diese Ergebnisse zeigen, dass die Effektivität von Chatbots für diese Lernkontexte tendenziell verallgemeinerbar ist.

In Bezug auf die Ergebnisse zeigte sich auch, dass das Lernen mit Chatbots gegenüber traditionellen Lernansätzen einen deutlichen Vorteil für den Lernerfolg bietet. Diese Effekte waren jedoch über die Vielzahl der untersuchten Lernergebnisse weniger verallgemeinerbar. Die Effekte waren robust für den Lernerfolg und basierten auf 31 Studien. Andere Ergebnisse, wie beispielsweise das Interesse basierten aber auf weniger Studien, was ihre Verallgemeinerbarkeit trotz möglicher positiver Trends einschränkte. Bei anderen Ergebnissen, wie z. B. kritisches Denken, unterschied sich der Einsatz von Chatbots nicht von traditionellen Methoden. Daher kann angenommen werden, dass die Wirkung von Chatbots vom Lernziel abhängt. 

Einschränkend ist festzuhalten, dass andere Aspekte des Lernkontexts (z.B. Klassenstufe, geographische Lage) sowie unterschiedliche methodische Merkmale (z.B. Stichprobengröße, Studiendesign) nicht als Moderatoren mitberücksichtigt wurden, weswegen keine Aussage über die Generalisierbarkeit dieser Aspekte getroffen werden kann. Auch für eine differenzierte Aussage über die Wirksamkeit in anderen MINT-Fächern bedarf es weiterer experimenteller Studien.

Was macht die Metaanalyse wissenschaftlich relevant?

Mit der wachsenden Verbreitung von KI und Chatbot-Technologie und ihrer Integration in den Unterricht nimmt die Forschung zur Lerneffektivität weiter zu. Da es sich um ein relativ neues Forschungsthema handelt, liefern erste Metaanalysen spezialisierte Informationen über aufkommende Trends, die Lehrkräften erste Einblicke in dieses dynamische Phänomen bieten. Da sich diese Studie auf den Einsatz von Chatbots in der Allgemeinbildung und nicht nur auf bestimmte Fachbereiche oder Chatbot-Rollen konzentriert, ist sie die erste, die Einblicke in die umfassendere Frage nach der Wirksamkeit von Chatbots für das Lernen im Bildungsbereich gibt. 

Darüber hinaus sollten diese Ergebnisse im Bildungskontext zwar als vorläufig betrachtet werden, doch die strenge Auswahl der Studien, durch die AutorInnen (z.B. Äquivalenz von Kontroll- und Experimentalgruppe) und ihre Differenzierung zwischen den sieben Lernergebnissen, verleihen ihren Erkenntnissen zur Effektivität von Chatbots sowohl Stärke als auch Nuancen. Die Metaanalyse ist zudem wissenschaftlich bedeutsam, da sie ein besonders interessantes Ergebnis liefert: Im Gegensatz zur allgemeinen Meinung legen die bisherigen Befunde nahe, dass Chatbots keinen deutlichen Einfluss auf Motivation, Engagement und kritisches Denken haben.  

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards)

Die Gesamtpunktzahl liegt im oberen Drittel. Somit werden das systematische Vorgehen der Metaanalyse bei der Suche nach relevanten Studien, die Auswahl der Studien, die Kodierung und die statistische Analyse weitgehend transparent und nachvollziehbar berichtet und beschrieben. Diese Studie zeigte beispielsweise besondere Stärken bei der Ermittlung relevanter Schlüsselwörter für die Datenbanksuche unter Verwendung einer neuartigen Clustering-Methode und der Durchführung mehrerer statistischer Prüfungen (z. B. Publikationsbias, Sensitivitätsanalyse) zur Sicherstellung der Validität. Die Datenbanksuche hätte jedoch durch zusätzliche Suchmethoden ergänzt werden können (z. B. Rückwärtssuche in Referenzlisten), um weitere relevante Studien zu finden, die einige Ergebniskategorien möglicherweise robuster gemacht hätten (z. B. kritisches Denken).  

Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet. 

Fazit für die Unterrichtspraxis

Die Ergebnisse dieser Metaanalyse bieten einen ersten Einblick in die Forschung zur Effektivität von Chatbots im Bildungsbereich. So erhalten Lehrkräfte einen ersten Überblick über bestimmte Lernergebnisse, Kontexte und Bedingungen, mit welchen die Integration von Chatbots erfolgreich gelingen kann. Was die Auswirkungen auf das Lernen betrifft, können Lehrkräfte positive Ergebnisse bei Leistungstests und möglicherweise auch einen positiven Einfluss auf explizite Argumentation und die Behaltensleistung erwarten.

Hinsichtlich des Lernengagements und der Lernmotivation der Lernenden scheinen Chatbots ihrem angenommenen Einfluss jedoch möglicherweise nicht gerecht zu werden. Weiterhin ist unklar, ob Chatbots kritisches Denken fördern (siehe dazu unser Kurzreview). Es ist auch erwähnenswert, dass ein potenzielles Risiko bei der Verwendung von Chatbots der Neuigkeitseffekt ist, bei dem sich die Ergebnisse anfangs verbessern, die Effekte aber nachlassen, sobald der Reiz des Neuen nachlässt (Clark, 1983; e.g., Fryer et al., 2017). Dies kann vermieden werden, indem sich SchülerInnen zunächst mit dem Chatbot vertraut machen, bevor sie ihn für Lernaktivitäten verwenden.

Die AutorInnen betonen, dass Chatbots in technischen Kursen, insbesondere als Tutoren oder Lernpartner die größten und robustesten Effekte erzielen, wenn sie über einen Zeitraum von weniger als fünf Wochen eingesetzt werden. In diesen Kontexten können sie gezielt eingesetzt werden, um explizite Argumentation oder die Behaltensleistung zu fördern. 

Studienbeispiel

Eine Laborstudie von Ruan und Kollegen (2020) zeigte signifikante Auswirkungen eines Lerndesigns mit einem Chatbot-Tutor. Die Studie untersuchte eine interaktive mathematische Lernumgebung für SchülerInnen der 3. bis 5. Klasse und ihre Auswirkungen auf Engagement, Lernen und Wissenserhalt in Mathematik. Sie verglichen vier Varianten der Lernplattform: 

• Gruppe A: Nur mathematische Textaufgabe (Kontrollgruppe)
• Gruppe B: Dieselbe mathematische Aufgabe eingebettet in eine märchenhafte Geschichte
• Gruppe C: Dieselbe mathematische Aufgabe in einer Geschichte mit Schritt-für-Schritt-Anleitung zur Lösung
• Gruppe D: Dieselbe Mathematische Aufgabe in einer Geschichte plus einen Chatbot-Tutor. Der Chatbot bot den SchülerInnen personalisierten Smalltalk, Ermutigung, wenn sie nicht weiterkamen, adaptive Hinweise im Konversationsstil und Fragen, um das Verständnis zu überprüfen.

Die Studie ergab, dass die erzählbasierte Aktivität plus Chatbot-Variante (D) im Vergleich zur reinen Aufgabenvariante (A) einen großen und signifikanten Effekt auf das Engagement (ES = 0.90), das Lernen (ES = 0.88) und den Wissenserhalt der Konzepte, eine Woche nach der Aktivität, hatte. 

Referenzen und Links

Downloads

Einleitung

Quizabfragen sind eine bewährte Methode im Klassenzimmer und erfreuen sich großer Beliebtheit bei Lehrkräften und SchülerInnen. Regelmäßiges Testen in Form von Quizzen bietet eine unkomplizierte Möglichkeit, SchülerInnen Rückmeldung darüber zu geben, wie gut sie den aktuellen Unterrichtsstoff verstehen.

Empirisch fundierte Lerntheorien, wie der Testeffekt (engl. testing effect), unterstützen den Ansatz, dass wiederholtes Testen – etwa durch unbenotete Quizze – das Verständnis und die Leistung der Lernenden verbessert. Der Testeffekt besagt, dass Lernende beim Beantworten von Testfragen Inhalte aktiv abrufen müssen, wodurch das Wissen langfristiger verankert wird. Darüber hinaus zeigt die Forschung, dass häufiges Testen auch das Erlernen neuen Wissens fördert (test-potentiated learning).

Diese Metaanalyse fasst erstmals die Ergebnisse von Feldstudien zum Einsatz von Quizzen zusammen. Die Erkenntnisse sind besonders relevant für die Lehrpraxis an Schulen und Hochschulen, da sie unter realen Bedingungen im Klassenzimmer – und nicht im Labor – gewonnen wurden.

Worum geht es in dieser Studie?

In dieser Metaanalyse untersuchen die Autoren vier zentrale Fragestellungen: Erstens prüfen sie, ob regelmäßige Quizze im Unterricht im Vergleich zu Unterricht ohne Quizze einen Mehrwert bieten. Dafür analysieren sie 52 (quasi-)experimentelle Studien mit insgesamt 7864 Teilnehmenden, die zwischen 1932 und 2017 veröffentlicht wurden. Diese Studien vergleichen die Kursleistungen (Noten) in Unterrichtssettings mit und ohne Quizze.

Zweitens untersuchen die Autoren, unter welchen Bedingungen Quizze besonders wirksam sind. In sogenannten Moderatoranalysen prüfen sie, ob die Effektstärke von bestimmten Faktoren wie Testhäufigkeit, sofortigem oder verzögertem Feedback, Fragetypen, der Durchführung als Hausaufgabe oder im Unterricht sowie einer vorherigen Ankündigung der Quizze beeinflusst wird. Ebenso betrachten sie Rahmenbedingungen wie die Bildungsstufe (Schule vs. Hochschule) und das Fach, wobei sie zwischen Psychologie (etwa die Hälfte der Studien) und anderen Fächern unterscheiden.

Drittens analysieren sie anhand von 5 Studien mit 1004 Teilnehmenden, ob mehr Lernende den Kurs bestehen, wenn Quizze häufiger eingesetzt werden, da insbesondere schwächere Lernende von regelmäßigen Tests profitieren könnten.

Abschließend wird untersucht, ob ein Zusammenhang zwischen den Quizleistungen und der späteren Kursnote besteht. Hierfür lieferten 20 Studien mit insgesamt 4268 Teilnehmenden die erforderlichen Daten[*].

[*] Diese Studien sind Teil der oben genannten Gesamtstichprobe von 52 Studien und liefern die für diese Fragestellung notwendigen Daten.

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in dieser Metaanalyse ein signifikanter Gesamteffekt von d = 0.42 (Konfidenzintervall d = 0.29 bis d = 0.55) zugunsten der Leistung von Lernenden, die regelmäßig mit Quizzen getestet wurden.  

In den Moderatoranalysen zur zweiten Frage zeigte sich, dass die Effektstärken deskriptiv größer waren, wenn die Quizzergebnisse in die Endnote einflossen (d = 0.51) im Vergleich zu Quizzen ohne Einfluss auf die Note (d = 0.33). Höhere Effektstärken traten auf, wenn das Feedback unmittelbar erfolgte (d = 0.41) im Vergleich zu verzögertem Feedback (d = 0.31) und wenn die Quizze aus offenen Fragen bestanden (d = 0.60) im Gegensatz zu Multiple-Choice-Fragen (d = 0.37) oder Lückentext- und anderen Fragetypen (d = .38). Deskriptive Unterschiede in den Effektstärken waren auch für einige der Moderatoren erkennbar, die aus rein explorativen Gründen untersucht wurden. Das heißt, die Effektstärken waren größer, wenn die Quizze außerhalb des Klassenzimmers online stattfanden (d = 0.62) anstatt im Klassenzimmer (d = 0.22); angekündigt (d = 0.43) im Vergleich zu nicht angekündigt (d = 0.15) und wenn sie im Fach Psychologie stattfanden (d = 0.47) im Vergleich zu anderen Fächern (d = 0.29). In einer Metaregression wurden davon zwei Moderatoren signifikant: 1. Einfluss auf die Endnote: wenn die Quizzleistungen Einfluss auf die Endnote hatten, waren die Leistungen signifikant höher und 2. das Fach: Im Fach Psychologie zeigten sich signifikant höhere Effektstärken als in den anderen Fächern.

Die Befunde zur dritten Fragestellung zeigten, dass der Anteil der Lernenden, die den Kurs bestehen größer war, wenn Quizze eingesetzt wurden.

Schließlich zeigte die Untersuchung des Zusammenhangs zwischen Quizeinsatz und späteren Prüfungsleistungen eine deutliche, statistisch signifikante Korrelation von r = 0.55.  

Weitere Details und Einzelbefunde sind der Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die Metaanalyse kommt bezüglich der Lernleistungen der SchülerInnen insgesamt zu einem signifikanten positiven Gesamteffekt d = 0.42. Diese Effektstärke bedeutet, dass etwa 66% der SchülerInnen, die regelmäßig in realen Lehr-Lernsettings mit Quizzen getestet wurden, einen größeren Lernerfolg zeigten als der Durchschnitt der SchülerInnen in den Vergleichsgruppen. Zudem zeigen die Moderatoranalyse, dass dieser Gesamteffekt über unterschiedliche Bedingungen weitgehend robust ist.  

Vorherige Metaanalysen (z.B. Anderson et al., 1999; Vanhove & Harms, 2015) dokumentieren zudem, dass ähnliche Effektstärken auch unter Laborbedingungen beobachtet wurden. Zudem zeigte eine weitere aktuelle und umfassende Metaanalyse von Yang et al. (2020) ebenfalls einen positiven Effekt von g = 0.50, was die Ergebnisse dieser Metaanalyse bestätigt.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird von der Clearing House Unterricht Research Group anhand der untersuchten Fachbereiche, Bildungsstufen und abhängigen Variablen eingeschätzt. In dieser Metaanalyse werden die Ergebnisse differenziert nach Bildungsstufe (Sekundarstufe vs. tertiäre Stufe) und Fachbereich untersucht. Bei den Fachbereichen wurde zwischen Befunden in Kursen der Psychologie und anderen Fächern (darin enthalten: u.a. naturwissenschaftliche Fächer oder Finanzen und Management) unterschieden, da viele der inkludierten Studien mit Studierenden des Fachbereichs „Psychologie“ durchgeführt wurden. 

Sämtliche Befunde der Metaanalyse beziehen sich auf die Leistung der Lernenden; weitere mögliche Effektkategorien wie etwa Lernmotivation wurden nicht untersucht.  

Wie verallgemeinerbar sind die Befunde?

Die Autoren prüfen mithilfe zweier unterschiedlicher Analyseansätze bezogen auf die Moderatorvariablen, inwiefern der Gesamteffekt für unterschiedliche Bedingungen verallgemeinerbar ist. Als Erstes vergleichen sie deskriptiv die aggregierten Befunde der unterschiedlichen Stufen aller einbezogener Moderatorvariablen. Hier zeigten sich auf vielen Moderatorvariablen beachtenswerte Unterschiede (siehe Ergebnisse). Da diese Unterschiede jedoch nicht auf statistische Signifikanz hin getestet wurden und zum Teil auch erhebliche Unterschiede in der Zahl der eingeflossenen Primärstudien bestehen, sind diese Befunde als Trends zu verstehen und lassen nur bedingt Rückschlüsse auf Einschränkungen der Verallgemeinerbarkeit zu. Als Zweites führen die Autoren eine Metaregressionsanalyse durch. Hierbei zeigte ich, dass Quizze unterschiedlich wirksam sein können, je nachdem in welchen Fachbereichen sie durchgeführt werden und ob Quizzleistungen für die Endnote gewertet werden. Für alle anderen Moderatoren ergab die Analyse keine Einschränkung der Verallgemeinerbarkeit. Bei der Auswahl der Moderatorvariablen zeigt sich, dass der Fokus vor allem auf Aspekten der Durchführung lag. Merkmale der Lernenden, wie beispielsweise deren Vorwissen, sowie Kontextvariablen wie die geografische Region, wurden hingegen nicht berücksichtigt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse untersucht im Gegensatz zu früheren Metaanalysen nur Befunde aus Primärstudien, in denen Quizze tatsächlich im Kontext des Schulunterrichts oder in der universitären Lehre eingesetzt wurden. Die Befunde lassen sich demnach mit höherer Wahrscheinlichkeit auf diese Kontexte übertragen verglichen mit Befunden reiner Laborstudien. Zudem wurden auf Basis verschiedener Theorien (z.B. Testeffekt, test potentiated learning) eine sehr umfassende Analyse von moderierenden Variablen vorgenommen.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Schritte bei der Auswahl der Primärstudien und der Analyse der Befunde sind größtenteils transparent. Damit sind das Vorgehen bei der Suche nach relevanten Studien, Studienauswahl, Kodierung und statistische Analyse weitgehend offengelegt und nachvollziehbar beschrieben. Im Bereich der Kodierung der Primärstudien wären allerdings genauere Angaben zur Messung des Lernerfolgs, zur Kodierung der jeweiligen Studienqualität sowie zum Herkunftsland der Studie wünschenswert gewesen. Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metaanalyse verdeutlicht, dass regelmäßige Quizze eine effektive Methode zur Förderung des Lernens sowohl im Schulunterricht als auch in der Hochschullehre darstellen. Die Ergebnisse untermauern die theoretischen Annahmen zum „Testing Effect“ und „Test-Potentiated Learning“ und zeigen, dass Quizze Lehrkräften eine einfache und kostengünstige Möglichkeit bieten, den Lernfortschritt der SchülerInnen gezielt zu verfolgen und Wissenslücken systematisch zu schließen. Dadurch wird das Verständnis der Lerninhalte verbessert und die gezielte Vorbereitung auf Prüfungen unterstützt.

Besonders wirksam erwies sich der Einsatz von Quizzen, wenn deren Ergebnisse in die Endnote einflossen. Neben einer allgemeinen Steigerung der Lernleistung trugen Quizze auch dazu bei, die Anzahl der SchülerInnen zu verringern, die einen Kurs nicht bestehen. Diese Methode erweist sich somit als praktisches und nachhaltiges Werkzeug zur Förderung des Lernerfolgs. Fortschritte in der künstlichen Intelligenz und der Entwicklung digitaler Quiztools erleichtern die Erstellung personalisierter Quizfragen, was den Einsatz dieser Methode weiter vereinfacht und deren Potenzial zur Lernförderung noch steigert.

Studienbeispiel

McDaniel et al. (2011) untersuchten in einer experimentellen Studie, wie regelmäßige Quizze die Lern- und Behaltensleistung im naturwissenschaftlichen Unterricht einer Middle School (vergleichbar mit der Sekundarstufe I) fördern können. Es wurden verschiedene Themenbereiche u.a. Genetik, Anatomie und Evolution in mehreren Unterrichtsstunden behandelt. In diesen sog. Unterrichtseinheiten wurde jeweils ein Thema behandelt, welches nach etwas 20 Tagen durch eine Prüfung abgeschlossen wurde. Die Studie wurde mit 139 AchtklässlerInnen in den USA in drei experimentellen Designs durchgeführt. Dabei erhielten die SchülerInnen zu drei Zeitpunkten Quizze im Multiple Choice Format: 

Pre-Lecture-Quiz: Quiz vor der Unterrichtsstunde zur Aktivierung des Vorwissens.

Post-Lecture-Quiz: Quiz direkt nach der Unterrichtsstunde zur Festigung des im Unterricht behandeltes Inhalts.

Review-Quiz: Quiz vor Prüfungen zur gezielten Wiederholung der Inhalte.

Die Pre- und Post-Lecture-Quizze wurden über den gesamten Zeitraum der jeweiligen Unterrichtseinheit an die SchülerInnen ausgegeben. Die Versuchsreihen endeten jeweils mit einem Review-Quiz, das etwa 24 Stunden vor der Prüfung am Ende der Unterrichtseinheit durchgeführt wurde. Die Prüfungen fanden je nach experimentellen Design am Ende der Unterrichtseinheit, am Ende des Semesters und am Ende des Jahres statt. Zur genaueren Untersuchung der Behaltensleistung wurde zwischen den Review-Quizzen vor der ersten Prüfung und den späteren Prüfungen keine weiteren Quizze durchgeführt. Die Hälfte der Testfragen waren inhaltlich übereinstimmend mit Fragen, die auch in den späteren Prüfungen abgefragt wurden. Die andere Hälfte an prüfungsrelevanten Inhalten wurde in Lektüren und im Unterricht besprochen.  Dies ermöglichte es, den Effekt der Quizze auf die Lern- und Behaltensleistung im Vergleich zu regulärem Unterricht ohne Quizze zu untersuchen.

Die Ergebnisse zeigten, dass Review-Quizze die stärkste Verbesserung der Prüfungsleistungen erzielten: Gequizzte Inhalte wurden zu 86 % korrekt beantwortet, verglichen mit 64 % bei nicht gequizzten Inhalten. Post-Lecture-Quizze zeigten ebenfalls positive Effekte, während Pre-Lecture-Quizze keinen signifikanten Einfluss hatten. In einem weiteren Experiment wurde deutlich, dass sowohl einzelne Review-Quizze als auch Review- und Post-Lecture-Quizze kombiniert, langfristig den größten Nutzen für die Lernleistung der SchülerInnen bringen. Laut den Autoren, können strategisch platzierte Quizze eine effektive Methode sein, um sowohl kurzfristige Lernziele zu erreichen als auch das langfristige Behalten von Wissen zu fördern. 

Referenzen und Links

Downloads

Einleitung

Peer Assessment taucht in der Literatur unter verschiedenen Begriffen auf, z.B. peer feedback, peer grading oder peer evaluation. In der Metaanalyse von Double und KollegInnen wird Peer Assessment als eine Methode verstanden, bei der sich Peers – verstanden als Mitglieder einer Peer Group, z.B. SchülerInnen der gleichen Schulstufe – wechselseitig Rückmeldung auf ihre erbrachte Leistung geben. Diese Form der Leistungsrückmeldung umfasst den mündlichen, schriftlichen oder digitalen Austausch von aufgabenrelevantem Feedback.

Im Unterricht kann Peer Assessment auf unterschiedliche Weisen umgesetzt werden. Lehrkräfte können den SchülerInnen beispielsweise Bewertungskriterien in Form von Leitfäden oder Benotungssystemen zur Verfügung stellen, den digitalen Austausch von Feedback ermöglichen oder Peer Assessment als eine regelmäßige Feedbackpraxis in ihrem Unterricht etablieren.

Die bisherige Forschung zu Peer Assessment weist auf einen starken Zusammenhang zwischen den Bewertungen von SchülerInnen durch MitschülerInnen im Rahmen von Peer Assessment und den Bewertungen der selben SchülerInnen durch die Lehrkraft hin (z.B. Li et al, 2016; Sanchez et al., 2017). Die vorliegende Metaanalyse untersucht nun die Wirksamkeit von Peer Assessment auf die schulische und akademische Leistung auch auf der Basis experimenteller Untersuchungen.

Worum geht es in dieser Studie?

Double und KollegInnen untersuchen in ihrer Metaanalyse, wie sich der Einsatz von Peer Assessment auf die Leistung von SchülerInnen (Primar- und Sekundarstufe) und Studierenden (tertiäre Stufe) im Vergleich zu Unterricht ohne Assessment, mit Selbstbewertungen (engl. Self Assessment) oder Bewertung durch die Lehrkraft (engl. Teacher Assessment) auswirkt.

Insgesamt fließen in die Metaanalyse 55 (quasi-)experimentelle Einzelstudien mit insgesamt 143 Effektstärken ein, die im Zeitraum zwischen 1966 und 2018 in internationalen Zeitschriften veröffentlicht wurden oder als »graue Literatur« (z.B. Dissertationen, Konferenzbeiträge) zur Verfügung standen. In den berücksichtigten Studien wurde Peer Assessment auf unterschiedlichste Weise in den Unterricht integriert (siehe Tabelle 1) und jeweils mit einer passiven Kontrollgruppe (d.h. kein Assessment) oder einer aktiven Kontrollgruppe (d.h. andere Form des Assessments, z. B. durch Lehrkraft) verglichen.

Die Leistung der SchülerInnen wird dabei entweder in Form von schriftlichen Leistungen (z.B. Test oder Essays) oder praktischen Leistungen (z.B. Anwendungsaufgaben) erfasst. Um zu untersuchen, unter welchen dieser Bedingungen Peer Assessment im Unterricht besonders effektiv ist, nutzen die AutorInnen sogenannte Moderatoranalysen. Dabei untersuchen sie nicht nur den Einfluss verschiedener Umsetzungsmöglichkeiten im Unterricht, sondern auch, in welchem Fach das Peer Assessment eingesetzt wurde (siehe Gesamtübersicht).

Tabelle 1. Umsetzungsmöglichkeiten von Peer Assessment im Unterricht

Was findet diese Studie heraus?

Basierend auf den 55 Einzelstudien konnten die AutorInnen einen signifikanten positiven Gesamteffekt von Peer Assessment auf die Leistung feststellen: g = 0.31 (Konfidenzintervall g = 0.18 bis g = 0.44). Auch bei gesonderter Betrachtung von SchülerInnen der Sekundarstufe ergab sich ein signifikant positiver Effekt von Peer Assessment auf die schulische Leistung: g = 0.44 (13 Studien).

Mit Blick auf die berücksichtigten Kontrollgruppen zeigt sich, dass SchülerInnen und Studierende mit Peer Assessment signifikant bessere Lernleistungen erbrachten als SchülerInnen und Studierende in Kontrollgruppen ohne Assessment (g = 0.31). Dieser Effekt zeigte sich auch im Vergleich zu Kontrollgruppen mit Bewertung durch die Lehrkraft (g = 0.28), jedoch nicht im Vergleich zu Kontrollgruppen mit Selbstbewertungen.

In den Moderatoranalysen stellen die AutorInnen fest, dass der positive Effekt von Peer Assessment über verschiedene Umsetzungsmöglichkeiten hinweg robust ist. Das heißt, für beinahe alle* untersuchten Formen des Peer Assessment (Typ, Häufigkeit etc.) lässt sich ein positiver Effekt auf die Leistung der SchülerInnen feststellen. Eine Übersicht aller Moderatoren findet sich im Überblick über alle Einzelbefunde.

*Lediglich beim Einsatz von Noten zeigt sich ein Unterschied: Während der Einsatz von Noten beim Peer Assessment bei Studierenden einen signifikanten positiven Effekt auf die Leistung hat (g = 0.55), konnte dieser Effekt nicht für SchülerInnen der Primar- und Sekundarstufe gezeigt werden (g = 0.002, n.s.)

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Insgesamt kommt die Metaanalyse zu einem signifikanten positiven Gesamteffekt von g = 0.31. Die Größe dieses Effekts zeigt, dass mehr als 60 % der SchülerInnen, die mit Peer Assessment gearbeitet haben, eine bessere Lernleistung erzielen als der Durchschnitt der SchülerInnen in den Kontrollbedingungen ohne Assessment oder mit anderen Formen des Assessments. Ergebnisse aus Moderatoranalysen zeigen, dass verschiedene Umsetzungsmöglichkeiten des Peer Assessments keine statistisch bedeutsamen Unterschiede in diesem Effekt ausmachen. Somit deuten die Befunde insgesamt darauf hin, dass Peer Assessment unabhängig von der jeweiligen Umsetzung positiv auf die Leistung der SchülerInnen wirkt. Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die AutorInnen berücksichtigen in ihren Analysen verschiedene Bildungsstufen (Primarstufe, Sekundarstufe und tertiärer Bildungsbereich) und Schulfächer. Zwischen den Bildungsstufen und Schulfächern zeigen sich jedoch keine signifikanten Unterschiede hinsichtlich der Wirksamkeit von Peer Assessment. Sowohl SchülerInnen als auch Studierende scheinen in verschiedenen Fächergruppen und bei unterschiedlichen Umsetzungsmöglichkeiten von Peer Assessment zu profitieren. Das untersuchte Leistungskriterium wird zwar bei der Studienselektion differenziert in schriftliche und praktische Aufgaben, in den Analysen allerdings nicht getrennt untersucht.

Wie verallgemeinerbar sind die Befunde?

Die Ergebnisse der Metaanalyse zeigen für nahezu alle Umsetzungsmöglichkeiten von Peer Assessment positive Effekte auf die Leistung. Dabei konnten keine statistisch bedeutsamen Unterschiede für verschiedene Fächer oder Bildungsstufen festgestellt werden. Grundsätzlich kann also davon ausgegangen werden, dass der positive Effekt von Peer Assessment als verallgemeinerbar angesehen werden kann.

Einschränkend ist festzuhalten, dass die geographische Lage nicht als Moderator mitberücksichtigt wurde, weswegen keine Aussage über die Generalisierbarkeit über verschiedene Länder hinweg getroffen werden kann. Auch für eine differenzierte Aussage über die Wirksamkeit verschiedener Umsetzungsmöglichkeiten von Peer Assessment speziell in der Sekundarstufe und den verschiedenen mathematischen-naturwissenschaftlichen Fächergruppen bedarf es weiterer experimenteller Studien.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse von Double und KollegInnen ist wissenschaftlich bedeutsam, da sie die Wirksamkeit von Peer Assessment für den Lernerfolg systematisch und verlässlich in Ergänzung zu bereits existierenden qualitativen Übersichts- und Literaturarbeiten einschätzt (Dochy et al., 1999; Topping, 1998).

Darüber hinaus zeigt die Metaanalyse zwei wichtige Forschungsdesiderate auf: Sie macht zum einen sichtbar, dass experimentelle Untersuchungen, in denen Effekte des Bewertens und des Bewertetwerdens auf die Leistung differenziert betrachtet werden, bisher fehlen. Die Berücksichtigung dieser jeweiligen Rolle beim Peer Assessment ist wichtig, um spezifischere Aussagen über die lernförderlichen Mechanismen treffen zu können. Zudem zeigt die Metaanalyse, dass die SchülerInnen in den berücksichtigten Studien überwiegend als ganze Klassen in Experimental- und Kontrollbedingung, also quasi-experimentell zugeteilt wurden. Für die Zukunft bräuchte es strengere Studiendesigns mit randomisierter Zuweisung auf Individualebene (experimentelle Studiendesigns).

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht zum Großteil den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Insbesondere die Studiensuche und -selektion sind vorbildlich dokumentiert. Im Bereich der Kodierung und Analyse der Primärstudien wären für eine bessere Nachvollziehbarkeit genauere Angaben erforderlich – z.B. Details zu den Stichproben, Designs und Erhebungsinstrumenten der berücksichtigten Studien. Detailliertere Informationen zur methodischen Beurteilung sind dem Rating Sheet zu entnehmen.

Fazit für die Unterrichtspraxis

Die Befunde der vorliegenden Metaanalyse geben Hinweise darauf hin, dass Peer Assessment eine lernförderliche Ergänzung für den Unterricht darstellen kann. Der positive Effekt von Peer Assessment auf die Leistung ist über verschiedene Altersstufen, Fächer und weiteren Bedingungen hinweg stabil. Dies deutet daraufhin, dass Peer Assessment in vielfältiger Form wirksam in den Unterricht implementiert werden kann.

Für die SchülerInnen bietet Peer Assessment die Möglichkeit, sich kritisch mit dem Lerninhalt auseinanderzusetzen und die eigenen Leistungen zu reflektieren. Anhand der berücksichtigten Einzelstudien lässt sich allerdings auch feststellen, dass die bisherige Forschung zum Peer Assessment noch recht unspezifisch ist. So fehlen Untersuchungen, die die verschiedenen Rollen beim Peer Assessment oder die konkreten Kontexte mit einbeziehen, um hier evidenzbasierte Empfehlungen zur konkreten Umsetzung aussprechen zu können. Um die Effektivität unterschiedlicher Umsetzungsmöglichkeiten und lernförderliche Mechanismen noch besser zu verstehen, sind daher weitere Forschungsbemühungen notwendig.

Studienbeispiel

Wang und KollegInnen (2017) untersuchen in ihrer Studie die Wirksamkeit von Peer Assessment im Informatikunterricht in der 9. Klasse. In den zehn Wochen der Untersuchung sollten die SchülerInnen die Programmiersprache »Scratch« lernen. Die Stichprobe bestand aus vier Schulklassen mit insgesamt 166 SchülerInnen. Alle vier Klassen erhielten eine Einführung in »Scratch« und die Aufgabe, ein eigenes Projekt zu programmieren.

In zwei Klassen sollten sich die SchülerInnen anschließend gegenseitig Feedback auf ihre individuellen Projekte geben (Experimentalgruppe mit 80 SchülerInnen, Peer Assessment). Dafür standen ihnen klare Bewertungskriterien (z.B. zu Thema und Inhalt oder Gestaltung) und Bewertungsstufen (von 1 bis 4) zur Verfügung. In den anderen beiden Klassen erhielten die SchülerInnen Feedback von der Lehrkraft (Kontrollgruppe mit 86 SchülerInnen).

Um die Wirksamkeit von Peer Assessment im Vergleich zur Bewertung durch die Lehrkraft zu überprüfen, nahmen alle SchülerInnen an einem Test zu Programmierkenntnissen und -fähigkeiten sowie Fragebögen zum kritischen Denken und ihren Einstellungen teil – einmal vor Beginn (Prätest, zur Kontrolle der Eingangsvoraussetzungen) und zum Abschluss des Kurses (Posttest). Zusätzlich erhielten die SchülerInnen zu beiden Zeitpunkten Programmieraufgaben, um ihre praktischen Programmierfertigkeiten zu testen. Im Ergebnis erzielte die Experimentalgruppe in allen Bereichen des Posttests signifikant bessere Ergebnisse als die Kontrollgruppe.

Referenzen und Links

Podcast

Downloads

Einleitung

Schreiben ist eine universelle Kulturtechnik. Im Schulkontext kann Schreiben beispielsweise dazu eingesetzt werden, um das Lernen von Fachinhalten zu fördern. Aus lerntheoretischer Sicht spricht vieles dafür, dass das Schreiben über Lerninhalte (engl: writing-to-learn) dazu beiträgt, Wissen zu stärken, zu erweitern oder zu vertiefen. So setzt die Notwendigkeit, Inhalte schriftlich zu formulieren, verschiedene kognitive Prozesse in Gang, die vorhandenes Wissen aktivieren und zu einer besseren Verarbeitung und Speicherung der Lerninhalte beitragen.

Lehrkräften steht eine Vielzahl unterschiedlicher Möglichkeiten zur Verfügung, Schreibaktivitäten in den Unterricht zu integrieren. Diese reichen vom Erstellen einfacher Notizen bis hin zu komplexen Argumentationen. In der Metaanalyse von Graham und Kollegen wird eine aktuelle und differenzierte Untersuchung der Wirksamkeit von Schreiben zur Lernförderung für den Unterricht vorgenommen.

Worum geht es in dieser Studie?

In dieser Metaanalyse untersuchen die AutorInnen, ob Schreibaktivitäten zur Lernförderung das Lernen von SchülerInnen in unterschiedlichen Fächern effektiv fördern. SchülerInnen erhielten in den berücksichtigten Studien ganz unterschiedliche Schreibaufträge. Die Schülerinnen sollten sich zum Beispiel kurze Notizen machen, Informationen zusammenfassen, Abläufe beschreiben, Sachverhalte erklären, oder bei komplexen Sachverhalten schriftliche Argumentationen entwickeln. Allen Schreibaktivitäten war gemeinsam, dass sie mit dem Ziel aufgetragen wurden, das Lernen zu fördern. Auch sollten die SchülerInnen digital oder per Hand Texte schreiben und nicht etwa Diagramme erstellen oder Aufgaben rechnen.

Da unterschiedliche Schreibaktivitäten – etwa das Zusammenfassen von Inhalten oder der Vergleich von Inhalten – unterschiedliche Lernprozesse anstoßen, nehmen die AutorInnen an, dass sich diese Unterschiede auch in den Lernergebnissen niederschlagen. Sie argumentieren außerdem, dass die Wirksamkeit von Schreiben zur Lernförderung von zahlreichen weiteren Faktoren abhängen könnte. Dabei testen sie in mehreren Moderatoranalysen, ob sich die Wirksamkeit je nach Schulfach, Alter, Art der Schreibaktivität oder je nachdem, wie der Lernerfolg gemessen wurde, unterscheidet. Die AutorInnen achten ferner auf die Qualität der eingehenden Studien – z.B. wurden nur Studien ausgewählt, in denen wissenschaftlich fundierte Leistungstestverfahren zum Einsatz kamen und keine Schulnoten – und untersuchen auch hier, ob Qualitätsunterschiede mit Unterschieden in den Ergebnissen einhergehen.

Ihre Suche für den Zeitraum von 1998 bis 2017 ergab 56 experimentelle und quasi-experimentelle Studien mit insgesamt 6.235 SchülerInnen. In den meisten Studien wurde die Wirksamkeit auf der Basis eines Vergleichs der Lernleistung von SchülerInnen ermittelt, die entweder mit oder ohne Schreiben gelernt hatten (73 %). Wenige Studien verglichen SchülerInnen mit mehr vs. weniger Schreibaktivitäten (27 %; siehe Primärstudienbeispiel). Auffällig ist, dass die meisten Studien aus den naturwissenschaftlichen Fächern (47 %) und der Mathematik (38 %) stammen und weniger aus den sozialwissenschaftlichen Fächern (15 %). 65 % der Studien beinhalten Ergebnisse aus der Sekundarstufe und 35 % aus der Primarstufe.

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in der Metaanalyse ein signifikanter Gesamteffekt von g = 0.30 (Konfidenzintervall g = 0.20 bis g = 0.41) zugunsten der Lernleistung von SchülerInnen, die mit Schreibaktivitäten im Unterricht lernten. Die Testergebnisse zeigen bessere Leistungen in der Wiedergabe von Wissen, im Verständnis und in der Anwendung von Inhalten. In nahezu allen untersuchten Kategorien – unterschiedliche Schulfächer, Jahrgangstufen, oder unterschiedliche Schreibaktivitäten – konnten SchülerInnen signifikant bessere Lernresultate erzielen, wenn Schreibaktivitäten Teil des Unterrichts waren.

Die Metaanalyse dokumentiert dabei die Vielfalt der Möglichkeiten, unterschiedliche Schreibaktivitäten mit unterschiedlichen Zielsetzungen auf unterschiedliche Weise in den Unterricht zu integrieren. Zwar untersuchen die AutorInnen eine Vielzahl von Unterschieden in den Studien auf Ihren Einfluss auf die Effektstärken, können aber in Moderatoranalysen keine statistisch bedeutsamen Einflüsse nachweisen. Einen Überblick über alle untersuchten Moderatorvariablen finden Sie in der Übersicht über alle Einzelbefunde.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt in dieser Metaanalyse bei g = 0.3. Diese Effektstärke bedeutet, dass mehr als 61 % der Lernenden mit Schreibaktivitäten besser abschneiden als der Durchschnitt der Lernenden aus den Kontrollgruppen, die keine oder weniger Schreibaktivitäten absolvierten. Dieser positive Effekt ist über viele Situationen und Bedingungen stabil. Selbst wenn in Einzelstudien Effekte zum Teil deutlich über oder unter diesem Durchschnittswert liegen, so ist insgesamt davon auszugehen, dass sich Schreiben unter den meisten Umständen positiv auf die Lernleistung auswirkt.
Zur Substanz der Effekte trägt außerdem bei, dass die AutorInnen Studien mit weniger zuverlässigen Studiendesigns bei der Selektion ausgeschlossen haben. Dazu zählten Studien, in denen nicht gewährleistet war, dass die Eingangswerte der getesteten SchülerInnen und die Lerndauer in Experimental- und Kontrollgruppe ähnlich waren. Außerdem wurden Studien ausgeschlossen, wenn zur Leistungsmessung Schulnoten und keine wissenschaftlichen Testverfahren verwendet wurden. Aus der bisherigen Forschung ist bekannt (Cheung & Slavin, 2016), dass durch Einschluss solcher Studien Effektstärken tendenziell überschätzt werden.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die AutorInnen schätzen die Differenziertheit der berichteten Effekte anhand der drei Bereiche Schulfächer, Altersstufen und der untersuchten Erfolgskriterien ein. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (Naturwissenschaften, Mathematik, Sozialwissenschaften) und unterschiedlichen Altersstufen (Primarstufe, Sekundarstufe). Zu den untersuchten Erfolgskriterien gehören die Erinnerungsleistung, das Verständnis, und das Anwenden von Inhalten. Die Unterschiede in allen drei Bereichen Schulfächer, Altersstufen und Erfolgskriterien sind jedoch nicht statistisch bedeutsam. Dieser Befund stützt die Annahme, dass sich Schreibaktivitäten zur Lernförderung innerhalb dieser Bereiche ähnlich positiv auswirken.

Wie verallgemeinerbar sind die Befunde?

Schreibaktivitäten können auf vielfältige Art und Weise zur Lernförderung umgesetzt und in den Fachunterricht integriert werden. Die zahlreichen und unterschiedlichen Moderatoranalysen zeigen diese Flexibilität (siehe Gesamttabelle Befunde). Die Moderatoranalysen – in denen die AutorInnen die wichtigsten Einflussgrößen berücksichtigen – zeigen auch, dass hier keine statistisch bedeutsamen Unterschiede festgestellt werden konnten. Dies spricht dafür, dass der positive Effekt von Schreibaktivitäten zur Lernförderung gut verallgemeinerbar ist.
Anzahl und Größe der eingehenden Studien beeinflussen die Ergebnisse der Moderatoranalysen entscheidend. Eine umfangreichere Studienlage als bisher gegeben könnte differenzierte Befunde zur Wirksamkeit ermöglichen. In der Tendenz zeigt sich bereits, dass häufigere Schreibaktivitäten zu höheren Effekten führen können als seltener eingesetzte Aktivitäten. Auch Impulse, die SchülerInnen dazu anhalten, metakognitive Strategien einzusetzen, scheinen eine höhere Wirksamkeit zu ermöglichen.

Was macht die Metaanalyse wissenschaftlich relevant?

Die aktuelle Metaanalyse ist wissenschaftlich bedeutsam, da sie eine verlässlichere Einschätzung der Wirksamkeit von Schreiben zur Lernförderung bietet als frühere Metaanalysen (Bangert-Drowns et al., 2014; Graham & Perin, 2007). Sie bezieht mehr Studien ein, achtet auf die Qualität der Studien und geht differenzierter in den Analysen vor. Dadurch liefert sie vertrauenswürdigere Befunde, die sich zudem etwas von vorherigen Metaanalysen unterscheiden: Die Effektstärke von Schreibaktivitäten zur Lernförderung liegt mit g = 0.3 im Durchschnitt über den Befunden von bisherigen Metaanalysen.
Aus wissenschaftlicher Sicht ist zudem bedeutsam, dass Forschungsdesiderate vor allem im Bereich der sozialwissenschaftlichen Fächer aufgezeigt werden, da hier relativ wenige experimentelle Studien vorhanden sind, obwohl in der Unterrichtsrealität Schreiben hier am häufigsten zum Einsatz kommt.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards) in hohem Maße. Insbesondere die Bereiche der Studienselektion und Analyse der Befunde sind sehr gut dokumentiert. Im Bereich der Kodierung der Primärstudien sind allerdings genauere Angaben (z.B. zur Kodierung der abhängigen Variablen) erforderlich. Detailliertere Informationen zur methodischen Beurteilung sind dem Rating Sheet zu entnehmen.

Fazit für die Unterrichtspraxis

Schreiben ist eine weit verbreitete Praxis im Unterricht. Im Einklang mit den Befunden dieser bereits Jahrzehnte bestehenden Forschung weisen die Befunde dieser Metaanalyse insgesamt deutlich darauf hin, dass das Schreiben über Lerninhalte eine effektive Möglichkeit ist, den Lernerfolg von SchülerInnen zu fördern.

Auch wenn Schreiben als Aktivität zur Lernförderung in der Realität häufig in sozialwissenschaftlichen Fächern zum Einsatz kommt, so zeigt die vorliegende Metaanalyse, dass die Wirksamkeit dieser Methode mindestens genauso gut für naturwissenschaftliche und mathematische Fächer untersucht ist. Auch für diese Fächer dokumentiert die Metaanalyse vielfältige Einsatzmöglichkeiten. Schreibaktivitäten zur Lernförderung können darin bestehen, dass SchülerInnen Informationen zusammenfassen, Sachverhalte darstellen, Zusammenhänge bzw. Unterschiede analysieren und interpretieren oder Argumentationen schriftlich erarbeiten.

Zwar bemühen sich die AutorInnen darüber hinaus, besonders effektive Einsatzmöglichkeiten von Schreibaktivitäten zu identifizieren. Auf der Basis der aktuellen Befundlage können hier jedoch keine konkreteren Empfehlungen daraus abgeleitet werden.

Studienbeispiel

Hand, Hohenshell & Prain (2004) untersuchen in ihrer Studie die Wirksamkeit von innovativen Schreibaufgaben im Biologieunterricht. Dabei wollten sie testen, ob sich zwei Schreibaufgaben (Schulbuchbeitrag und ein Zeitungsartikel) besser auf die Lernleistung auswirken als nur eine Schreibaufgabe (Schulbuchbeitrag).

An der Studie nahmen 73 SchülerInnen der 10. Jahrgangsstufe aus vier Schulklassen teil. Die SchülerInnen wurden anhand ihrer Klassen in zwei Gruppen eingeteilt, die sich in ihren Vorjahresleistungen nicht voneinander unterschieden. Beide Schülergruppen erhielten zunächst die Aufgabe, einen Schulbuchbeitrag (500 Wörter) zu verfassen, in dem sie ein Thema aus der Biotechnologie für jüngere SchülerInnen erläutern sollten. Anschließend erhielt die Experimentalgruppe zusätzlich die Aufgabe, einen kurzen Zeitungsartikel zu schreiben, in dem sie ihre Ideen aus der ersten Aufgabe erweitern und vertiefen sollten. Die Kontrollgruppe absolvierte stattdessen andere typische Lernaktivitäten, wie Abschreiben von der Tafel oder das Bearbeiten von Arbeitsblättern im selben Zeitumfang. Insgesamt waren die SchülerInnen sechs Wochen mit dieser Unterrichtseinheit beschäftigt. In dieser Zeit erhielten beide Gruppen auch Feedback zu den Schreibaktivitäten und konnten dieses einarbeiten.

Um die Effektivität der unterschiedlichen Maßnahmen zu bestimmen, mussten die SchülerInnen drei Tests bestehend aus geschlossenen und offenen Fragen bearbeiten: Der erste Test fand nach dem Erstellen des Schulbuchbeitrags statt, der zweite Test nach dem Verfassen des Zeitungsartikels und der dritte Test acht Wochen später. Während sich nach der ersten Aufgabe (Test 1) keine Unterschiede in den Testleistungen zwischen Experimental- und Kontrollgruppe zeigten, ergaben sich bedeutsame Unterschiede zugunsten der Experimentalgruppe nach Aufgabe 2 (ES = 0.70) und 8 Wochen danach (ES = 1.09) Das Ergebnis zeigt, dass sich das mehrmalige Bearbeiten von innovativen Schreibaufgaben für das naturwissenschaftliche Lernen lohnen kann.

Referenzen und Links

Podcast

Downloads

Einleitung

Lehren und Lernen nach dem Flipped Classroom-Ansatz wird immer populärer. Lehrende an Schulen und Hochschulen erstellen immer häufiger Videos mit Lerninhalten, mit denen sich SchülerInnen den Unterrichtsstoff selbstständig und selbstreguliert aneignen können (siehe Kurzreview 14 zu selbstreguliertem Lernen). Auf diese Weise können die Präsenzzeiten in der Schule verstärkt dazu genutzt werden, das Gelernte gemeinsam zu vertiefen.

Für dieses Vorgehen spricht aus lernpsychologischer Sicht, dass Lernende einerseits die Geschwindigkeit der Inhaltsvermittlung besser ihrem eigenen Lerntempo anpassen können und andererseits im Klassenzimmer mehr Zeit für gezielte Unterstützung und Feedback beim Lösen von Aufgaben und Anwenden der Lerninhalte zur Verfügung steht. Zudem lässt sich Lernen durch Flipped Classroom interaktiver gestalten, was sich positiv auf die Motivation der SchülerInnen auswirken könnte.

Ob und wie sich dieses Potenzial tatsächlich ausschöpfen lässt, wurde in den vergangenen Jahren verstärkt wissenschaftlich untersucht. Die vorliegende Metanalyse liefert nun umfassende Befunde und legt den Fokus ausschließlich auf die Sekundarstufe.

Was bedeutet Flipped Classroom?

Beim Flipped Classroom-Ansatz (dt. Umgedrehter Unterricht, auch Inverted Classroom) wird die übliche Abfolge – SchülerInnen bekommen Inhalte in der Schule vermittelt und wenden sie dann im Rahmen von Hausaufgaben an und üben – umgedreht. Zuerst erarbeiten sich SchülerInnen die Lerninhalte meistens mithilfe von Lehrvideos individuell und selbstständig. Die gemeinsame Zeit in der Schule wird dann dazu genutzt, das Verständnis der Lerninhalte weiter zu vertiefen: Anwendungsaufgaben können individuell oder kooperativ mit konstruktiver Unterstützung durch die Lehrkraft bearbeiten werden.

Worum geht es in dieser Studie?

In der Metaanalyse untersuchen die AutorInnen die Effektivität des Flipped Classroom-Ansatzes bei SchülerInnen der Sekundarstufe. Dabei konzentriert sich die Metaanalyse auf Studien, in denen ausschließlich Lernvideos zur Stoffvermittlung verwendet werden. Empirische Untersuchungen dazu wurden erstmals 2012 veröffentlicht. Entsprechend berücksichtigt die Metaanalyse 44 experimentelle Studien aus sechs Jahren Forschung (2012–2018). Darin enthalten sind 83 Effektstärken zu Leistungen von insgesamt 2.323 SchülerInnen, die mit Flipped Classroom – d.h. Videos zu Hause und Interaktion in der Schule – lernten.

Die AutorInnen gehen bei ihren Analysen differenziert vor: Sie berücksichtigen den Umstand, dass die experimentellen Vergleiche in den Studien unterschiedlich streng angelegt sind. Abhängig von der Art des zugrundeliegenden experimentellen Vergleichs müssen auch die Ergebnisse unterschiedlich interpretiert werden. Deshalb teilen die AutorInnen alle Studien drei typischen Kategorien von Vergleichen zu: vom einfachen Prä-Post Vergleich bis hin zum strengen Veränderungsvergleich (siehe Tabelle 1). Für alle drei Kategorien berechnen sie dann jeweils einen durchschnittlichen Effekt (Gesamteffekt) und führen jeweils separate Moderatoranalysen durch.

Tabelle 1: Übersicht und Beschreibung der drei unterschiedlichen Vergleichskategorien.

Außerdem überprüfen die AutorInnen im Rahmen von Moderatoranalysen vier Annahmen, die sie aus bisherigen Forschungsbefunden ableiten:

• Die Annahme, dass sich die Effektivität von Flipped Classroom nach Schulfächern unterscheidet.
• Bei längeren Einsatz von Flipped Classroom sollten geringere Effekte zeigen als bei kürzerer Dauer, weil sich SchülerInnen nach einer Weile an die Methode gewöhnen könnten und dadurch der sog. „novelty effect“ wegfällt.
• Die Vermutung, dass es Unterschiede in den Effekten gibt, je nachdem, ob Quizfragen zur Überpüfung des Gelernten direkt im Anschluss an das Video bearbeitet werden oder erst später in der Schule.
• Die Frage, ob sich der zusätzliche Einsatz von Lernmanagementsystemen (wie z.B. Moodle) positiv auf die Effekte auswirkt.

Was findet diese Studie heraus?

Die Ergebnisse der Metaanalyse zeigen, dass Schülerinnen und Schüler der Sekundarstufe insgesamt von Unterricht nach dem Flipped Classroom-Prinzip profitieren. Die Analysen zeigen in allen drei Vergleichskategorien signifikante und positive Gesamteffekte* auf die Lernleistung von SchülerInnen. In der Kategorie »Prä-Post Vergleich« fand man den größten Gesamteffekt mit d = 1.14. Dies deutet darauf hin, dass SchülerInnen durch Flipped Classroom-Unterricht auf messbare Weise hinzulernen, da sie einen deutlichen Wissenszuwachs vom Prätest zum Posttest verzeichnen.

In den beiden anderen (strengeren) Kategorien wurden in den Studien Kontrollgruppen in Form von regulärem Unterricht zum Vergleich herangezogen. Hier fallen die Gesamteffekte kleiner aus, sind aber dennoch substanziell und signifikant. Das heißt, dass SchülerInnen, die mit Hilfe von Flipped Classroom lernten, im Vergleich zu SchülerInnen im regulären Unterricht mehr gelernt haben: Für Posttestvergleiche beträgt die Effektstärke d = 0.55 und für Veränderungsvergleiche d = 0.45. Dies kann als Beleg dafür dienen, dass Flipped Classroom Unterricht effektiver sein kann als traditionelle Unterrichtsangebote.

Da die Moderatoranalysen (je nach Vergleichskategorie: siehe Tabelle 1) zu unterschiedlichen Ergebnissen kommen und in die einzelne Modertoranalyse jeweils eine geringe Anzahl an Studien eingehen, kann die Metaanalyse keine eindeutigen Befunde zu den Annahmen der AutorInnen im Hinblick auf weitere Einflussfaktoren beitragen.

* Sämtliche Befunde gelten für die Analysen in denen einzelne Extremwerte (sogenannte Ausreißer) aufgrund ihrer verzerrenden Wirkung auf den Gesamteffekt ausgeschlossen wurden.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittlichen Effektstärken liegen nach der üblichen Einteilung nach Cohen (1988) im mittleren (d = 0.45/0.55) bis hohen Bereich (d = 1.2). Die Effektstärke von d = 0.45 bei der Analyse der Studien mit kontrollierten Veränderungsvergleichen bedeutet, dass etwas mehr als 67 % der Lernenden mit Flipped Classroom höhere Lernzuwächse erzielten als der Durchschnitt der Lernenden im regulären Unterricht.

Analog zu bisherigen Befunden (siehe Cheung & Slavin, 2016) zeigt die Metaanalyse, dass striktere und damit zuverlässigere Studiendesigns, die Veränderungsvergleiche (Kategorie 3) ermöglichen, geringere Effektstärken aufweisen. Dass die durchschnittliche Effektstärke dennoch im mittleren Bereich liegt, deutet auf die Beständigkeit des positiven Effekts von Flipped Classroom-Angeboten im Sekundarbereich hin. Eine weitere Metaanalyse (van Alten et al., 2019), die sich vorwiegend auf Studien aus dem Hochschulbereich stützt, ermittelte ebenfalls einen positiven Gesamteffekt (g = 0.36) für Flipped Classroom.

Bei der Einschätzung aller Effektstärken dieser Metaanalyse ist einschränkend festzuhalten, dass die relativ geringe Zahl der eingehenden Studien meist auf kleinen Stichproben und kaum auf standardisierten Leistungstests beruhen (wie auch im Studienbeispiel dieses Kurzreviews). Aus der Forschung ist jedoch bekannt, dass auch diese Faktoren einen deutlichen Einfluss auf die Ergebnisse haben können. Eine größere Anzahl an Primärstudien, die diesen Kriterien auch genügen, muss in der Zukunft zeigen, wie belastbar die Befunde dieser Metaanalyse sind.

Wie differenziert sind die Ergebnisse dargestellt?

Die Analysen fokussieren auf SchülerInnen der Sekundarstufe und wurden in diesem Bildungsabschnitt nicht weiter differenziert. Bezogen auf die Schulfächer wurden Befunde aus den Bereichen Mathematik/Informatik, Naturwissenschaft/Technik und Sprach- und Geisteswissenschaften verglichen. Je nach Kategorie liefern die Moderatoranalysen dazu unterschiedliche Befunde. Sie lassen deshalb keine klare Einschätzung zu, ob Flipped Classroom-Angebote in den verschiedenen Schulfächern unterschiedlich effektiv sind. Sämtliche Befunde der Metaanalyse beziehen sich auf Schülerleistungen; weitere mögliche Ergebnisse wie Schülermotivation oder Engagement wurden nicht untersucht.

Wie verallgemeinerbar sind die Befunde?

Die Frage nach der Verallgemeinerbarkeit der berichteten Effekte richtet zunächst den Fokus auf die in der Metaanalyse untersuchten Bedingungen, die die generelle Wirksamkeit von Flipped Classroom einschränken könnten. Die Metaanalyse ermittelte unter nahezu allen untersuchten Bedingungen positive Effekte. Das heißt, SchülerInnen profitieren in unterschiedlichen Fächern wie Mathematik und Naturwissenschaften oder bei unterschiedlicher Dauer der Intervention – von weniger als vier Wochen bis zu mehr als acht Wochen. Gleiches gilt für unterschiedliche Einsatzvarianten von Quiz oder Lernmanagementsystemen im Zusammenhang mit Flipped Classroom.

Grundsätzlich deuten die Befunde folglich auf eine positive Wirkung von Flipped Classroom unter verschiedenen Bedingungen hin. Ob sich diese positiven Wirkungen in ihrem Ausmaß von einander unterscheiden, kann die Metaanalyse nicht hinreichend klären, da die Moderatoranalysen zu unterschiedlichen Ergebnissen führten (siehe Übersichtstabelle „Einzelbefunde der Metaanalyse im Überblick“). Weitere mögliche Einflussfaktoren konnten aufgrund der geringen Primärstudienbasis nicht getestet werden. So wäre es aufschlussreich gewesen zu wissen, ob Voraussetzungen der SchülerInnen oder der Lehrkräfte hinsichtlich Motivation und Erfahrung mit Flipped Classroom eine Rolle spielen.

Was macht die Metaanalyse wissenschaftlich relevant?

Aktuelle Studien und metaanalytische Befunde zu Flipped Classroom stammen vorwiegend aus dem Hochschulbereich (siehe van Alten et al, 2019). Da sich der Kontext Schule von dem der Hochschule/Universität stark unterscheidet, sind Metaanalysen wichtig, die zuverlässige Befunde für spezifische Lernergruppen ermitteln. Die vorliegende Metaanalyse leistet hier einen wichtigen Beitrag. Sie liefert eine erste Bestandsaufnahme und Belege bezüglich der Wirksamkeit von Flipped Classroom für die Sekundarstufe.

Dass die AutorInnen unterschiedliche Studiendesigns nicht nur berücksichtigen, sondern auch konsequent in unterschiedliche Analysen aufteilen, ist gerade bei der oft heterogenen Studienlage der Unterrichtsforschung eine wirksame Maßnahme. In dieser Hinsicht kann diese Metaanalyse als wegweisend betrachtet werden. Ferner zeigt die Metaanalyse deutlich, dass mehr Forschung notwendig, ist, um auf Fragen des effektiven Einsatzes und der effektiven Gestaltung von Flipped Classroom-Unterricht zuverlässige Antworten zu erhalten.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht größtenteils den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Angaben zur Suche, Kodierung und Analyse der Primärstudien erfüllen nahezu alle Qualitätsstandards. Detailliertere Informationen dazu, wie die berücksichtigten Studien genau ausgewählt wurden, hätten noch ergänzt werden können. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Flipped Classroom setzt an einem gemeinsamen zentralen Anliegen von Lehrkräften und Lernenden an: Mehr Zeit dafür zu haben, Inhalte im Unterricht zu vertiefen, zu diskutieren und gemeinsam (Anwendungs-)Aufgaben zu bearbeiten, die mit gezielter Unterstützung und zeitnahem Feedback für einzelne SchülerInnen oder SchülerInnengruppen einhergehen.

Weiteren Aufwind erhält diese Möglichkeit durch die technischen Entwicklungen, die das Erstellen und den Einsatz von videobasiertem Lernmaterial enorm erleichtern.

Die vorliegende Metaanalyse enthält nun auch erste Hinweise auf der Basis aktueller Forschung, dass sich Unterricht nach dem Flipped Classroom-Ansatz für das Lernen der SchülerInnen auszahlt und eine wirksame Alternative oder Ergänzung zu regulären Unterrichtsarrangements darstellt. Die Anzahl und die Qualität der vorhandenen Studien zeigt aber auch, dass die Forschung in diesem Bereich noch relativ am Anfang steht und unterschiedliche Gestaltungoptionen oder Einsatzszenarien von Flipped Classroom dringend in weiteren Studien untersucht werden sollten.

Studienbeispiel

Die Studie von Kostaris und KollegInnen (2017) fand im regulären Informatikunterricht der 8. Klasse über einen Zeitraum von acht Wochen statt. Inhalte des Unterrichts waren Hardwarekomponenten von Computern sowie Grundprinzipien von Informationsverarbeitung und Software Design. Die Stichprobe bestand aus zwei Schulklassen (jeweils 23 SchülerInnen), die beide von derselben Lehrkraft unterrichtet wurden.

Um die Wirksamkeit von Flipped Classroom zu bestimmten, unterrichtete die Lehrkraft in der einen Klasse nach Flipped Classroom (Experimentalgruppe) und in der anderen Klasse im regulären Modus (Kontrollgruppe). Beide Klassen wurden projektbasiert unterrichtet, das heißt, die SchülerInnen arbeiteten gemeinsam an offenen Aufgabenstellungen, deren Durchführung sie planen und umsetzen mussten.

Für die Experimentalgruppe erstellte die Lehrkraft Lehrvideos zu den Inhalten, mit deren Hilfe sich SchülerInnen zu Hause vorbereiten konnten. Die Zeit im Präsenzunterricht konnte die Klasse dann nahezu ausschließlich für die gemeinsame Arbeit verwenden. In der Kontrollgruppe hingegen wurden die Inhalte durch Lehrervorträge im Präsenzunterricht erarbeitet. Die restliche Unterrichtszeit konnten SchülerInnen ebenfalls gemeinsam an Aufgaben arbeiten und die Arbeit zu Hause fortsetzen. Die Lernzeit, die Lerninhalte und auch der projektbasierte Unterrichtsmodus waren also in beiden Untersuchungsgruppen gleich lediglich in der Gestaltung von Präsenzzeit und der Zeit zu Hause unterschieden sich die Gruppen.

Zusammen mit KollegInnen und WissenschaftlerInnen entwickelte der Lehrer einen Multiple-Choice-Test auf Basis der Lehrplanvorgaben. Mithilfe des Tests wurde die Leistung von Experimentalgruppe und Kontrollgruppe vor und nach der Unterrichtssequenz gemessen. Damit realisiert die Studie ein Studiendesign, auf dessen Grundlage Veränderungsvergleiche vorgenommen werden können. Beide Gruppen erzielten im Posttest höhere Leistungen als im Prätest, allerdings war der Zugewinn in der Flipped Classroom Gruppe größer (d = 0.75).

Referenzen und Links

Podcast

Downloads

Einleitung

Die bisherige Forschung konnte zeigen, dass SchülerInnen deutlich wirksamer lernen, wenn sie beim Lernen spontan und von sich aus regelmäßig ihr Verständnis überprüfen und versuchen, sich Zusammenhänge selbst zu erklären: Sie erschließen sich dadurch ein tieferes Verständnis und erbringen allgemein bessere Lernleistungen.

Häufig tendieren SchülerInnen allerdings dazu, Inhalte wie Prozessabläufe einfach auswendig zu lernen. So verstehen sie häufig nicht, wie einzelne Schritte aufeinander aufbauen oder welche Bedeutung sich hinter bestimmten Begriffen verbirgt. Sie entwickeln dadurch kein tieferes Verständnis der Inhalte. Lehrkräfte können mit dieser Situation unterschiedlich umgehen: Sie können SchülerInnen Erklärungen anbieten oder sie gezielt dazu anregen, sich selbst Begriffe und Zusammenhänge zu erklären.

In ihrer Metaanalyse untersuchen Bisra und KollegInnen diesen Sachverhalt: Profitieren SchülerInnen von Selbsterklärungimpulsen? Oder überfordern solche Impulse SchülerInnen eher und tragen damit nicht so effizient zum Lernen bei wie angenommen?

Kurz erklärt: Selbsterklärungen

Sich selbst etwas zu erklären ist eine kognitive Aktivität, die dazu führen soll, dass Lernende ein tieferes Verständnis von Lerninhalten entwickeln. Im Gegensatz zu sogenannten instruktionalen Erklärungen durch die Lehrkraft erschließen und erklären sich Lernende hier Begriffe, Sachverhalte und Zusammenhänge selbst.

Dabei stellen sie zum Beispiel Verknüpfungen zwischen den Inhalten von Aufgaben und ihrem eigenen Vorwissen her, machen sich bewusst, welche einzelnen Schritte zur Lösung einer Aufgabe nötig sind oder welche argumentativen Strukturen (z.B. These, Beleg oder Gegenthese) in einem Textabschnitt stecken.

Manche Lernende zeigen dieses Verhalten spontan, andere müssen durch Fragen und andere Impulse dazu angeregt werden. Solche Impulse können vor, während oder nach der Bearbeitung von Aufgaben eingesetzt werden. Zu diesen Impulsen gehören Formulierungen wie „Erklären Sie diesen Begriff“, „Begründen Sie diese Entscheidung“, oder „Welchen Lösungsschritt wenden Sie an und warum?“. Zentral ist dabei, dass diese Impulse selbst keine zusätzlichen Sachinformationen oder Erklärungen enthalten.

Worum geht es in dieser Studie?

Die Metaanalyse geht der Frage nach, ob SchülerInnen Lerninhalte besser erinnern, verstehen und auf neue Sachverhalte anwenden können, wenn sie bei der Bearbeitung von Aufgaben dazu angeregt werden, sich bestimmte Lerninhalte selbst zu erklären. Aus lernpsychologischer Sicht sollten bessere Leistungen durch Selbsterklärungen dadurch zustande kommen, dass SchülerInnen ihr vorhandenes Wissen nutzen, um sich neue Inhalte zu erschließen und diese tiefergehend verarbeiten und besser verknüpfen.

Die Metaanalyse basiert nahezu ausschließlich auf experimentellen Primärstudien. Diese vergleichen jeweils die Lernleistung von SchülerInnen, die bei Aufgaben schriftliche Selbsterklärungsimpulse erhalten, mit SchülerInnen, die zwar dieselbe Aufgabe bearbeiten, aber keinen Selbsterklärungsimpuls bekommen. In den Kontrollgruppen erhalten SchülerInnen stattdessen:

• Aufgaben ohne zusätzliche Impulse,
• zusätzliche inhaltliche Erklärungen (= instruktionale Erklärungen), oder
• Impulse, um Inhalte zu wiederholen, Zusammenfassungen zu erstellen oder sich gegenseitig etwas zu erklären.

Dadurch lässt sich klären, ob Selbstklärungsimpulse nur dann effektiver sind, wenn es im Vergleich dazu keine Impulse gibt, oder ob sie auch anderen Formen von Impulsen überlegen sind. Zusätzlich lässt sich im Rahmen von Moderatoranalysen feststellen, ob die Wirksamkeit von Selbsterklärungsimpulsen zum Beispiel vom Unterrichtsfach abhängt oder etwa davon, ob der Impuls vor, während oder nach der Aufgabenbearbeitung gegeben wurde – also vom Timing.

Insgesamt konnten die ForscherInnen 64 passende Studien aus dem Zeitraum zwischen 1993 und 2013 identifizieren. Darin enthalten sind Daten von 5.917 Lernenden. 41 experimentelle Vergleiche kommen aus dem mathematisch-naturwissenschaftlichen Bereich, 13 experimentelle Vergleiche aus der Sekundarstufe und 18 experimentelle Vergleiche aus europäischen Ländern.

Was findet diese Studie heraus?

Über alle Studien hinweg ergab die Metaanalyse einen signifikanten mittelgroßen Gesamteffekt von g = 0.55 (Konfidenzintervall g = 0.45 bis g = 0.65) zugunsten von Aufgabenbearbeiten mit Selbsterklärungsimpulsen. Im Durchschnitt zeigen SchülerInnen eine höhere Lernleistung im Erinnern, Erklären und Anwenden von Inhalten, wenn sie Selbsterklärungsimpulse erhalten, als wenn sie die Aufgaben ganz ohne Impulse bearbeiten. In geringerem Maße gilt dies auch im Vergleich zu inhaltlichen Erklärungen (= instruktionale Erklärungen) oder anderen Impulsen, die von der Lehrkraft angeboten werden. Einen Überblick über alle untersuchten Formen von Impulsen finden Sie in der Übersicht über alle Einzelbefunde.

Die Moderatoranalysen zeigen darüber hinaus nur wenige statistisch bedeutsame Unterschiede in der Stärke der Effekte. Hervorzuheben ist etwa, dass Impulse, die SchülerInnen dazu anregen, Begriffe zu erklären, deutlich effektiver sind als sogenannte metakognitive Impulse – also Impulse, die sie dazu anregen, ihre Planung oder ihr Abschneiden bei der Aufgabe zu erklären. Insgesamt liefern die Befunde ein einheitliches Bild ab: Aufgabenbearbeiten mit Selbsterklärungsimpulsen ist lernförderlicher als Aufgabenbearbeiten mit anderen oder keinen Impulsen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich (g = 0.55). Diese Effektstärke bedeutet, dass etwas mehr als 70 % der Lernenden mit Selbsterklärungsimpulsen besser abschneiden als der Durchschnitt der Lernenden aus den Kontrollgruppen mit anderen oder keinen Impulsen. Dieser positive Effekt ist über viele unterschiedliche Situationen und Bedingungen stabil. Gleichzeitig zeigen einige Studien, dass die Wirksamkeit auch deutlich höher liegen kann – zum Beispiel, wenn Lernende dazu angeregt werden, sich Begriffe zu erklären. Entscheidend bei der Einschätzung der Effektstärken ist, dass fast alle Studien (über 90 %) ein experimentelles Design aufweisen. Dadurch gewährleisten sie zuverlässiger, dass die Effekte tatsächlich aufgrund der Selbsterklärungsimpulse zustande kommen und nicht aufgrund anderer Studienmerkmale.

Allerdings enthält die Metaanalyse keine Informationen dazu, mit welchen Testinstrumenten die Leistungen gemessen wurden. Diese Informationen wären hilfreich, da aus der Forschung bekannt ist, dass es oft einen Unterschied macht, ob standardisierte} oder nicht-standardisierte Leistungstests verwendet wurden (vgl. Cheung & Slavin, 2016).

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Altersstufen und der untersuchten Erfolgskriterien eingeschätzt. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (Mathematik, Naturwissenschaften, Sozialwissenschaften und Informatik) und unterschiedlichen Altersstufen (Primarstufe, Sekundarstufe, erwachsene Lernende). Zu den untersuchten Erfolgskriterien gehörten unter anderem Wiederholen/Erinnern, Verständnis, Transfer sowie Problemlösen. Unterschiede zwischen den drei Kontexten sind jedoch nicht signifikant. Das heißt, dass sich Selbsterklären in allen drei Bereichen ähnlich positiv auswirkt.

Wie verallgemeinerbar sind die Befunde?

Selbsterklärungsimpulse können auf vielfältige Art und Weise und in unterschiedlichen Kontexten eingesetzt werden. Die zahlreichen und unterschiedlichen Moderatoranalysen zeigen diese Flexibilität (siehe Übersichtstabelle). Die Moderatoranalysen zeigen auch, dass bis auf wenige Ausnahmen hier keine statistisch bedeutsamen Unterschiede festgestellt werden konnten. Dies spricht dafür, dass der positive Effekt solcher Impulse gut verallgemeinert werden kann.

Nicht untersucht wurde allerdings, ob und wie Impulse zum Selbsterklären mit individuellen Voraussetzungen von Lernenden oder mit der Komplexität der Lerninhalte zusammenhängen. Lernende gehen jedoch häufig mit unterschiedlichem inhaltlichen Vorwissen und unterschiedlichen Fähigkeiten an das selbstständige Bearbeiten von Lerninhalten heran. Außerdem stellen Lerninhalte unterschiedlich hohe Anforderungen. Insofern wäre es hilfreich gewesen, diese Faktoren ebenfalls zu untersuchen.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist wissenschaftlich bedeutsam. Sie analysiert erstmals umfassend Studien zur Wirksamkeit von Selbsterklärungsimpulsen. Zudem trägt sie empirisch zur Beantwortung wichtiger wissenschaftlicher Fragestellungen aus der Lehr-Lernforschung bei – etwa zu der zentralen Frage, ob es tatsächlich effektiver ist, Lernende selbst Erklärungen formulieren zu lassen, anstatt ihnen zusätzliche Erklärungen anzubieten (sog. Coverage Hypothese; vgl. Hausmann & VanLehn, 2010). Die Metaanalyse kann diese Frage zwar grundsätzlich mit »Ja« beantworten, allerdings bleiben wichtige und praxisrelevante Fragen für zukünftige Forschung offen:

1. Gilt der positive Effekt für Lernende mit unterschiedlichen Kompetenzen und Aufgaben von unterschiedlicher Komplexität?
2. Verinnerlichen Lernende Selbsterklärungsstrategien dadurch, dass Lehrkräfte sie zunächst häufig und regelmäßig dazu anregen und mit zunehmender Expertise der Lernenden kontinuierlich ausschleichen – auch fading genannt?
3. Können digitale Anwendungen, die stärker individualisierte Impulse geben, die Wirksamkeit von Impulsen noch weiter erhöhen?

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht nur teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Metaanalysis Reporting Standards) Zwar wurden alle wichtigen Details bei der statistischen Analyse berichtet. Die AutorInnen dokumentierten jedoch die Schritte bei der Suche und Auswahl und Kodierung der Primärstudien nicht hinreichend. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die vorliegende Metaanalyse zeigt auf der Basis von 20 Jahren Forschung, dass SchülerInnen grundsätzlich davon profitieren, wenn sie bei Aufgaben dazu angeregt werden, sich Sachverhalte selbst zu erklären und intensiver über Zusammenhänge nachzudenken.
Die Befunde zeigen zudem, dass Impulse zu Selbsterklärungen im Durchschnitt auch effektiver sein können, als wenn Lehrkräfte den SchülerInnen Sachverhalte erklären. Geht es also darum, dass SchülerInnen ein tieferes Verständnis von Inhalten entwickeln, empfiehlt es sich für Lehrkräfte und für das Gestalten von Lernmaterialien, SchülerInnen dazu anzuregen, erst einmal selbst genauer nachzudenken. Zum Beispiel können sie sich selbst erklären, was sie unter einem bestimmten Begriff verstehen.

Offen bleibt in diesem Zusammenhang allerdings die Frage, wie Selbsterklärungen bei komplexen Sachverhalten oder bei SchülerInnen mit geringem Vorwissen abschneiden. Womöglich sind digitale Angebote mit adaptiven Methoden (vgl. Kurzreview 21) hier ein hilfreiches Instrument für die Zukunft. Für gesicherte Antworten bedarf es weiterer Forschung in diesem Bereich.

Studienbeispiel

Die Studie von Eckhardt und KollegInnen (2013) zeigt, dass Impulse zur Selbsterklärung mindestens so wirksam sein können wie instruktionale Erklärungen. An der Studie im Biologieunterricht der achten Klasse nahmen 124 SchülerInnen teil. Im Themenbereich „Ökosystem Wasser“ war das Lernziel, dass SchülerInnen die Zusammenhänge zwischen der Entwicklung von Jäger- und Beutepopulationen verstehen. In einer computerbasierten Lernumgebung konnten die SchülerInnen im Sinne des Forschenden Lernens Vorhersagen zur Entwicklung der beiden Populationen aufstellen. Mithilfe einer Computersimulation testeten sie ihre Vorhersagen und konnten ihre Ergebnisse anschließend interpretieren.

Die Studie untersucht, welche Art der Unterstützung SchülerInnen insbesondere bei der Interpretation der Ergebnisse am wirksamsten geholfen hat. Die WissenschaftlerInnen unterscheiden dabei drei Arten von Unterstützung, wobei die Schulklassen per Zufall einer von drei Untersuchungsbedingungen zugewiesen wurden:

• In der ersten Bedingung erhielten die SchülerInnen den Auftrag, ihre Ergebnisse selbst zu beschreiben und zu interpretieren (Selbsterklärungsimpuls).
• In der zweiten Bedingung gab das Computerprogramm eine komplette Interpretation der Ergebnisse für die SchülerInnen aus (vorgegebene Erklärung).
• In der dritten Bedingung gab es – abgesehen von der Aufgabenstellung – keine weiteren Aufträge oder Hilfestellungen (ohne Unterstützung).

Alle SchülerInnen arbeiteten insgesamt zweimal 90 Minuten mit dem Lernmaterial. Die Ergebnisse der Wissenstests nach den jeweiligen Lerneinheiten zeigten, dass Selbsterklärungsimpulse (Bedingung 1) die besten Leistungen erbrachten und auch instruktionale Erklärungen (Bedingung 2) zu besseren Leistungen führten als in der Bedingung, die weder Erklärungen noch zusätzliche Unterstützung erhielt (Bedingung 3).

Referenzen und Links

Podcast

Downloads

Einleitung

Der Auftrag, soziale und emotionale Fähigkeiten von SchülerInnen in der Schule zu fördern, ist in Bildungsplänen zumeist im Rahmen des Querschnittbildungsziels „Persönlichkeitsentwicklung“ verankert. Die vorliegende Metaanalyse nimmt einen anderen Blickwinkel ein und analysiert, ob sich die schulische Leistung von SchülerInnen verbessert, wenn soziale und emotionale Fähigkeiten gezielt gefördert werden.

Im englischsprachigen Raum wurden seit einigen Jahren groß angelegte Förderrichtlinien und -projekte zur Unterstützung der sozialen und emotionalen Entwicklung von SchülerInnen entwickelt und aufwändig evaluiert. Diesen Förderprogrammen liegt die Annahme zugrunde, dass sich SchülerInnen mit besser entwickelten sozialen und emotionalen Fähigkeiten in der Schule stärker engagieren, unter anderem weniger verhaltensauffällig werden und nicht zuletzt auch quer durch den Fächerkanon bessere Leistungen erbringen.

Die soziale und emotionale Entwicklung der SchülerInnen in der Schule umfasst zwei Aspekte (Zur ausführlichen Darstellung der Kernkompetenzen siehe Zusatzmaterial: „Soziales und Emotionales Lernen: Definition und Kernkompetenzen„):

1. Individuelle Fähigkeiten der Resilienz und emotionalen Selbststeuerung, wie Selbstbewusstheit, Selbstmanagement und verantwortungsbewusstes Entscheiden und
2. Soziale Fähigkeiten, die auf das Verhalten und die Beteiligung in sozialen Gruppen abzielen: Soziales Bewusstsein, Beziehungs- und Teamfähigkeit sowie verantwortungsbewusstes Entscheiden.

Die vorliegende Metaanalyse trägt die empirischen Befunde aus qualitativ hochwertigen Evaluationsstudien zu Förderprogrammen für soziales und emotionales Lernen erstmals umfassend zusammen.

Worum geht es in dieser Studie?

Dass und wie sich die Förderung von sozialen und emotionalen Fähigkeiten positiv auf Schulleistungen auswirken soll, ist zunächst erklärungsbedürftig. Die Autoren der Metaanalyse beschreiben zwei hypothetische Mechanismen, die diesen Zusammenhang – möglicherweise auch im Zusammenspiel – erklären können:

• Individuelle Dynamik. Die Förderprogramme adressieren bei den SchülerInnen vor allem individuell soziale und emotionale – teilweise durch altersbedingte Wachstums- und Entwicklungsschritte bedingte – Bedürfnisse. Diese werden ernst genommen und im besten Fall befriedigt. Dadurch steigt die Motivation und die Leistungen verbessern sich.
• Soziale Dynamik. Durch die Förderung sozialer und emotionaler Fähigkeiten entsteht vor allem ein verändertes Schul- und Unterrichtsklima, beispielsweise durch einen veränderten Umgang der beteiligten Personen miteinander, das sich positiv auf die Lernprozesse auswirkt. Verbesserte Leistungen sind unter anderem die Folge.

Inwiefern die Programme tatsächlich derartige individuelle oder unterrichtsklimatische Verbesserungen bewirken, untersucht die Metaanalyse nicht. Stattdessen ist die Wirkung der sozialen und emotionalen Förderprogramme auf die Schulleistungen in den Fächern Mathematik, Naturwissenschaften und Lesen Gegenstand der Untersuchung.

Bei der Auswahl geeigneter Evaluationsstudien, die solche Förderprogramme begleitet haben, gehen die AutorInnen streng kriterienbasiert und qualitätsorientiert vor: Soziale und emotionale Förderprogramme mussten unter anderem über einen Zeitraum von mindestens 12 Wochen an Schulen umgesetzt werden; Vorab-Leistungsunterschiede mussten experimentell und statistisch kontrolliert und Schulleistungen mit standardisierten Leistungstests erfasst werden.

Mit Hilfe dieser Kriterien identifizierten die AutorInnen 40 experimentelle und quasi-experimentelle Evaluationsstudien. An den Studien waren insgesamt 61.360 SchülerInnen in Mathematik, 16.380 in Naturwissenschaften und 57.755 im Lesen von der Vorschule bis zum Abitur beteiligt. Neben dem Einfluss der sozialen und emotionalen Förderprogramme auf die Schulleistungen untersucht die Metaanalyse in sogenannten Moderatoranalysen auch, welche Rolle dabei unterschiedliche Gestaltungsmerkmale der Förderprogramme oder methodische Faktoren – wie das Forschungsdesign – spielen (siehe Tabelle 1).

Was findet diese Studie heraus?

Corcoran und KollegInnen berichten insgesamt kleine bis mittlere positive Gesamteffekte der sozialen und emotionalen Förderprogramme auf die Schulleistungen. Auf Grundlage von 33 Studien in Mathematik ermitteln sie einen mittelgroßen positiven Effekt von ES = 0.26. In den Naturwissenschaften erfüllten lediglich fünf Studien die Einschlusskriterien. Auf dieser Basis errechnen die AutorInnen einen kleinen positiven Effekt von ES = 0.19. Die einzelnen Programme unterscheiden sich in ihrer Wirksamkeit deutlich: Die Spanne der berichteten Effektstärken aus den verschiedenen Evaluationsstudien reicht von -0.19 bis +1.32. Moderatoranalysen konnten die AutorInnen aufgrund der geringen Studienzahl in Naturwissenschaften nur für Mathematik durchführen. Bei diesen identifizierten sie keine systematischen Unterschiede, die mit dem Alter, dem soziooökonomischen Status der SchülerInnen oder der Programmintensität zusammenhängen. Bemerkenswert ist der Befund, dass Programme mit einer Intensität von weniger als 15 Minuten pro Tag (bzw. 75 Minuten pro Woche) Effekte von ES = 0.32 im Mittel erzielen. Die Befunde aller Moderatoranalysen für das Fach Mathematik sind in Tabelle 1 zusammengetragen.

Tabelle 1. Übersicht über die Moderatoren und die einzelnen Stufen im Fach Mathematik.

Anmerkungen zur Tabelle:
(n.s.) = kein signifikanter Unterschied zwischen den Stufen eines Moderators, d.h. die Effekte unterscheiden sich beispielsweise in Bezug auf das Alter nicht statistisch signifikant zwischen Primarstufe, Sekundarstufe oder gemischt (auch wenn die Werte z.T. deutlich variieren).

* = statistisch signifikanter Unterschied für die spezifische Moderatorstufe, d.h. beispielsweise, dass für die Altersgruppe Sekundarstufe mit 95% iger Wahrscheinlichkeit davon ausgegangen werden kann, dass ein positiver Effekt der implementierten Programme vorliegt.

(k.A.) = Die Metaanalyse macht keine Angaben zu Effektstärken, Konfidenzintervallen oder Signifikanztests.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittlichen Effektstärken liegen nach der üblichen Einteilung nach Cohen (1988) im kleinen (Naturwissenschaften) bis mittleren (Mathematik) Bereich. Auch für Lesen wurde ein mittelgroßer Effekt (ES = 0.25; Grundlage: 35 Studien) berichtet. Effekte in dieser Größenordnung bedeuten, dass ca. 56 % der SchülerInnen mit Förderung sozialer und emotionaler Fähigkeiten bessere Schulleistungen erbrachten als der Durchschnitt der SchülerInnen ohne gezielte Förderung. Diese Befunde sind durchaus beachtlich, wenn man bedenkt, dass sie auf der Grundlage von qualitativ hochwertigen Studien zustande gekommen sind, die unter Realbedingungen im schulischen Alltag durchgeführt wurden und ausschließlich standardisierte Leistungstests verwendeten. Vor allem ist beachtlich, dass sich positive Effekte der Programme zur Förderung sozialer und emotionaler Fähigkeiten auf die Schulleistungen in verschiedenen Fächern nachweisen lassen, obwohl Leistungsförderung nicht das direkte Ziel der Programme ist.

Wie differenziert sind die Ergebnisse dargestellt?

Dieser Abschnitt stellt dar, inwiefern die Ergebnisse innerhalb der MINT-Schulfächer, Sekundarstufe und in Bezug auf die Erfolgskriterien differenziert berichtet werden. Die Metaanalyse differenziert zwischen Mathematik und Naturwissenschaften und berichtet einen Wert für die gesamte Sekundarstufe. Als Erfolgskriterium wird ausschließlich Leistung untersucht, da nur Ergebnisse standardisierter Leistungstests berichtet werden. Effekte auf soziale und emotionale Fähigkeiten werden hingegen nicht analysiert, obwohl dies für die Klärung der hypothetischen Wirkmechanismen durchaus interessant wäre. 

Wie verallgemeinerbar sind die Befunde?

In der Metaanalyse wurden für die Bereiche Alter, sozioökonomischer Status und Intensität der Programme Moderationsanalysen durchgeführt – ohne signifikante Befunde. Das heißt, der Gesamteffekt für das jeweilige Fach (Mathematik, Naturwissenschaften, Lesen) liefert eine belastbare Orientierungsgröße. Auch von verschiedenen Forschungsdesigns, Studiengrößen und Publikationszeiträumen sind die jeweiligen Gesamteffekte nicht signifikant beeinflusst. Einschränkend muss erwähnt werden, dass die Anzahl der berücksichtigten Effektstärken in den meisten Fällen klein ist: Es ist zu erwarten, dass der Einfluss bestimmter Moderatoren bei einer größeren Anzahl von Primärstudien ein signifikantes Niveau erreicht, da manche Werte knapp an der Grenze zur Signifikanz liegen.

Was macht die Metaanalyse wissenschaftlich relevant?

Aus wissenschaftlicher Sicht ist die Metaanalyse bedeutsam: Sie aktualisiert und erweitert die Befunde eines älteren Reviews (Durlak et al., 2011), sie liefert einen umfassenden Überblick über das Feld der Forschung zu sozialen und emotionalen Förderprogrammen, indem sie auch (Evaluations-)Studien, die nicht in Zeitschriften mit Peer-Review-Verfahren zur Qualitätssicherung publiziert sind, berücksichtigt, aber dennoch durch strenge Auswahlkriterien eine hohe methodische Qualität sicherstellt.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht vorbildlich den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Schritte bei der Suche, Auswahl und statistischen Analyse erfüllen die Ansprüche beinahe vollständig. Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Ergebnisse der Metaanalyse zeigen, dass die gezielte Förderung der sozialen und emotionalen Fähigkeiten von SchülerInnen positive Auswirkungen auf deren schulische Leistungen hat. Die gezielte Förderung kann bereits im Vorschulalter erfolgreich eingeführt werden. Auch in der Sekundarstufe können Förderprogramme zur Unterstützung der sozialen und emotionalen Entwicklung zu besseren Leistungen beitragen: Lehrkräfte und Schulen können dem wachsenden Bedürfnis von SchülerInnen nach mehr Autonomie und Eigenverantwortung – beispielsweise für den eigenen Lernprozess – begegnen, indem sie diese sozialen und emotionalen Fähigkeiten im Unterricht oder in einem größeren schulischen Rahmen gezielt adressieren.

Die Metaanalyse zeigt eine große Bandbreite an möglichen Ansatzpunkten für gezielte Förderprogramme auf: Sie reicht von der Weiterbildung der Lehrkräfte (siehe Studienbeispiel) bis hin zur regelmäßigen und gemeinsamen Achtsamkeitspraxis für SchülerInnen und Lehrkräfte. Die Förderprogramme sind umfassend dokumentiert und alle Befunde sind unter schulischen Alltagsbedingungen, in methodisch sehr anspruchsvollen Evaluationsstudien über längere Zeiträume zustande gekommen. Dies könnte Ansporn sein, auch im deutschsprachigen Raum vermehrt über die Entwicklung und Einführung sozialer und emotionaler Förderprogramme nachzudenken. Damit könnte nicht »nur« ein Beitrag zur Förderung der Schulleistung entstehen, sondern auch das Wohlbefinden und die produktive Zusammenarbeit der (schulischen) Gemeinschaft stärken.

Studienbeispiel

Die Studie von Allen und KollegInnen (2011) liefert ein anschauliches Beispiel, wie sich ein Förderprogramm zur Stärkung der sozialen und emotionalen Entwicklung von SchülerInnen auf die Qualität der Interaktion zwischen Lehrkräften und SchülerInnen auswirkt – und in der Folge auch auf den schulischen Erfolg der SchülerInnen. An der großangelegten experimentellen Studie waren insgesamt 78 Lehrkräfte und 2.237 SchülerInnen der Sekundarstufe beteiligt. Im Programm „my teaching partner“ erhielten die Lehrkräfte in der Experimentalbedingung ein ausführliches Training zu Methoden der Lehrer-Schüler-Interaktion, die zur Gestaltung eines positiven emotionalen Klimas beitragen sollen. Das Training legt ein besonderes Augenmerk darauf, dass Lehrkräfte eine Sensibilität für die entwicklungsbedingten Bedürfnisse von Jugendlichen – z.B. das Streben nach Autonomie – entwickeln und diesen Bedürfnissen im Unterricht Raum geben. Sie sollen den SchülerInnen eine aktive Rolle bei der Gestaltung ihres Lernprozesses einräumen und ihnen einen Sinn für die Relevanz des Lernstoffs für ihr eigenes Leben vermitteln. Das Training soll Lehrkräfte befähigen, diese Ansätze in konkrete Lehrer-Schüler-Interaktionen zu übersetzen. Dazu erhielten die Lehrkräfte in regelmäßigen Abständen über ein Schuljahr verteilt Feedback zur Qualität ihrer Lehrer-Schüler-Interaktionen – auf Grundlage von Videos ihres Unterrichts. In den Schulklassen der Kontrollbedingung erhielten die Lehrkräfte weder das Training noch individuelles Feedback. Die Analysen zeigen, dass sich die Schülerleistungen durch das Förderprogramm in verschiedenen Schulfächern verbesserten. Diese Verbesserung war auf die höhere Qualität der Lehrer-Schüler-Interaktionen und das damit einhergehende bessere soziale und emotionale Lernklima zurückzuführen. Interessanterweise wurde der positive Effekt erst im Schuljahr nach dem Training – mit derselben Lehrkraft, aber neuen SchülerInnen – empirisch festgestellt. Das zeigt, dass sich die Wirkung solcher Trainings erst längerfristig entfaltet. Die komplexen Fähigkeiten müssen erst trainiert und mithilfe von regelmäßigem Feedback kontinuierlich eingeübt werden.

Referenzen und Links

Podcast

Downloads

Einleitung

Abbildungen* sind – egal ob in Arbeitsblättern oder online, in digitalen Lernumgebungen, projizierten Folien oder bei Tafelanschriften – ein zentrales Element von Lernmaterialien. Sie helfen, Zusammenhänge zu veranschaulichen oder Lerngegenstände zu konkretisieren.

Doch in der Regel sind Abbildungen nicht selbsterklärend, sondern bedürfen zusätzlicher textlicher Erläuterung. Wenn Lernende zwei unterschiedliche Informationsquellen integrieren und verarbeiten müssen, entsteht kognitive Belastung. Im Rahmen der Theorie der kognitiven Belastung (engl. cognitive load theory) oder kognitiven Theorie des Multimedialernens wurde vielfach untersucht, unter welchen Bedingungen eine Kombination aus Abbildung und Text lernförderlich bzw. -hinderlich ist.

Mit folgendem Ergebnis: Sind zwei für das Verständnis zusammengehörende Informationen, z.B. Abbildung und erklärender Text, in der Darstellung getrennt bzw. an verschiedenen Stellen platziert, dann müssen Lernende ihre Aufmerksamkeit auf zwei verschiedene Punkte lenken. Dies hat negative Auswirkungen auf das Lernen und Verstehen der Inhalte.

Abb. 1. Beispiel für integrierte und getrennte Anordnung von Abbildung und Text.

Sind Abbildung und Text dagegen integriert dargestellt, also nahe beieinander angeordnet, hat dies einen positiven Effekt (spatial contiguity effect):

Abb. 2. Beispiel für integrierte und getrennte Anordnung von Abbildung und Text.

Die positive Wirkung der Integration von Abbildung und zugehörigem Text auf den Lernerfolg ist vielfach belegt. Die vorliegende Metaanalyse erweitert diesen Kenntnisstand, indem sie aktuelle Studien berücksichtigt und genauer analysiert, unter welchen Bedingungen die Integration von Abbildung und Text besonders effektiv funktioniert.

*Dazu gehören Bilder, Grafiken, Diagramme und weitere Visualisierungen von Informationen.

Worum geht es in dieser Studie?

In der vorliegenden Metaanalyse geht es um den Effekt, den die integrierte Anordnung von Abbildung und Text gegenüber getrennter Anordnung auf das Lernen und Verstehen der Inhalte hat. Sie aktualisiert ältere Metaanalysen (z.B. Ginns, 2006) und untersucht – ermöglicht durch die größere Zahl von verfügbaren Studien – unter welchen Bedingungen die Integration von Abbildung und Text den Lerneffekt wie beeinflusst.

Schröder und Cenkci können auf insgesamt 58 qualitativ hochwertige experimentelle Vergleiche von integrierter vs. getrennter Anordnung von Abbildung und Text zurückgreifen (21 mehr als in der Metaanalyse von Ginns, 2006). Die Studien stammen aus dem Zeitraum von 1989 bis 2017. Insgesamt waren 2.426 Lernende daran beteiligt. Der Lernerfolg wird in allen berücksichtigten Studien in Form von Wissenstests (Wiedergabe und/oder Transfer) überprüft.

Um die Nachhaltigkeit der Effekte mit zu erfassen, verwenden die AutorInnen bei der Berechnung der Effekte jeweils die Testdaten mit dem größtmöglichen zeitlichen Abstand zwischen Lernphase und Testung. Um zu überprüfen, unter welchen Bedingungen die integrierte Gestaltung von Abbildung und Text lernförderlich wirkt, erfassen die Autoren das Präsentationsmedium, die Art und Dynamik der Abbildung sowie die Redundanz des Lernmaterials, also inwiefern die Information in Abbildung und Text doppelt auftaucht (vgl. Tabelle 1).

Was findet diese Studie heraus?

Insgesamt lernen Lernende mit der integrierten Darstellung von Abbildung und Text mehr als mit getrennt dargestellten Informationen (g = 0.63). In den Moderatoranalysen stellen die AutorInnen fest, dass das Präsentationsmedium einen signifikanten Einfluss hat: Den größten Effekt hat die Integration bei Arbeitsblättern und in computerbasiertem Lernmaterial. Die Dynamik der Abbildung beeinflusst den Lernerfolg ebenfalls signifikant: Bei statischen Abbildungen, die nicht animiert oder interaktiv gestaltet sind, sind die Effekte der integrierten Darstellung am größten.

Auch die Redundanz der Inhalte in Abbildung und Text spielt eine Rolle: Wenn die Abbildung nur in Kombination mit dem Text verständlich ist oder wenn der Text auch gänzlich ohne Abbildung verständlich ist, zeigt sich der positive Effekt der integrierten Darstellung am deutlichsten. Für die Art der Abbildung dagegen konnte kein bedeutsamer Einfluss nachgewiesen werden. Weitere Details und Informationen zu den Moderatorvariablen sind in Tabelle 1 berichtet:

Tabelle 1. Stufen der Moderatoren und Ergebnisse der Moderatorenanalysen.

* = signifikant

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der gängigen Kategorisierung nach Cohen (1988) ist der Gesamteffekt der Metaanalyse von g = 0.63 als mittelgroß einzustufen (Basis: 58 Effekte). Damit fällt er etwas niedriger aus als in der letzten Metaanalyse zum Thema von Ginns: g = 0.72 (Basis: 37 Effekte). Der geringfügige Unterschied lässt sich durch die erweiterten technischen Möglichkeiten der Darstellung von Abbildungen und Text erklären. Dadurch entsteht eine größere Varianz. Bei der Integration von Abbildung und Text in Arbeitsblättern kann unter bestimmten Bedingungen ein großer Effekt von g = 0.80 erreicht werden. Dies bedeutet dann, dass knapp 80% der Lernenden, die mit optimiertem Lernmaterial arbeiten, einen höheren Lernerfolg erreichen als der Durchschnitt der Kontrollbedingung. Zusammenfassend ist der Effekt der Integration von Abbildung und Text – insbesondere gemessen am geringen Umsetzungsaufwand – als substanziell einzuordnen.

Wie differenziert sind die Ergebnisse dargestellt?

Die Ergebnisse werden nach verschiedenen Schulfächern und Altersgruppen differenziert. Bei den Schulfächern wird für Biologie/Geographie ein mittelgroßer Effekt, für Technik ein mittelgroßer Effekt und für Mathematik/Physik ein kleiner Effekt berichtet. Im Sekundarstufenbereich wird für die Klassen 6-8 ein kleiner und für die Klassen 9-12 ein großer Effekt berichtet. Als Erfolgskriterium wurde lediglich Lernerfolg in Form von Wiedergabe-, Transfer- und gemischten Tests untersucht. Motivationale Variablen beispielsweise wurden nicht systematisch erfasst.

Wie verallgemeinerbar sind die Befunde?

Die Metaanalyse untersucht zahlreiche Moderatoren, die die Verallgemeinerbarkeit des Gesamteffekts einschränken können. Für die Dauer der Intervention (Abstufungen zwischen unter fünf bis über 15 Minuten), unterschiedliche Ausrichtungen der Testung (Wiedergabe vs. Transfer), Gestaltung der Testaufgaben (offene Aufgaben, Multiple Choice-Aufgaben, Mischung aus beiden) und verschiedene Arten der Rekrutierung und Belohnung der Probanden konnten keine signifikanten Einflüsse nachgewiesen werden. Für unterschiedliche geographische Regionen (u.a. Europa: kleiner Effekt) und Altersgruppen (verschiedene Abstufungen von Kindergarten bis Studierende) jedoch schon. In diesem Fall sind  die spezifischen Effektstärken aussagekräftiger als der Gesamteffekt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse ist aus verschiedenen Gründen als bedeutsam einzustufen. Sie stellt ein Update zu früheren Überblicksarbeiten dar und erweitert den bisherigen Forschungsstand, indem sie einen dezidierten Fokus auf die Bedingungen legt, die sich auf den Effekt der Integration von Abbildung und Text auswirken. Außerdem zeigt sie in ihrer systematischen Herangehensweise Forschungslücken auf. So liegen beispielsweise bestimmten Darstellungsvarianten bislang nur wenige Studien vor.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge APA Meta-Analysis Reporting Standards). Die Angaben zur Suche, Kodierung und Analyse der Primärstudien erfüllen weitgehend alle Qualitätsstandards. Lediglich bei der Frage, wie die berücksichtigten Studien genau ausgewählt wurden, bleibt die Metaanalyse vage. Genauere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

In diesem Fall fällt das Fazit sehr eindeutig aus: Bei der Gestaltung von Lernmaterialien, in denen Abbildungen und erklärender Text kombiniert werden, gilt es, die beiden Informationsquellen möglichst sinnvoll nahe beieinander zu platzieren, d.h. integriert darzustellen (siehe Abb. 2). Die negativen Effekte von räumlich getrennten Materialien sind vielfach aufgezeigt und in unterschiedlichsten Kontexten bestätigt worden.

Die Mehrzahl der Befunde stammt aus experimentellen Laborstudien und nicht aus dem Klassenzimmer. Nichtsdestotrotz haben sie eine hohe Relevanz für die Unterrichtspraxis. Der zugrundeliegende Mechanismus der kognitiven Über- bzw. Entlastung der Verarbeitungskapazitäten von Lernenden beansprucht eine grundsätzliche Gültigkeit für effektives Lernen. Dieser Effekt ist besonders bei der Gestaltung von Arbeitsblättern mit zweidimensionalen Abbildungen zu beobachten. Wenn LehrerInnen also ein gezieltes Augenmerk darauf haben, dass sie Lernmaterialien entwickeln oder auswählen, in denen Abbildungen und dazugehörige Texte integriert angeordnet sind, dann können sie – bei sehr geringem Aufwand – das Lernen deutlich vereinfachen.

Studienbeispiel

Ein besonders großer Effekt (d = 0.97) für die integrierte Darstellung von Abbildung und Text im Vergleich zu getrennt dargestellten Informationen zeigt sich in der Studie von Tindall-Ford und KollegInnen (2015) für Lernmaterial zu Winkeln im Mathematik-Unterricht. Außerdem verdeutlicht die Studie den Mehrwert, der entsteht, wenn Lernende die Integration von Abbildung und Text selbst vornehmen. An der Studie im regulären Mathematikunterricht der siebten Klasse nahmen 48 SchülerInnen teil.

Nach einer kurzen Einführung der zentralen Konzepte wurden die Schülerinnen zufällig in eine von drei Gruppen eingeteilt. Die erste Gruppe erhielt Lernmaterial mit getrennter Darstellung von Abbildung und Text, die zweite erhielt Material mit integrierter Darstellung (siehe Abb. 2), die dritte Gruppe konnte die Beschriftungstexte am Computerbildschirm selbst an die entsprechenden Stellen in der Abbildung setzen. Beim abschließenden Test schnitt die Gruppe mit der integrierten Darstellung am besten ab; wobei der Unterschied zur dritten Gruppe, die die Integration selbst geleistet hatte, unbedeutend war. Der Abstand dieser beiden zur Gruppe mit getrennter Darstellung von Abbildung und Text war hingegen groß und statistisch bedeutsam.

Referenzen und Links

Downloads

Einleitung

Gerade im MINT-Unterricht vermitteln Lehrpersonen ihren SchülerInnen häufig Wissen über komplexe Modelle und Abläufe. SchülerInnen stehen dabei vor der Herausforderung, aus einer Fülle an verbalen und visuellen Informationen die relevantesten auszuwählen und so zu strukturieren, dass sie diese besser behalten und abrufen können. Dies ist insbesondere beim Lernen mit digitalen Medien der Fall, da digitale Arbeitsmaterialien oft komplexer gestaltet sind als klassisches Arbeitsmaterialien wie Arbeitsblätter.

Wie können Lehrpersonen Lernmaterialien gestalten oder auswählen, die SchülerInnen dabei bestmöglich unterstützen? Eine Reihe an Befunden zeigt, dass SchülerInnen besser lernen, wenn Lernmaterialien relevante Informationen oder die organisatorische Struktur der Lerninhalte hervorheben, da dadurch die kognitive Belastung für die Lernenden geringer ist (cognitive load theory). Dieses Prinzip, bei dem die Aufmerksamkeit der Lernenden auf die relevante Information gelenkt wird, wird im Englischen Signaling genannt (dt. Hervorheben, Beispiel siehe Grafik 1).

Grafik 1. Beispiel für farbige Hervorhebungen in einer Lernumgebung.

Allerdings sind Hervorhebungen nicht in jedem Fall hilfreich. Manche Hervorhebungen lenken Lernende eher ab. Weil SchülerInnen dann stärker kognitiv belastet werden, verringert sich auch der Lernerfolg. Die vorliegende Metaanalyse synthetisiert die Ergebnisse bisheriger Studien und untersucht auf dieser Datenbasis, wie sich Hervorhebungen in Lernmaterialien auswirken – z.B. auf den Lernerfolg, die Motivation oder die kognitive Belastung. Sie berücksichtigt dabei eine Vielzahl an Faktoren und Rahmenbedingungen, die einen Einfluss haben könnten – z.B. das Unterrichtsfach oder die Art der Hervorhebungen.

Worum geht es in dieser Studie?

Die Metaanalyse untersucht einerseits, ob Hervorhebungen in Lernmaterialien den Lernerfolg in Bezug auf die Wiedergabe von Wissen (139 experimentelle Vergleiche) und den Transfer von Wissen (70 experimentelle Vergleiche) steigern. Außerdem wurde untersucht, wie diese Hervorhebungen sich auf die kognitive Belastung, die Motivation, die Lernzeit und auf Blickbewegungen von SchülerInnen beim Lernen auswirken. Bei der Untersuchung dieser Forschungsfragen berücksichtigen die AutorInnen eine Reihe an Moderatorvariablen wie Alter oder Vorwissen, die einen Einfluss auf die Wirkung von Hervorhebungen haben könnten (vgl. Tabelle 1).

Die AutorInnen schließen Primärstudien in die Metaanalyse ein, die im Zeitraum von 1970-2016 auf Englisch oder Deutsch in Zeitschriften mit Begutachtungsverfahren, als Abschlussarbeiten, Konferenzbeiträge oder Onlinepublikationen veröffentlicht wurden. Grundlage der Metaanalyse sind insgesamt 103 Studien mit 12.201 TeilnehmerInnen. Ca. 14 % von ihnen stammen aus der Sekundarstufe. Die Mehrzahl der Studien wurde unter streng kontrollierten Bedingungen im Labor durchgeführt, einige Studien aber auch im Schulkontext.

Was findet diese Studie heraus?

Zusammengenommen zeigen die Befunde, dass sich Hervorhebungen in Lernmaterialien positiv auf die Wiedergabe (g = 0.53, mittlerer Effekt) und den Transfer von Wissen auswirken (g = 0.33, kleiner Effekt). Zudem reduzieren sie die kognitive Belastung (g = 0.25, kleiner Effekt), erhöhen die Motivation (g = 0.13, kleiner Effekt) und verlängern die Lernzeit (g = 0.30, kleiner Effekt). Darüber hinaus zeigen die Analysen der Blickbewegungen, dass Lernende Hervorhebungen in Arbeitsmaterialien tatsächlich länger betrachten als die entsprechenden Passagen ohne Hervorhebungen (g = 0.39).

Die einzelnen Moderatoranalysen zeigen, dass Hervorhebungen in Texten für die Wiedergabe von Wissen besonders effektiv sind. Bei Abbildungen ist der Effekt ebenfalls positiv, aber kleiner. In Bezug auf den Wissenstransfer beeinflusst die Art der Hervorhebung in Abbildungen den Effekt: Während sich farbliche Hervorhebungen positiv auswirken, sind Wegweiser, Beschriftungen, Scheinwerfer und grafische Hervorhebungen nicht wirksam. Blinken beeinträchtigt den Wissenstransfer sogar. Hervorhebungen sind in allen Fächern außer Mathematik effektiv. Für alle weiteren Moderatoren berichten die AutorInnen keine signifikanten Befunde. Die einzelnen Effektstärken sind in Tabelle 1 dargestellt.

* signifikanter Effekt

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittlichen Effektstärken liegen nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich für die Wiedergabe von Wissen (g = 0.53) und im kleinen Bereich für den Transfer von Wissen (g = 0.33). Die Größe dieser Effekte bedeuten, dass ca. 70 % der SchülerInnen, die mit Lernmaterialien mit Hervorhebungen gearbeitet haben, Lerninhalte besser wiedergeben und 62 % die Lerninhalte besser auf andere Aufgaben anwenden können als der Durchschnitt der Kontrollgruppe. Die Metaanalyse berücksichtigt nur Primärstudien, die unter stark kontrollierten Versuchsbedingungen durchgeführt wurden. Sie beruht auf einer großen Zahl an Studien – und es finden sich fast durchgängig positive Effekte, die im Einzelnen noch deutlich größer ausfallen können (vgl. Tabelle 1). Diese drei Punkte sprechen für die positive Wirkung von Hervorhebungen in Lernmaterialien und die Belastbarkeit der durchgeführten Analysen.

Wie differenziert sind die Ergebnisse dargestellt?

Die AutorInnen schlüsseln ihre Ergebnisse sehr differenziert nach unterschiedlichen Fächern, Altersstufen und mehreren Erfolgskriterien (z.B. Lernerfolg, Motivation und kognitive Belastung) auf. Hervorhebungen in Arbeitsmaterialien sind hilfreich für Lernende aller Altersstufen – von SchülerInnen der Grundschule bis hin zu Erwachsenen. Im Bereich Wissenstransfer zeigen sich zwischen den (Schul-)Fächern keine Unterschiede. Für die Wiedergabe von Wissen haben Hervorhebungen in Arbeitsmaterialien sehr unterschiedliche Effekte je nach Fach: am Größten sind sie in Psychologie, Geographie und Erziehungswissenschaften, in den Fächern Physik und Biologie etwas kleiner. Die Tatsache, dass der Effekt in Mathematik nicht signifikant ist, führen die AutorInnen darauf zurück, dass in diesem Fach nur wenige Inhalte in Textform dargestellt werden und die Inhalte sehr abstrakt sind. 

Wie verallgemeinerbar sind die Befunde?

Die AutorInnen testen zahlreiche Moderatorvariablen (vgl. Tabelle 1), um zu sehen, inwiefern der Gesamteffekt für unterschiedliche Bedingungen generalisierbar ist. Die Gesamteffekte bieten größtenteils eine gute Orientierung. Für einige wenige Bereiche – z.B. das Unterrichtsfach – unterscheiden sich die Befunde bedeutsam und die spezifischen Werte für die einzelnen Moderatorstufen sind dementsprechend aussagekräftiger als der Gesamteffekt. Die Moderatoranalysen beruhen allerdings größtenteils auf kleinen Stichproben – und nicht alle Studien untersuchen alle Moderatoren. Die einzelne Moderatoranalyse wird dadurch unpräziser und muss mit Vorbehalt interpretiert werden.

Was macht die Metaanalyse wissenschaftlich relevant?

Im Vergleich zu spezifischeren Arbeiten (Höffler & Leunter, 2007; Richter et al., 2016) liefert diese Metaanalyse ein umfassendes Bild zur Wirksamkeit von Hervorhebungen. Gleichzeitig illustriert sie, wie sich der Fokus der Forschung über die Zeit verändert hat: Während Effekte auf den Transfer von Wissen vor 2000 kaum untersucht wurden, stand dieser Aspekt nach 2000 im Fokus der Forschung. Wissenschaftlich interessant ist auch, dass die Befunde von Schneider und Kollegen im Gegensatz zu den Befunden von Richter und KollegInnen nicht belegen, dass Lernende mit weniger Vorwissen besonders von Hervorhebungen profitieren. Damit liefern sie Evidenz gegen die Expertise-Umkehr-Hypothese, die davon ausgeht, dass Lernende mit geringem Vorwissen mehr von instruktionalen Hilfen in Lernmaterialien profitieren.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht nahezu exemplarisch den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die einzelnen Schritte des Erstellungsprozesses der Metaanalyse (Suche, Studienauswahl, Kodierung und statistische Analyse) sind sehr transparent und nachvollziehbar beschrieben und daher als methodisch verlässlich einzuordnen. Eine detaillierte Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Durch Arbeitsmaterialien, in denen lernrelevante Informationen hervorgehoben sind, können Lehrpersonen ihre SchülerInnen effektiv beim Lernen unterstützen und deren Motivation steigern. SchülerInnen befassen sich länger, zielgerichteter und mit größerem Erfolg mit entsprechend gestalteten Arbeitsmaterialien. Für diese Schlussfolgerung liefert die Metaanalyse ein solides Fundament. Hervorhebungen in Arbeitsmaterialien sind für Lernende aller Altersgruppen unabhängig vom Vorwissen sinnvoll – sowohl in Bezug auf die Wiedergabe als auch auf den Transfer von Wissen.

Prinzipiell können Lehrpersonen fast alle Arten von Hervorhebungen einsetzen, um SchülerInnen in ihrem Lernprozess zu unterstützen. Am wirksamsten sind Hinweise in Texten, die permanent bestehen bleiben (z. B. eine fett gedruckte Überschrift in einem Text im Vergleich zu einem Hinweispfeil auf einer Folie, die weiter geklickt wird). Nur sehr wenige Hervorhebungen, wie z. B. blinkende Hinweise auf Powerpointfolien, haben keine oder kontraproduktive Auswirkungen auf das Lernen.

Studienbeispiel

Die Primärstudie von Reisslein, Johnson & Reisslein (2015) zeigt deutlich, dass schon kleine Veränderungen in einer digitalen Lernumgebung – in diesem Fall farbige Hervorhebungen – eine signifikant positive Auswirkung auf den Lernerfolg haben können. Die AutorInnen ließen 74 SchülerInnen im Alter von 14 bis 15 Jahren eine E-Learning-Umgebung zu elektrischen Schaltungen und Parallelschaltungen bearbeiten und unterteilten sie dabei nach dem Zufallsprinzip in zwei Gruppen: In der Kontrollgruppe war die Schrift in der Lernumgebung komplett schwarz-weiß gehalten, in der Experimentalgruppe waren wichtige Ausdrücke oder physikalische Zeichen/Einheiten farbig markiert (Spannung blau, Strom rot und Widerstand schwarz, vgl. Grafik 1).

Nach einem Vorwissenstest bearbeiteten die SchülerInnen die Lerneinheit, die aus Abbildungen und einem begleitenden, gesprochenen Erklärtext bestand. Während die SchülerInnen den Erklärtext anhörten, wurden die einzelnen Elemente der Abbildung (vgl. Grafik 1) nach und nach eingeblendet. Anschließend folgte eine Übungseinheit, in der die SchülerInnen ihr Wissen anwenden und ihre Lösungen jeweils in das Programm eingeben konnten. Sie erhielten direkt Rückmeldung zu ihren Antworten. Abgesehen von den farblichen Unterschieden waren die Lernumgebung und der komplette Versuchsablauf für alle Schülerinnen genau gleich.

Der abschließende Test, in dem die SchülerInnen ihr Wissen auf vergleichbare Aufgabestellungen anwenden mussten, wurde für alle SchülerInnen auf Papier und in schwarz-weiß durchgeführt. Die Experimentalgruppe, die mit den farbigen Hervorhebungen gearbeitet hatte, schnitt sowohl beim Lösen der Praxisaufgaben als auch im anschließenden Test besser ab. SchülerInnen dieser Gruppe waren zudem motivierter. Im Gegensatz dazu berichtete die Kontrollgruppe, die ausschließlich mit schwarz-weißer Schrift gearbeitet hatte, eine größere kognitive Belastung und sie brauchte länger zur Bearbeitung der Aufgaben.

Referenzen und Links

Podcast

Downloads