Einleitung

Schreiben ist eine universelle Kulturtechnik. Im Schulkontext kann Schreiben beispielsweise dazu eingesetzt werden, um das Lernen von Fachinhalten zu fördern. Aus lerntheoretischer Sicht spricht vieles dafür, dass das Schreiben über Lerninhalte (engl: writing-to-learn) dazu beiträgt, Wissen zu stärken, zu erweitern oder zu vertiefen. So setzt die Notwendigkeit, Inhalte schriftlich zu formulieren, verschiedene kognitive Prozesse in Gang, die vorhandenes Wissen aktivieren und zu einer besseren Verarbeitung und Speicherung der Lerninhalte beitragen.

Lehrkräften steht eine Vielzahl unterschiedlicher Möglichkeiten zur Verfügung, Schreibaktivitäten in den Unterricht zu integrieren. Diese reichen vom Erstellen einfacher Notizen bis hin zu komplexen Argumentationen. In der Metaanalyse von Graham und Kollegen wird eine aktuelle und differenzierte Untersuchung der Wirksamkeit von Schreiben zur Lernförderung für den Unterricht vorgenommen.

Worum geht es in dieser Studie?

In dieser Metaanalyse untersuchen die AutorInnen, ob Schreibaktivitäten zur Lernförderung das Lernen von SchülerInnen in unterschiedlichen Fächern effektiv fördern. SchülerInnen erhielten in den berücksichtigten Studien ganz unterschiedliche Schreibaufträge. Die Schülerinnen sollten sich zum Beispiel kurze Notizen machen, Informationen zusammenfassen, Abläufe beschreiben, Sachverhalte erklären, oder bei komplexen Sachverhalten schriftliche Argumentationen entwickeln. Allen Schreibaktivitäten war gemeinsam, dass sie mit dem Ziel aufgetragen wurden, das Lernen zu fördern. Auch sollten die SchülerInnen digital oder per Hand Texte schreiben und nicht etwa Diagramme erstellen oder Aufgaben rechnen.

Da unterschiedliche Schreibaktivitäten – etwa das Zusammenfassen von Inhalten oder der Vergleich von Inhalten – unterschiedliche Lernprozesse anstoßen, nehmen die AutorInnen an, dass sich diese Unterschiede auch in den Lernergebnissen niederschlagen. Sie argumentieren außerdem, dass die Wirksamkeit von Schreiben zur Lernförderung von zahlreichen weiteren Faktoren abhängen könnte. Dabei testen sie in mehreren Moderatoranalysen, ob sich die Wirksamkeit je nach Schulfach, Alter, Art der Schreibaktivität oder je nachdem, wie der Lernerfolg gemessen wurde, unterscheidet. Die AutorInnen achten ferner auf die Qualität der eingehenden Studien – z.B. wurden nur Studien ausgewählt, in denen wissenschaftlich fundierte Leistungstestverfahren zum Einsatz kamen und keine Schulnoten – und untersuchen auch hier, ob Qualitätsunterschiede mit Unterschieden in den Ergebnissen einhergehen.

Ihre Suche für den Zeitraum von 1998 bis 2017 ergab 56 experimentelle und quasi-experimentelle Studien mit insgesamt 6.235 SchülerInnen. In den meisten Studien wurde die Wirksamkeit auf der Basis eines Vergleichs der Lernleistung von SchülerInnen ermittelt, die entweder mit oder ohne Schreiben gelernt hatten (73 %). Wenige Studien verglichen SchülerInnen mit mehr vs. weniger Schreibaktivitäten (27 %; siehe Primärstudienbeispiel). Auffällig ist, dass die meisten Studien aus den naturwissenschaftlichen Fächern (47 %) und der Mathematik (38 %) stammen und weniger aus den sozialwissenschaftlichen Fächern (15 %). 65 % der Studien beinhalten Ergebnisse aus der Sekundarstufe und 35 % aus der Primarstufe.

Was findet diese Studie heraus?

Über alle Studien hinweg ergibt sich in der Metaanalyse ein signifikanter Gesamteffekt von g = 0.30 (Konfidenzintervall g = 0.20 bis g = 0.41) zugunsten der Lernleistung von SchülerInnen, die mit Schreibaktivitäten im Unterricht lernten. Die Testergebnisse zeigen bessere Leistungen in der Wiedergabe von Wissen, im Verständnis und in der Anwendung von Inhalten. In nahezu allen untersuchten Kategorien – unterschiedliche Schulfächer, Jahrgangstufen, oder unterschiedliche Schreibaktivitäten – konnten SchülerInnen signifikant bessere Lernresultate erzielen, wenn Schreibaktivitäten Teil des Unterrichts waren.

Die Metaanalyse dokumentiert dabei die Vielfalt der Möglichkeiten, unterschiedliche Schreibaktivitäten mit unterschiedlichen Zielsetzungen auf unterschiedliche Weise in den Unterricht zu integrieren. Zwar untersuchen die AutorInnen eine Vielzahl von Unterschieden in den Studien auf Ihren Einfluss auf die Effektstärken, können aber in Moderatoranalysen keine statistisch bedeutsamen Einflüsse nachweisen. Einen Überblick über alle untersuchten Moderatorvariablen finden Sie in der Übersicht über alle Einzelbefunde.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt in dieser Metaanalyse bei g = 0.3. Diese Effektstärke bedeutet, dass mehr als 61 % der Lernenden mit Schreibaktivitäten besser abschneiden als der Durchschnitt der Lernenden aus den Kontrollgruppen, die keine oder weniger Schreibaktivitäten absolvierten. Dieser positive Effekt ist über viele Situationen und Bedingungen stabil. Selbst wenn in Einzelstudien Effekte zum Teil deutlich über oder unter diesem Durchschnittswert liegen, so ist insgesamt davon auszugehen, dass sich Schreiben unter den meisten Umständen positiv auf die Lernleistung auswirkt.
Zur Substanz der Effekte trägt außerdem bei, dass die AutorInnen Studien mit weniger zuverlässigen Studiendesigns bei der Selektion ausgeschlossen haben. Dazu zählten Studien, in denen nicht gewährleistet war, dass die Eingangswerte der getesteten SchülerInnen und die Lerndauer in Experimental- und Kontrollgruppe ähnlich waren. Außerdem wurden Studien ausgeschlossen, wenn zur Leistungsmessung Schulnoten und keine wissenschaftlichen Testverfahren verwendet wurden. Aus der bisherigen Forschung ist bekannt (Cheung & Slavin, 2016), dass durch Einschluss solcher Studien Effektstärken tendenziell überschätzt werden.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

Die AutorInnen schätzen die Differenziertheit der berichteten Effekte anhand der drei Bereiche Schulfächer, Altersstufen und der untersuchten Erfolgskriterien ein. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (Naturwissenschaften, Mathematik, Sozialwissenschaften) und unterschiedlichen Altersstufen (Primarstufe, Sekundarstufe). Zu den untersuchten Erfolgskriterien gehören die Erinnerungsleistung, das Verständnis, und das Anwenden von Inhalten. Die Unterschiede in allen drei Bereichen Schulfächer, Altersstufen und Erfolgskriterien sind jedoch nicht statistisch bedeutsam. Dieser Befund stützt die Annahme, dass sich Schreibaktivitäten zur Lernförderung innerhalb dieser Bereiche ähnlich positiv auswirken.

Wie verallgemeinerbar sind die Befunde?

Schreibaktivitäten können auf vielfältige Art und Weise zur Lernförderung umgesetzt und in den Fachunterricht integriert werden. Die zahlreichen und unterschiedlichen Moderatoranalysen zeigen diese Flexibilität (siehe Gesamttabelle Befunde). Die Moderatoranalysen – in denen die AutorInnen die wichtigsten Einflussgrößen berücksichtigen – zeigen auch, dass hier keine statistisch bedeutsamen Unterschiede festgestellt werden konnten. Dies spricht dafür, dass der positive Effekt von Schreibaktivitäten zur Lernförderung gut verallgemeinerbar ist.
Anzahl und Größe der eingehenden Studien beeinflussen die Ergebnisse der Moderatoranalysen entscheidend. Eine umfangreichere Studienlage als bisher gegeben könnte differenzierte Befunde zur Wirksamkeit ermöglichen. In der Tendenz zeigt sich bereits, dass häufigere Schreibaktivitäten zu höheren Effekten führen können als seltener eingesetzte Aktivitäten. Auch Impulse, die SchülerInnen dazu anhalten, metakognitive Strategien einzusetzen, scheinen eine höhere Wirksamkeit zu ermöglichen.

Was macht die Metaanalyse wissenschaftlich relevant?

Die aktuelle Metaanalyse ist wissenschaftlich bedeutsam, da sie eine verlässlichere Einschätzung der Wirksamkeit von Schreiben zur Lernförderung bietet als frühere Metaanalysen (Bangert-Drowns et al., 2014; Graham & Perin, 2007). Sie bezieht mehr Studien ein, achtet auf die Qualität der Studien und geht differenzierter in den Analysen vor. Dadurch liefert sie vertrauenswürdigere Befunde, die sich zudem etwas von vorherigen Metaanalysen unterscheiden: Die Effektstärke von Schreibaktivitäten zur Lernförderung liegt mit g = 0.3 im Durchschnitt über den Befunden von bisherigen Metaanalysen.
Aus wissenschaftlicher Sicht ist zudem bedeutsam, dass Forschungsdesiderate vor allem im Bereich der sozialwissenschaftlichen Fächer aufgezeigt werden, da hier relativ wenige experimentelle Studien vorhanden sind, obwohl in der Unterrichtsrealität Schreiben hier am häufigsten zum Einsatz kommt.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards) in hohem Maße. Insbesondere die Bereiche der Studienselektion und Analyse der Befunde sind sehr gut dokumentiert. Im Bereich der Kodierung der Primärstudien sind allerdings genauere Angaben (z.B. zur Kodierung der abhängigen Variablen) erforderlich. Detailliertere Informationen zur methodischen Beurteilung sind dem Rating Sheet zu entnehmen.

Fazit für die Unterrichtspraxis

Schreiben ist eine weit verbreitete Praxis im Unterricht. Im Einklang mit den Befunden dieser bereits Jahrzehnte bestehenden Forschung weisen die Befunde dieser Metaanalyse insgesamt deutlich darauf hin, dass das Schreiben über Lerninhalte eine effektive Möglichkeit ist, den Lernerfolg von SchülerInnen zu fördern.

Auch wenn Schreiben als Aktivität zur Lernförderung in der Realität häufig in sozialwissenschaftlichen Fächern zum Einsatz kommt, so zeigt die vorliegende Metaanalyse, dass die Wirksamkeit dieser Methode mindestens genauso gut für naturwissenschaftliche und mathematische Fächer untersucht ist. Auch für diese Fächer dokumentiert die Metaanalyse vielfältige Einsatzmöglichkeiten. Schreibaktivitäten zur Lernförderung können darin bestehen, dass SchülerInnen Informationen zusammenfassen, Sachverhalte darstellen, Zusammenhänge bzw. Unterschiede analysieren und interpretieren oder Argumentationen schriftlich erarbeiten.

Zwar bemühen sich die AutorInnen darüber hinaus, besonders effektive Einsatzmöglichkeiten von Schreibaktivitäten zu identifizieren. Auf der Basis der aktuellen Befundlage können hier jedoch keine konkreteren Empfehlungen daraus abgeleitet werden.

Studienbeispiel

Hand, Hohenshell & Prain (2004) untersuchen in ihrer Studie die Wirksamkeit von innovativen Schreibaufgaben im Biologieunterricht. Dabei wollten sie testen, ob sich zwei Schreibaufgaben (Schulbuchbeitrag und ein Zeitungsartikel) besser auf die Lernleistung auswirken als nur eine Schreibaufgabe (Schulbuchbeitrag).

An der Studie nahmen 73 SchülerInnen der 10. Jahrgangsstufe aus vier Schulklassen teil. Die SchülerInnen wurden anhand ihrer Klassen in zwei Gruppen eingeteilt, die sich in ihren Vorjahresleistungen nicht voneinander unterschieden. Beide Schülergruppen erhielten zunächst die Aufgabe, einen Schulbuchbeitrag (500 Wörter) zu verfassen, in dem sie ein Thema aus der Biotechnologie für jüngere SchülerInnen erläutern sollten. Anschließend erhielt die Experimentalgruppe zusätzlich die Aufgabe, einen kurzen Zeitungsartikel zu schreiben, in dem sie ihre Ideen aus der ersten Aufgabe erweitern und vertiefen sollten. Die Kontrollgruppe absolvierte stattdessen andere typische Lernaktivitäten, wie Abschreiben von der Tafel oder das Bearbeiten von Arbeitsblättern im selben Zeitumfang. Insgesamt waren die SchülerInnen sechs Wochen mit dieser Unterrichtseinheit beschäftigt. In dieser Zeit erhielten beide Gruppen auch Feedback zu den Schreibaktivitäten und konnten dieses einarbeiten.

Um die Effektivität der unterschiedlichen Maßnahmen zu bestimmen, mussten die SchülerInnen drei Tests bestehend aus geschlossenen und offenen Fragen bearbeiten: Der erste Test fand nach dem Erstellen des Schulbuchbeitrags statt, der zweite Test nach dem Verfassen des Zeitungsartikels und der dritte Test acht Wochen später. Während sich nach der ersten Aufgabe (Test 1) keine Unterschiede in den Testleistungen zwischen Experimental- und Kontrollgruppe zeigten, ergaben sich bedeutsame Unterschiede zugunsten der Experimentalgruppe nach Aufgabe 2 (ES = 0.70) und 8 Wochen danach (ES = 1.09) Das Ergebnis zeigt, dass sich das mehrmalige Bearbeiten von innovativen Schreibaufgaben für das naturwissenschaftliche Lernen lohnen kann.

Referenzen und Links

Podcast

Downloads

Einleitung

Die bisherige Forschung konnte zeigen, dass SchülerInnen deutlich wirksamer lernen, wenn sie beim Lernen spontan und von sich aus regelmäßig ihr Verständnis überprüfen und versuchen, sich Zusammenhänge selbst zu erklären: Sie erschließen sich dadurch ein tieferes Verständnis und erbringen allgemein bessere Lernleistungen.

Häufig tendieren SchülerInnen allerdings dazu, Inhalte wie Prozessabläufe einfach auswendig zu lernen. So verstehen sie häufig nicht, wie einzelne Schritte aufeinander aufbauen oder welche Bedeutung sich hinter bestimmten Begriffen verbirgt. Sie entwickeln dadurch kein tieferes Verständnis der Inhalte. Lehrkräfte können mit dieser Situation unterschiedlich umgehen: Sie können SchülerInnen Erklärungen anbieten oder sie gezielt dazu anregen, sich selbst Begriffe und Zusammenhänge zu erklären.

In ihrer Metaanalyse untersuchen Bisra und KollegInnen diesen Sachverhalt: Profitieren SchülerInnen von Selbsterklärungimpulsen? Oder überfordern solche Impulse SchülerInnen eher und tragen damit nicht so effizient zum Lernen bei wie angenommen?

Kurz erklärt: Selbsterklärungen

Sich selbst etwas zu erklären ist eine kognitive Aktivität, die dazu führen soll, dass Lernende ein tieferes Verständnis von Lerninhalten entwickeln. Im Gegensatz zu sogenannten instruktionalen Erklärungen durch die Lehrkraft erschließen und erklären sich Lernende hier Begriffe, Sachverhalte und Zusammenhänge selbst.

Dabei stellen sie zum Beispiel Verknüpfungen zwischen den Inhalten von Aufgaben und ihrem eigenen Vorwissen her, machen sich bewusst, welche einzelnen Schritte zur Lösung einer Aufgabe nötig sind oder welche argumentativen Strukturen (z.B. These, Beleg oder Gegenthese) in einem Textabschnitt stecken.

Manche Lernende zeigen dieses Verhalten spontan, andere müssen durch Fragen und andere Impulse dazu angeregt werden. Solche Impulse können vor, während oder nach der Bearbeitung von Aufgaben eingesetzt werden. Zu diesen Impulsen gehören Formulierungen wie „Erklären Sie diesen Begriff“, „Begründen Sie diese Entscheidung“, oder „Welchen Lösungsschritt wenden Sie an und warum?“. Zentral ist dabei, dass diese Impulse selbst keine zusätzlichen Sachinformationen oder Erklärungen enthalten.

Worum geht es in dieser Studie?

Die Metaanalyse geht der Frage nach, ob SchülerInnen Lerninhalte besser erinnern, verstehen und auf neue Sachverhalte anwenden können, wenn sie bei der Bearbeitung von Aufgaben dazu angeregt werden, sich bestimmte Lerninhalte selbst zu erklären. Aus lernpsychologischer Sicht sollten bessere Leistungen durch Selbsterklärungen dadurch zustande kommen, dass SchülerInnen ihr vorhandenes Wissen nutzen, um sich neue Inhalte zu erschließen und diese tiefergehend verarbeiten und besser verknüpfen.

Die Metaanalyse basiert nahezu ausschließlich auf experimentellen Primärstudien. Diese vergleichen jeweils die Lernleistung von SchülerInnen, die bei Aufgaben schriftliche Selbsterklärungsimpulse erhalten, mit SchülerInnen, die zwar dieselbe Aufgabe bearbeiten, aber keinen Selbsterklärungsimpuls bekommen. In den Kontrollgruppen erhalten SchülerInnen stattdessen:

• Aufgaben ohne zusätzliche Impulse,
• zusätzliche inhaltliche Erklärungen (= instruktionale Erklärungen), oder
• Impulse, um Inhalte zu wiederholen, Zusammenfassungen zu erstellen oder sich gegenseitig etwas zu erklären.

Dadurch lässt sich klären, ob Selbstklärungsimpulse nur dann effektiver sind, wenn es im Vergleich dazu keine Impulse gibt, oder ob sie auch anderen Formen von Impulsen überlegen sind. Zusätzlich lässt sich im Rahmen von Moderatoranalysen feststellen, ob die Wirksamkeit von Selbsterklärungsimpulsen zum Beispiel vom Unterrichtsfach abhängt oder etwa davon, ob der Impuls vor, während oder nach der Aufgabenbearbeitung gegeben wurde – also vom Timing.

Insgesamt konnten die ForscherInnen 64 passende Studien aus dem Zeitraum zwischen 1993 und 2013 identifizieren. Darin enthalten sind Daten von 5.917 Lernenden. 41 experimentelle Vergleiche kommen aus dem mathematisch-naturwissenschaftlichen Bereich, 13 experimentelle Vergleiche aus der Sekundarstufe und 18 experimentelle Vergleiche aus europäischen Ländern.

Was findet diese Studie heraus?

Über alle Studien hinweg ergab die Metaanalyse einen signifikanten mittelgroßen Gesamteffekt von g = 0.55 (Konfidenzintervall g = 0.45 bis g = 0.65) zugunsten von Aufgabenbearbeiten mit Selbsterklärungsimpulsen. Im Durchschnitt zeigen SchülerInnen eine höhere Lernleistung im Erinnern, Erklären und Anwenden von Inhalten, wenn sie Selbsterklärungsimpulse erhalten, als wenn sie die Aufgaben ganz ohne Impulse bearbeiten. In geringerem Maße gilt dies auch im Vergleich zu inhaltlichen Erklärungen (= instruktionale Erklärungen) oder anderen Impulsen, die von der Lehrkraft angeboten werden. Einen Überblick über alle untersuchten Formen von Impulsen finden Sie in der Übersicht über alle Einzelbefunde.

Die Moderatoranalysen zeigen darüber hinaus nur wenige statistisch bedeutsame Unterschiede in der Stärke der Effekte. Hervorzuheben ist etwa, dass Impulse, die SchülerInnen dazu anregen, Begriffe zu erklären, deutlich effektiver sind als sogenannte metakognitive Impulse – also Impulse, die sie dazu anregen, ihre Planung oder ihr Abschneiden bei der Aufgabe zu erklären. Insgesamt liefern die Befunde ein einheitliches Bild ab: Aufgabenbearbeiten mit Selbsterklärungsimpulsen ist lernförderlicher als Aufgabenbearbeiten mit anderen oder keinen Impulsen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich (g = 0.55). Diese Effektstärke bedeutet, dass etwas mehr als 70 % der Lernenden mit Selbsterklärungsimpulsen besser abschneiden als der Durchschnitt der Lernenden aus den Kontrollgruppen mit anderen oder keinen Impulsen. Dieser positive Effekt ist über viele unterschiedliche Situationen und Bedingungen stabil. Gleichzeitig zeigen einige Studien, dass die Wirksamkeit auch deutlich höher liegen kann – zum Beispiel, wenn Lernende dazu angeregt werden, sich Begriffe zu erklären. Entscheidend bei der Einschätzung der Effektstärken ist, dass fast alle Studien (über 90 %) ein experimentelles Design aufweisen. Dadurch gewährleisten sie zuverlässiger, dass die Effekte tatsächlich aufgrund der Selbsterklärungsimpulse zustande kommen und nicht aufgrund anderer Studienmerkmale.

Allerdings enthält die Metaanalyse keine Informationen dazu, mit welchen Testinstrumenten die Leistungen gemessen wurden. Diese Informationen wären hilfreich, da aus der Forschung bekannt ist, dass es oft einen Unterschied macht, ob standardisierte} oder nicht-standardisierte Leistungstests verwendet wurden (vgl. Cheung & Slavin, 2016).

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Altersstufen und der untersuchten Erfolgskriterien eingeschätzt. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (Mathematik, Naturwissenschaften, Sozialwissenschaften und Informatik) und unterschiedlichen Altersstufen (Primarstufe, Sekundarstufe, erwachsene Lernende). Zu den untersuchten Erfolgskriterien gehörten unter anderem Wiederholen/Erinnern, Verständnis, Transfer sowie Problemlösen. Unterschiede zwischen den drei Kontexten sind jedoch nicht signifikant. Das heißt, dass sich Selbsterklären in allen drei Bereichen ähnlich positiv auswirkt.

Wie verallgemeinerbar sind die Befunde?

Selbsterklärungsimpulse können auf vielfältige Art und Weise und in unterschiedlichen Kontexten eingesetzt werden. Die zahlreichen und unterschiedlichen Moderatoranalysen zeigen diese Flexibilität (siehe Übersichtstabelle). Die Moderatoranalysen zeigen auch, dass bis auf wenige Ausnahmen hier keine statistisch bedeutsamen Unterschiede festgestellt werden konnten. Dies spricht dafür, dass der positive Effekt solcher Impulse gut verallgemeinert werden kann.

Nicht untersucht wurde allerdings, ob und wie Impulse zum Selbsterklären mit individuellen Voraussetzungen von Lernenden oder mit der Komplexität der Lerninhalte zusammenhängen. Lernende gehen jedoch häufig mit unterschiedlichem inhaltlichen Vorwissen und unterschiedlichen Fähigkeiten an das selbstständige Bearbeiten von Lerninhalten heran. Außerdem stellen Lerninhalte unterschiedlich hohe Anforderungen. Insofern wäre es hilfreich gewesen, diese Faktoren ebenfalls zu untersuchen.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist wissenschaftlich bedeutsam. Sie analysiert erstmals umfassend Studien zur Wirksamkeit von Selbsterklärungsimpulsen. Zudem trägt sie empirisch zur Beantwortung wichtiger wissenschaftlicher Fragestellungen aus der Lehr-Lernforschung bei – etwa zu der zentralen Frage, ob es tatsächlich effektiver ist, Lernende selbst Erklärungen formulieren zu lassen, anstatt ihnen zusätzliche Erklärungen anzubieten (sog. Coverage Hypothese; vgl. Hausmann & VanLehn, 2010). Die Metaanalyse kann diese Frage zwar grundsätzlich mit »Ja« beantworten, allerdings bleiben wichtige und praxisrelevante Fragen für zukünftige Forschung offen:

1. Gilt der positive Effekt für Lernende mit unterschiedlichen Kompetenzen und Aufgaben von unterschiedlicher Komplexität?
2. Verinnerlichen Lernende Selbsterklärungsstrategien dadurch, dass Lehrkräfte sie zunächst häufig und regelmäßig dazu anregen und mit zunehmender Expertise der Lernenden kontinuierlich ausschleichen – auch fading genannt?
3. Können digitale Anwendungen, die stärker individualisierte Impulse geben, die Wirksamkeit von Impulsen noch weiter erhöhen?

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht nur teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Metaanalysis Reporting Standards) Zwar wurden alle wichtigen Details bei der statistischen Analyse berichtet. Die AutorInnen dokumentierten jedoch die Schritte bei der Suche und Auswahl und Kodierung der Primärstudien nicht hinreichend. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die vorliegende Metaanalyse zeigt auf der Basis von 20 Jahren Forschung, dass SchülerInnen grundsätzlich davon profitieren, wenn sie bei Aufgaben dazu angeregt werden, sich Sachverhalte selbst zu erklären und intensiver über Zusammenhänge nachzudenken.
Die Befunde zeigen zudem, dass Impulse zu Selbsterklärungen im Durchschnitt auch effektiver sein können, als wenn Lehrkräfte den SchülerInnen Sachverhalte erklären. Geht es also darum, dass SchülerInnen ein tieferes Verständnis von Inhalten entwickeln, empfiehlt es sich für Lehrkräfte und für das Gestalten von Lernmaterialien, SchülerInnen dazu anzuregen, erst einmal selbst genauer nachzudenken. Zum Beispiel können sie sich selbst erklären, was sie unter einem bestimmten Begriff verstehen.

Offen bleibt in diesem Zusammenhang allerdings die Frage, wie Selbsterklärungen bei komplexen Sachverhalten oder bei SchülerInnen mit geringem Vorwissen abschneiden. Womöglich sind digitale Angebote mit adaptiven Methoden (vgl. Kurzreview 21) hier ein hilfreiches Instrument für die Zukunft. Für gesicherte Antworten bedarf es weiterer Forschung in diesem Bereich.

Studienbeispiel

Die Studie von Eckhardt und KollegInnen (2013) zeigt, dass Impulse zur Selbsterklärung mindestens so wirksam sein können wie instruktionale Erklärungen. An der Studie im Biologieunterricht der achten Klasse nahmen 124 SchülerInnen teil. Im Themenbereich „Ökosystem Wasser“ war das Lernziel, dass SchülerInnen die Zusammenhänge zwischen der Entwicklung von Jäger- und Beutepopulationen verstehen. In einer computerbasierten Lernumgebung konnten die SchülerInnen im Sinne des Forschenden Lernens Vorhersagen zur Entwicklung der beiden Populationen aufstellen. Mithilfe einer Computersimulation testeten sie ihre Vorhersagen und konnten ihre Ergebnisse anschließend interpretieren.

Die Studie untersucht, welche Art der Unterstützung SchülerInnen insbesondere bei der Interpretation der Ergebnisse am wirksamsten geholfen hat. Die WissenschaftlerInnen unterscheiden dabei drei Arten von Unterstützung, wobei die Schulklassen per Zufall einer von drei Untersuchungsbedingungen zugewiesen wurden:

• In der ersten Bedingung erhielten die SchülerInnen den Auftrag, ihre Ergebnisse selbst zu beschreiben und zu interpretieren (Selbsterklärungsimpuls).
• In der zweiten Bedingung gab das Computerprogramm eine komplette Interpretation der Ergebnisse für die SchülerInnen aus (vorgegebene Erklärung).
• In der dritten Bedingung gab es – abgesehen von der Aufgabenstellung – keine weiteren Aufträge oder Hilfestellungen (ohne Unterstützung).

Alle SchülerInnen arbeiteten insgesamt zweimal 90 Minuten mit dem Lernmaterial. Die Ergebnisse der Wissenstests nach den jeweiligen Lerneinheiten zeigten, dass Selbsterklärungsimpulse (Bedingung 1) die besten Leistungen erbrachten und auch instruktionale Erklärungen (Bedingung 2) zu besseren Leistungen führten als in der Bedingung, die weder Erklärungen noch zusätzliche Unterstützung erhielt (Bedingung 3).

Referenzen und Links

Podcast

Downloads

Einleitung

Die Erkenntnis, den eigenen Verstand kritisch nutzen zu können, ist die Errungenschaft der Aufklärung. Zum kritischen Denken gehört die grundsätzliche Bereitschaft, Dinge in Frage zu stellen und ihnen auf den Grund zu gehen – also eine kritische Grundhaltung – genauso wie spezifische kognitive Fähigkeiten im Aufwerfen von Fragen, der eigenständigen Recherche, Analyse, Evaluation und Integration von Information, um damit zu einem begründeten und erklärbaren Urteil zu gelangen.

Die besondere Bedeutung dieser Kompetenz als Bestandteil des Leitbilds eines mündigen Menschen ist unbestritten. Doch die Frage, wie dieses komplexe Konstrukt aus Grundhaltung und kognitiven Fähigkeiten gefördert werden kann, wird heftig diskutiert. In der über Jahrzehnte dauernden und überwiegend theoretisch geführten Diskussion wird immer wieder der Standpunkt vertreten, dass der geregelte und reglementierte Rahmen von Unterricht im völligen Widerspruch zum kritischen Denken steht.

Die vorliegende Metaanalyse geht diesem Argument nun empirisch nach und klärt unter Berücksichtigung sämtlicher verfügbarer empirischer Befunde, ob und auf welche Art kritisches Denken im Unterricht gefördert werden kann. Dabei liefert sie beispielsweise auch Hinweise, ob kritisches Denken in eigens dafür entwickelten Unterrichtseinheiten explizit trainiert werden muss, oder zusammen mit fachspezifischen Inhalten unterrichtet werden kann.

Worum geht es in dieser Studie?

Erste empirische Studien zur Förderung des kritischen Denkens entstanden in den USA bereits in den 1930er Jahren. In den 1980er Jahren entwickelte eine Expertenkommission der American Philosophical Association aus dem Forschungsstand eine Definition des kritischen Denkens (Facione, 1990).

• Die wichtigsten Charakteristika sind hier zusammengefasst: „Kritisches Denken: Der Delphi Consensus Report„.

Diese umfassende Beschreibung der kritischen Grundhaltungen und der kognitiven Fähigkeiten bildet die Grundlage der vorliegenden Metaanalyse.

Abrami und KollegInnen identifizieren im Zeitraum von 1930 bis 2009 insgesamt 867 einschlägige in englischer Sprache verfügbare Studien, von denen mehr als 70 % nach 1990 veröffentlicht wurden. Auf Basis dieser Studien gehen sie der Frage nach, ob kritisches Denken tatsächlich im Unterricht gefördert werden kann. In sogenannten Moderatoranalysen klären sie zudem, wie Lehrkräfte die Förderung besonders effektiv gestalten können.

Analyseprozess der Metaanalyse in zwei Phasen.

Den Analyseprozess teilen sie in zwei Phasen auf (siehe Abbildung): Mithilfe einer methodischen Analyse sortieren sie in der ersten Phase gezielt Studien geringerer methodischer Qualität aus, da ihre Moderatoranalysen zeigen, dass die Qualität der Studien (Art des Studiendesigns und Art der Testinstrumente) die Ergebnisse der Analysen beeinflusst. Das könnte unter Umständen zu verzerrten oder falschen Schlüssen führen.

Mit der deutlich reduzierten Zahl von Studien nehmen sie in der zweiten Phase eine inhaltliche Analyse vor. Hier untersuchen sie sowohl, wie sich Unterricht von kritischem Denken auf verschiedene Lernerfolgskriterien auswirkt als auch, welche Effekte unterschiedliche Förderansätze und Vermittlungsarten auf die Lernleistung haben.

In der folgenden Tabelle sind neben den Stufen dieser zentralen Moderatoren auch weitere untersuchte Moderatoren angeführt:

Tabelle: Überblick über die Moderatoren und ihre Stufen.

Was findet diese Studie heraus?

Auf Grundlage von 341 Studien von hoher methodischer Qualität zeigt sich ein kleiner positiver Effekt für die Förderung des kritischen Denkens im Unterricht von g = 0.30. Dieser Effekt ist stabil für unterschiedliche Ausbildungsstufen, Fachinhalte und Dauern der Intervention.

In der differenzierten Analyse nach den unterschiedlichen Lernerfolgskriterien zeigt sich für inhaltsspezifisches kritisches Denken ein mittelgroßer Effekt (g = 0.57; Anzahl Studien: 97) und für die kritische Grundhaltung ein kleiner Effekt (g = 0.23; Anzahl Studien: 25). Außerdem stellt sich heraus, dass die Förderung von kritischem Denken auch einen kleinen positiven Effekt (g = 0.33; Anzahl Studien: 140) auf das rein fachbezogene Lernen von Fakten und Inhalten hat.

Mit Blick auf die drei Förderansätze finden die AutorInnen signifikante Unterschiede – wobei jeder Ansatz für sich effektiv ist. Die Kombination aller drei Ansätze stellt sich als effektivster Ansatz heraus (g = 0.57, Anzahl Studien: 19 – alle Ergebnisse siehe „Einzelbefunde der Metaanalyse im Überblick„).

Im nächsten Schritt gehen sie noch weiter: Die Förderansätze sind unterteilt in verschiedene Varianten: Im Folgenden werden jedoch nur Varianten berichtet, zu denen ausreichend empirische Befunde vorliegen. In der statistischen Analyse zeigt sich, dass unter den anwendungsnahen Instruktionsformen signifikant positive Effekte zu beobachten sind, wenn angewandtes Problemlösen (g = 0.35, Anzahl Studien: 31) oder Rollenspiele (g = 0.61, Anzahl Studien: 5) zum Einsatz kommen. Für dialogbasiertes Lernen zeigen sich positive signifikante Effekte, wenn die Lehrkraft Fragen stellt (g = 0.38, Anzahl Studien: 19), wenn die ganze Klasse (g = 0.42, Anzahl Studien: 16) oder Kleingruppen (g = 0.41, Anzahl Studien: 14) unter Leitung der Lehrkraft diskutieren. Eine vollständige Darstellung finden Sie hier: „Kritisches Denken: Förderansätze und Varianten„.

Die unterschiedlichen Arten der Vermittlung unterscheiden sich nicht substanziell: Kritisches Denken kann auf verschiedene Arten im Unterricht vermittelt werden: Ob es explizit – in eigens dafür angebotenen Stunden und in Form von abstrakten Prinzipien – oder in Kombination mit konkreten Unterrichtsinhalten unterrichtet wird, spielt keine bedeutsame Rolle. Die Förderung ist dann am effektivsten, wenn abstrakte Prinzipien explizit vermittelt und trainiert werden und dann anhand konkreter Themen veranschaulicht, angewendet und vertieft werden (siehe auch „Einzelbefunde der Metaanalyse im Überblick„).

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Der stabil kleine Gesamteffekt von g = 0.30 zeigt an (in der Einordnung nach Cohen, 1988), dass es grundsätzlich möglich ist, kritisches Denken im Rahmen des Unterrichts zu fördern. Aus dieser Effektstärke lässt sich ablesen, dass die Wahrscheinlichkeit, dass eine SchülerIn in der Experimentalgruppe ein besseres Ergebnis erzielt als in der Kontrollgruppe, bei ca. 60 % liegt. Bereits kurze intensive Interventionen (eine Stunde bis zwei Tage) bewirken bedeutsame Effekte. Durch die Kombination von verschiedenen Förderansätzen (d. h. von anwendungsnaher Instruktion, dialogbasiertem Lernen und Mentoring) können Effekte im mittleren Bereich erreicht werden. Dass diese Befunde anhand von (quasi-)experimentellen Untersuchungsdesigns und mit standardisierten Messverfahren für ein komplexes weitreichendes Konstrukt ermittelt wurden, spricht dafür, dass sie als substanziell einzuordnen sind.  

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Jahrgangsstufen und des Erfolgskriteriums (z. B. Schulleistung) eingeschätzt. Abrami und KollegInnen vergleichen MINT-Fächer mit Nicht-MINT-Fächern – ohne signifikante Unterschiede zu finden. Eine weitere Ausdifferenzierung innerhalb der MINT-Fächer erfolgt nicht. Bezüglich der Altersgruppen unterscheiden sie innerhalb des Sekundarstufenalters zwischen 11 bis 15- und 16 bis 18-Jährigen. Dabei zeigen sich in der Mittelstufe größere Effekte als in der Oberstufe (g = 0.37 gegenüber g = 0.25) – allerdings ist dieser Unterschied nicht signifikant. Des Weiteren sind die Ergebnisse für verschiedene Lernerfolgskriterien differenziert berichtet: Kritisches Denken allgemein, inhaltsspezifisches kritisches Denken, kritische Grundhaltung und Lernen von Fachinhalten.

Wie verallgemeinerbar sind die Befunde?

Die Verallgemeinerbarkeit des Gesamteffekts ist grundsätzlich als hoch einzustufen. Durch die strikte Auswahl der belastbarsten Studien auf Grundlage von Moderatoranalysen zur Art der Studiendesigns und Testinstrumente in der ersten Analysephase ist der berichtete Gesamteffekt ein guter Orientierungswert. Die Untersuchungen zeigen, dass der Gesamteffekt für verschiedene Fachinhalte, Altersgruppen (Grundschule bis Erwachsene) und Interventionszeiträume (von einer Stunde bis mehr als ein Semester) stabil ist. Darüber hinaus wäre interessant, inwiefern die Effekte auch in unterschiedlichen Ländern, sprachlichen und kulturellen Kontexten sowie über den langen Zeitraum der Entstehung der verschiedenen Studien hinweg stabil sind. Dazu wurden allerdings keine Analysen durchgeführt, sodass hier keine Aussagen möglich sind.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse von Abrami und KollegInnen ist aus mehreren Gründen als wissenschaftlich sehr bedeutsam einzustufen: Erstens fasst sie Forschung aus beinahe acht Jahrzehnten erstmals umfänglich zusammen. Zweitens nutzt sie die vielen verfügbaren Effektstärken für ein exemplarisches metaanalytisches Vorgehen und höchste evidenzbasierte Qualitätssicherung (vgl. Abbildung). Drittens erweitert sie die über Jahrzehnte theoretisch geführte Debatte darüber, ob im Unterricht, also einem formalen vorgegebenen Rahmen, kritisches Denken gefördert werden kann, um ein gewichtiges Argument: Auf Grundlage sämtlicher verfügbarer empirischer Studien weist sie nach, dass kritisches Denken im Unterricht erfolgreich gefördert werden kann.

Wie methodisch verlässlich sind die Befunde?

Die methodischen Anforderungen an Transparenz und Nachvollziehbarkeit erfüllt die Metaanalyse in vielen Bereichen nahezu vollständig. Lediglich bei der Kodierung der Primärstudien sind einige Informationen nicht offengelegt. Weitere Informationen zur Bewertung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Kritisches Denken kann im Unterricht effektiv gefördert werden. Auf Basis von zahlreichen methodisch hochwertigen Studien liefert die Metaanalyse ein solides Argument dafür, dass es in erster Linie wichtig ist, dass Lehrkräfte das Fördern von kritischem Denken überhaupt zu einem erklärten Unterrichtsziel machen. Wie das im Unterricht aussehen kann, dazu gibt es ein breites Spektrum an erfolgversprechenden Möglichkeiten: Angefangen von (angeleiteten) Diskussionen im Klassenverband bis hin zu Rollenspielen; von expliziter Vermittlung allgemeiner Prinzipien des kritischen Denkens bis hin zu enger Verzahnung mit spezifischen fachlichen Inhalten (siehe auch Studienbeispiel).

SchülerInnen können dabei nicht nur kognitives Handwerkszeug, sondern in gewissem Maße auch eine kritische Haltung erlernen. Bislang stammt ein Großteil der verfügbaren Forschung zum kritischen Denken aus dem englischsprachigen Raum. Für den deutschsprachigen Schulkontext ergeben sich daraus jedoch solide Hinweise, wie Lehrkräfte im Rahmen des Unterrichts Ihre SchülerInnen dabei unterstützen können, Sachverhalte zu hinterfragen und eigenständige Argumente zu entwickeln.

Studienbeispiel

In der Studie von Kaberman und Dori (2009) wird kritisches Denken – anhand der Fähigkeit, komplexe kritische Fragen zu stellen und dann zu bearbeiten – durch ein kurzes Training sehr effektiv gefördert. Die experimentelle Studie wurde im Chemieunterricht der zwölften Klasse mit insgesamt über 900 SchülerInnen durchgeführt. Alle SchülerInnen lernten in einer Serie von Unterrichtseinheiten mit einer komplexen computerbasierten Lernumgebung.

Die SchülerInnen der Experimentalbedingung erhielten am Anfang der Serie ein zusätzliches Training. Dessen Kernelement ist eine Taxonomie zur Kategorisierung von Fragen, die auch Hinweise zur Fragenkonstruktion liefert. Dafür geschulte Lehrkräfte stellten den SchülerInnen diese Taxonomie anhand von Fallbeispielen (anwendungsnahe Instruktion) vor und leiteten eine Übungsphase zur Anwendung (dialogbasiertes Lernen) an. Die Kontrollgruppe erhielt kein zusätzliches Training, ansonsten aber den gleichen Unterricht.

In der abschließenden Testung beschäftigten sich alle SchülerInnen mit Themen wie der Wirksamkeit einer Schokoladen-Diät oder der Gefahr durch Patulin im Apfelsaft. Sie sollten die dargebotene Information kritisch hinterfragen und ihre Fragen zum Ausgangspunkt eigener Recherchen machen. In Interviews mit den SchülerInnen sowie den Ergebnissen der fallbasierten Fragebogentests zeigten sich sehr große Effekte des Trainings auf die Fähigkeit, kritisch zu denken und komplexe, kritische Fragen stellen zu können.

Referenzen und Links

Podcast

Downloads

Einleitung

Concept Maps visualisieren Begriffe und Zusammenhänge zu einem Thema oder Themengebiet in Form eines Netzes. Während die Knoten des Netzes wichtige Begriffe oder Inhalte darstellen, zeigen die Verbindungslinien oder Pfeile deren Beziehung bzw. Zusammenhänge an (siehe Abb. 1). Die Lehr-Lernforschung nimmt an, dass die Arbeit mit Concept Maps ein tieferes Verständnis von Inhalten und Zusammenhängen fördert – unabhängig davon, ob Lernende die Concept Maps selbst erstellen, oder ob sie mit vorgefertigten Maps arbeiten. Gleichzeitig können Concept Maps helfen, Lernen aktiv zu gestalten: Sie animieren Lernende dazu, sich neue Inhaltsgebiete mit Schwerpunkt auf ihre Grundstrukturen zu erarbeiten und neue Informationen mit bestehendem Wissen zu verbinden.

Seit den 1970er Jahren werden daher Concept Maps strategisch zum Lernen und Lehren eingesetzt. Kontinuierlich entstehen neue Studien, die zunehmend auch interaktive (digitale) Formen dieser Lehrstrategie testen. Die Metaanalyse analysiert sämtliche Studien, die seit den ersten Einsätzen der Methode erschienen sind und vergleicht das Arbeiten mit Concept Maps mit weiteren Lernaktivitäten, um zu ermitteln, wie wirksam sie sind und unter welchen Umständen sich der Einsatz von Concept Maps lohnt.

Abbildung 1. Eine Concept Map erklärt mit den Mitteln einer Concept Map.

Worum geht es in dieser Studie?

Auf Basis von Studien im Zeitraum von 1972 bis 2014 untersucht die Metaanalyse, wie effektiv der Einsatz von Concept Maps für den Lernerfolg ist. Als Maß für Lernerfolg dienen den Autoren die in den Primärstudien durchgeführten Wissenstests.

Bei der Auswahl der Studien konzentrieren sich die Autoren ausschließlich auf experimentelle Studien, die Lernaktivitäten mit Concept Maps mit unterschiedlichen Lernaktivitäten ohne Concept Maps vergleichen. Die Metaanalyse lässt nur Studiendesigns zu, die gewährleisten, dass sich die Studienteilnehmer in den unterschiedlichen Untersuchungsbedingungen nicht bereits vor den Lerneinheiten systematisch unterscheiden.

Insgesamt können die Autoren auf 63 Studien mit 142 unabhängigen Effektstärken zurückgreifen. Ein großer Teil der Studien stammt aus den MINT-Fächern (78 %) und aus der Sekundarstufe (41 %). Zusätzlich ermitteln die Autoren im Rahmen von Moderatoranalysen, wie sehr die Effektivität von verschiedenen Faktoren beeinflusst wird. Die Moderatorvariablen sind in Tabelle 1 dargestellt und beschrieben.

Tabelle 1. Moderatorvariablen und deren Beschreibung.

Was findet diese Studie heraus?

Die Metaanalyse ergab einen positiven Gesamteffekt mittlerer Größe (g = 0.58). Damit schneiden die Lernenden, die mit Concept Maps lernten, insgesamt besser ab als die Vergleichsgruppe. Ein sogenannter Heterogenitätstest zeigt, dass sich die Effektstärken zwischen den Primärstudien bedeutsam unterscheiden. Die Moderatoranalysen zeigen, inwiefern die oben beschriebenen Moderatorvariablen diese Unterschiede aufklären können: Concept Maps wirken sich sowohl in MINT-Fächern als auch in Nicht-MINT-Fächern positiv auf den Lernerfolg aus – hier besteht kein signifikanter Unterschied. Auch die Art der Concept Map und die Unterscheidung zwischen individuellem Lernen oder Gruppenarbeit hatten keinen Einfluss auf den Lernerfolg.

Signifikante Befunde zeigen sich aber im Hinblick auf die Einsatzform und die jeweilige Vergleichsaktivität: Der Vergleich mit ähnlichen Lernaktivitäten wie der Arbeit mit Kurzzusammenfassungen, Listen und Texten ergibt geringere Effekte (0.29 < g < 0.48) als der Vergleich mit Vorlesungen/Diskussionen (g = 1.05). Und wenn Lernende Maps selbst erstellen, zeigen sich im Durchschnitt höhere Effekte (g = 0.72), als wenn sie mit bereits bestehenden Maps arbeiten (g = 0.43).

Während das Erstellen von Maps in allen Altersgruppen gleich effektiv ist, zeigt sich, dass die Arbeit mit bestehenden Maps in der Sekundarstufe effektiver ist (Jahrgangsstufe 4-8: g = 0.82: Jahrgangsstufe 9-12: 1.24) als bei Studierenden (g = 0.32). Eine kürzere Einsatzdauer (unter einer Woche) geht mit kleineren Effekten (g = 0.36) einher, als wenn die Maps mehr als eine oder mehr als vier Wochen eingesetzt wurden (g = 0.68/0.72).

Die Effektstärken unterscheiden sich zudem nach den Ländern, in denen die Studien durchgeführt wurden: Mittlere bis große Effektstärken erzielt die Arbeit mit Maps in Asien, Europa und im Mittleren Osten (0.46 < g < 1.04) und kleine bis mittlere Effektstärken in den USA und in Kanada (g = 0.25/0.49). Eine Übersicht über sämtliche Einzelbefunde ist im Begleitmaterial verfügbar.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Der mittelgroße Gesamteffekt (nach Cohen) von g = 0.58 zeigt, dass das Lernen mit Concept Maps im Schnitt effektiver ist als die untersuchten alternativen Lernaktivitäten. Diese Effektstärke lässt sich folgendermaßen veranschaulichen: Wenn 100 Personen mit Concept Maps lernen, erzielen ca. 20 davon ein besseres Lernergebnis, als wenn sie mit Alternativen lernen.

Das Design der ausgewählten Studien gewährleistet, dass die gemessenen Veränderungen auch tatsächlich auf den unterschiedlichen Lernbedingungen beruhen, da sie unterschiedliche Voraussetzungen von Lernenden berücksichtigen. Der positive Effekt ist auch gegenüber vergleichbaren Lernaktivitäten wie dem Lernen mit Texten oder Zusammenfassungen und Listen relativ robust und zeigt sich nicht nur gegenüber lehrerzentrierten Formaten.

Ein für die Einordnung der Befunde wesentlicher Aspekt wird allerdings nicht beleuchtet: Es bleibt unklar, wie die Lerneffekte im Detail gemessen wurden. Aus bisheriger Forschung (Cheung & Slavin, 2016; Slavin & Madden, 2011) ist jedoch bekannt, dass es eine bedeutende Rolle spielen kann, ob standardisierte oder nicht standardisierte Tests verwendet wurden. Da hier nähere Informationen fehlen, ist zum Beispiel nicht auszuschließen, dass durch den Einsatz von nicht-standardisierten Messverfahren die Interventionsgruppe begünstigt wurde und Effekte damit tendenziell überschätzt sind.

Wie differenziert sind die Ergebnisse dargestellt?

Die Metaanalyse geht in Bezug auf Schulfächer und Jahrgangstufen differenziert vor und zeigt, dass zwischen großen Fächerkategorien (MINT vs. Nicht-MINT) keine Unterschiede bestehen und sich die Effekte im Bereich der Jahrgangstufen nur dann bedeutsam unterscheiden, wenn mit bereits vorgegebenen Concept Maps gearbeitet wird. In Bezug auf das Erfolgskriterium geben die Autoren zwar an, dass sie bei der Suche auch Studien zugelassen haben, die Effekte auf Einstellungen, Interesse, Transfer etc. berücksichtigen. Die Effektstärken, die anschließend in die Analysen eingehen, beziehen sich jedoch ausschließlich auf den Wissenserwerb.

Wie verallgemeinerbar sind die Befunde?

Die Autoren testen eine Reihe wichtiger Moderatorvariablen, um zu sehen, inwiefern der Gesamteffekt für unterschiedliche Bedingungen generalisierbar ist. Es zeigt sich – wie oben im Detail dargestellt –, dass der Gesamteffekt zum Teil eine gute Orientierung bietet, was etwa für die unterschiedlichen Fachbereiche oder unterschiedliche Arten von Concept Maps gilt. Geht es um Bedingungen wie die Jahrgangstufe der Lernenden oder die Einsatzdauer, so unterscheiden sich die Befunde bedeutsam und die spezifischen Werte für die einzelnen Moderatorstufen (z. B. Hochschulbereich oder Sekundarstufe) stellen einen zuverlässigeren Orientierungswert dar als der Gesamteffekt.

Die Metaanalyse beleuchtet darüber hinaus auch größere kontextuelle Bedingungen wie Länderkontexte. Auch wenn hier ein Großteil der Studien in den USA oder in Kanada durchgeführt wurde, liefert die Metaanalyse erste Anhaltspunkte dafür, dass die Methode nicht in allen Ländern gleich effektiv eingesetzt wird.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist insofern bedeutsam, als sie ein notwendiges Update zu einer früheren Analyse aus dem Jahr 2006 darstellt (siehe Nesbit und Adesope, 2006). In der Zwischenzeit sind zahlreiche Primärstudien erschienen, die weitere Einsatzkontexte und Merkmale von Concept Maps (z.B. animierte Maps) sowie unterschiedliche Vergleichsbedingungen untersuchen. Somit kann die aktuelle Analyse über die 67 Effektstärken der damaligen Analyse hinaus noch 75 weitere Effektstärken hinzunehmen, sodass insgesamt 142 unabhängige Effektstärken in die Metaanalyse einfließen.

Darüber hinaus vermag die Metaanalyse jedoch keinen – z.B. theoriebezogenen – Beitrag liefern, da in den vorliegenden Primärstudien kaum theoretische Annahmen gezielt überprüft wurden. Die Autoren unterbreiten deshalb konkrete Vorschläge, wie eine solche Überprüfung künftig umgesetzt werden kann.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht weitgehend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Einzelne Schritte des Erstellungsprozesses wie die Recherche relevanter Primärstudien und die Studienauswahl entsprechen diesen Kriterien in vollem Umfang. Bei den Angaben zur Nachvollziehbarkeit der Kodierung und den statistischen Analysen hätten einige Entscheidungen noch präziser dargestellt und transparent gemacht werden können. Eine detaillierte Beurteilung finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Lernen aktiv zu gestalten, heißt Lernende zum Nachdenken über Inhalte, Strukturen und Zusammenhänge zu animieren. Sie sollen also kognitiv elaborieren, anstatt Lerninhalte bloß zu memorieren. Concept Maps stellen eine ganz konkrete Möglichkeit dar, diese kognitiven Prozesse gezielt zu unterstützen und Lernenden dabei zu helfen, sich auf die wesentlichen Grundstrukturen von Lerninhalten zu konzentrieren.

Auch wenn diese Metaanalyse derartige Prozesse nicht im Detail untersucht, so unterstreichen die Befunde aus über 40 Jahren Forschung die Effektivität von Concept Maps. Sie zeigen, dass es sich durchaus lohnen kann, Lernaktivitäten mit Concept Maps ab und zu anstelle eines Lehrervortrags oder der Arbeit mit Texten und Zusammenfassungen in den Unterricht aufzunehmen.

Dies gilt unabhängig von den MINT-Fächern und kann gerade in der Sekundarstufe zu guten Lernergebnissen führen. Die Befunde zeigen auch, dass es sich auszahlt, wenn dafür etwas mehr Zeit zur Verfügung steht und Lernende mehr als eine Woche mit ihren Concept Maps arbeiten können.

Studienbeispiel

Die in Deutschland durchgeführte Studie von Haugwitz, Nesbit und Sandmann (2010) vergleicht zwei alternative Lehrstrategien: den Einsatz von Concept Maps und das Schreiben kurzer Essays. Beide Alternativen animierten SchülerInnen aktiv zu lernen und in Kleingruppen Zusammenfassungen von Informationen zu erstellen.

Die Studie wurde im Biologieunterricht zum Thema „Herz und Kreislaufsystem“ mit 248 SchülerInnen aus sieben Gymnasien durchgeführt. Die SchülerInnen konnten sich frei zu kleinen Lerngruppen von drei bis fünf SchülerInnen zusammenschließen und wurden dann per Zufall einer der beiden Alternativen zugeordnet.

In fünf Lernsessions erarbeiteten sich die Schülerinnen die Inhalte mit verschiedenen Lernmaterialien und fassten sie entweder in Concept Maps oder in kurzen Essays zusammen. Zentrale Begriffe waren dabei vorgegeben, die Zusammenhänge mussten sich die Gruppen selbst erschließen. Die Sessions schlossen jeweils mit einem kurzen Wissenstest zu den Inhalten des Tages. Die SchülerInnen der Concept Map-Bedingung erhielten vor Beginn noch ein kurzes Training zum Erstellen von Concept Maps (15 min).

Die Ergebnisse zeigen, dass SchülerInnen in der Concept Map-Bedingung deutlich mehr Verbindungen zwischen den verschiedenen Lerninhalten herstellten und höhere Leistungen in den nachfolgenden Wissenstests erzielten als in der Kontrollbedingung, d.h. bei SchülerInnen, die Essays verfassten. Die Studie zeigt auch, dass insbesondere SchülerInnen mit geringen Fähigkeiten vom Erstellen der Concept Maps profitieren, selbst wenn sie mit anderen leistungsschwachen SchülerInnen zusammenarbeiteten.

Referenzen und Links

Podcast

Downloads

Einleitung

Hausaufgaben sind ein fester Bestandteil des schulischen Alltags, da in der Regel angenommen wird, dass sie hilfreich sind, um Unterrichtsstoff durch Wiederholung und Übung zu verfestigen. Auf diese Weise – so die Annahme – lässt sich der Lernerfolg der SchülerInnen steigern. Wie sich Hausaufgaben in der Praxis tatsächlich auswirken, wird seit Jahrzehnten intensiv beforscht. Bisherige Befunde zum Einfluss von Hausaufgaben auf Schülerleistungen sind allerdings nicht eindeutig. Teilweise werden große Zusammenhänge, teilweise aber auch keine oder sogar negative Zusammenhänge berichtet.

Die vorliegende Metaanalyse sucht Erklärungen für diese widersprüchliche Befundlage. Eine mögliche Erklärung ist, dass vorangegangene Forschungssynthesen den Nutzen von Hausaufgaben fächerübergreifend untersuchen, dieser aber möglicherweise je nach Fach verschieden ist. Daher fokussieren sich die AutorInnen dieser Metaanalyse erstmals auf die Fächer Mathematik und Naturwissenschaften. Dabei berücksichtigen sie eine Reihe an weiteren möglichen Einflussfaktoren, wie bestimmte Merkmale von Hausaufgaben (z.B. wie gut sie erledigt wurden) und Rahmenbedingungen (z.B. Alter der SchülerInnen), die Hinweise darauf geben könnten, welche Faktoren den Zusammenhang zwischen Schülerleistungen und Hausaufgaben beeinflussen.

Worum geht es in dieser Studie?

Fan und KollegInnen wollen herausfinden, inwiefern Hausaufgaben mit Schülerleistungen in Mathematik und Naturwissenschaften zusammenhängen und welche Faktoren diesen Zusammenhang beeinflussen. Für ihre Metaanalyse berücksichtigen die AutorInnen englischsprachige Publikationen aus der ganzen Welt. Sie wählen aber nur Studien aus, in denen sich die Hausaufgaben explizit auf Mathematik und Naturwissenschaften beziehen und der Effekt von Hausaufgaben auf die Leistung klar von anderen Effekten – wie Nachhilfe – zu trennen ist. Insgesamt liegen der Metaanalyse 28 Publikationen zugrunde, die in Zeitschriften mit Begutachtungsverfahren, Dissertationen und Konferenzbeiträgen in den Jahren 1986 bis 2015 veröffentlicht wurden. Einige der Primärstudien berichten Effekte für mehrere unabhängige Stichproben, so dass Fan und Kollegen für die Analysen insgesamt 41 Effektstärken (in diesem Fall Korrelationen) heranziehen konnten.

Alle berücksichtigten Studien basieren auf großen Datensätzen mit korrelativen Studiendesigns mit oder ohne Randomisierung der StudienteilnehmerInnen – darunter sind auch Datensätze aus repräsentativen large-scale-Studien wie PISA oder TIMMS. Insgesamt waren an allen Primärstudien 312.836 SchülerInnen – überwiegend aus der Sekundarstufe – beteiligt. Um Faktoren zu identifizieren, die den Zusammenhang von Hausaufgaben und Schülerleistungen beeinflussen, führen die AutorInnen sogenannte Moderatoranalysen durch. Dabei prüfen sie den Einfluss von Fach (Mathematik oder Naturwissenschaften), verschiedenen Merkmalen von Hausaufgaben (vgl. Tabelle 1), Alter, geographischer Region, aber auch von methodischen Einflussfaktoren, zum Beispiel die Art und Weise, wie Schulleistung gemessen wurde.

Was findet diese Studie heraus?

Über alle Studien hinweg zeigt sich ein kleiner positiver Zusammenhang* zwischen Hausaufgaben und Schülerleistungen (r = 0.23). Der Zusammenhang ist in den Naturwissenschaften (r = 0.26; kleiner Zusammenhang) etwas größer als in Mathematik (r = 0.20; kleiner Zusammenhang). Einen tieferen Einblick geben die Befunde der Moderatoranalysen. Sie zeigen, dass der Zusammenhang deutlich von verschiedenen Merkmalen der Hausaufgaben beeinflusst wird (vgl. Tabelle 1).

Je höher die Qualität der Hausaufgaben ist – und tendenziell auch, je vollständiger sie erledigt werden –, desto größer ist der positive Zusammenhang mit Schulleistungen (r = 0.53; großer Zusammenhang;r = 0.69; großer Zusammenhang**). Wie viel Zeit SchülerInnen für Hausaufgaben aufwenden, hängt nur in geringem Maß mit ihrer Leistung zusammen (r = 0.19; kleiner Zusammenhang).

Tabelle 1. Merkmale von Hausaufgaben.

* Eine Korrelation spiegelt den Zusammenhang zwischen zwei Merkmalen wider, zum Beispiel: Je höher die Motivation desto höher der Lernerfolg. Sie gibt keinen Aufschluss darüber, ob es einen kausalen Zusammenhang gibt. Theoretische Modelle gehen jedoch von der im Folgenden unterstellten Kausalrichtung und einer wechselseitigen Beeinflussung der beiden Variablen aus. Das hieße in diesem Fall, dass sich Hausaufgaben auf Schülerleistungen auswirken und Schülerleistungen wiederum einen Einfluss auf die Hausauf-gaben haben. Vor diesem theoretischen Hintergrund sind die Befunde einzuordnen.

** Die Korrelation zwischen Vollständigkeit der Hausaufgaben und Schülerleistungen ist nicht signifikant / belastbar. Der Befund basiert nur auf wenigen Korrelationen und sollte mit einer größeren Anzahl an zugrundeliegenden Korrelationen verifiziert werden.

*** n.s.= nicht signifikant: Das Konfidenzintervall des berichteten Effekts schließt die Null mit ein. Das bedeutet, dass der berichtete Effekt auch zufällig sein könnte und daher – nach gängigen Kriterien – nicht belastbar ist.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der üblichen Klassifikation nach Cohen (1988) sind die Zusammenhänge zwischen Hausaufgaben und Schülerleistungen in Mathematik und Naturwissenschaften als klein einzustufen. Es treten jedoch auch große Zusammenhänge auf, wenn die Hausaufgaben eine hohe Qualität aufweisen und vollständig erledigt werden. Dabei ist zu beachten, dass einige der berichteten Effekte nur auf wenigen Korrelationen beruhen und weitere Studien benötigt werden, um diese Befunde abzusichern. Die Ergebnisse einer früheren Metaanalyse, die ausschließlich Befunde aus den USA enthält, weisen in eine ähnliche Richtung. Die AutorInnen berichten für Mathematik einen kleinen Effekt für den Zusammenhang zwischen Zeitaufwand für Hausaufgaben und Leistung (Cooper, Robinson, & Patall, 2006: r = 0.24).

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Jahrgangsstufen und des Erfolgskriteriums (z. B. Schulleistung) eingeschätzt. In der vorliegenden Metaanalyse werden die Ergebnisse nach Schulfächern – getrennt für Mathematik und Naturwissenschaften – berichtet. Auch nach Jahrgangsstufen wird differenziert: SchülerInnen an Grundschulen (r = 0.32) und in der Sekundarstufe II (r = 0.30) profitieren mehr von Hausaufgaben als SchülerInnen der Sekundarstufe I (r = 0.15). Für nicht leistungsbezogene Lernerfolgsmaße – wie Motivation – werden keine gesonderten Effektstärken berichtet.

Wie verallgemeinerbar sind die Befunde?

In der vorliegenden Metaanalyse wurden zahlreiche Moderationsanalysen durchgeführt. Dabei zeigt sich, dass die berichteten Effekte der Metaanalyse nicht homogen sind. Die Verallgemeinerbarkeit des Gesamteffekts wird folglich von verschiedenen Faktoren eingeschränkt:

1. Die gefundenen Effekte unterscheiden sich sowohl im Hinblick auf die beiden untersuchten Fächer als auch auf die unterschiedlichen Altersstufen.

2. Auch in Bezug auf die Merkmale von Hausaufgaben zeigen sich jeweils unterschiedlich große Zusammenhänge (siehe Tabelle 1), und

3. Die Zusammenhänge unterscheiden sich – je nachdem, aus welcher geographischen Region die Daten stammen: USA: r = 0.27 (31 Korrelationen); Europa: r = 0.07 (5 Korrelationen); Asien: r = 0.07 (5 Korrelationen).

In methodischer Hinsicht beeinflussen die Art der Publikation, die Art des Studiendesigns und die Art der Leistungsmessung die Effekte und schränken dadurch die Verallgemeinerbarkeit weiter ein. Beispielsweise sind mit unstandardisierten Testverfahren ermittelte Zusammenhänge höher (r = 0.38) als mit standardisierten Testverfahren ermittelte (r = 0.21). Aufgrund der vielen einflussreichen Moderatoren steht die Verallgemeinerbarkeit des Gesamteffekts in Frage. Die fachspezifischen bzw. altersgruppenspezifischen Zusammenhänge sind dementsprechend z. B. verlässlicher als der Gesamteffekt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse ist aus wissenschaftlicher Sicht bedeutsam. Sie aktualisiert und erweitert die Metaanalyse von Cooper und KollegInnen (2006), wobei sie bestimmte Aspekte vertieft: Sie berücksichtigt erstmals weltweite Befunde und liefert fächerspezifische Evidenz zum Zusammenhang zwischen Hausaufgaben und Schülerleistungen in Mathematik und Naturwissenschaften. Zudem ergibt sich aus der detaillierten Untersuchung vieler Einflussfaktoren, dass zu Hausaufgaben zukünftig noch kontextspezifischer (nach Altersgruppe, Fach oder Kulturraum) geforscht werden sollte.

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht nahezu exemplarisch den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards). Die einzelnen Schritte des Erstellungsprozesses der Metaanalyse (Suche, Studienauswahl, Kodierung und statistische Analyse) sind transparent und nachvollziehbar beschrieben. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Die Metaanalyse trägt Ergebnisse der letzten 30 Jahre zusammen, die auf Daten von zahlreichen SchülerInnen basieren. Sie schließt auch vier deutsche, qualitativ hochwertige Studien mit ein (siehe Studienbeispiel) – was nicht bei allen Metaanalysen der Fall ist – und berücksichtigt kulturelle Unterschiede. Daher sind die Ergebnisse grundsätzlich relevant für die Gestaltung der Hausaufgabenpraxis an deutschen Schulen. Allerdings zeigen die Ergebnisse der Studie deutlich, dass Hausaufgaben ein kulturspezifisches Phänomen sind, da auch der geographische Raum einen starken Einfluss auf die Stärke der Zusammenhänge hat. Dementsprechend können die berichteten Effekte für Deutschland nur Hinweischarakter haben, da keine expliziten Analysen für Deutschland durchgeführt wurden.

Insgesamt ergibt die Studie, dass der Zusammenhang von Hausaufgaben mit Leistungen klein ist bzw. im europäischen Raum gegen Null geht und von unterschiedlichen Faktoren wie den beleuchteten Merkmalen von Hausaufgaben beeinflusst wird. Grundsätzlich scheint es für Lehrpersonen aber möglich, den Nutzen von Hausaufgaben deutlich zu steigern, z. B. dadurch, dass sie SchülerInnen dazu motivieren, ihre Hausaufgaben möglichst gut und vollständig zu erledigen. Dies kann unterstützt werden durch Hausaufgabenkontrollen und wohlüberlegte und ansprechende Hausaufgabenstellung durch die Lehrperson.

Mit wie viel Zeitaufwand und wie häufig Hausaufgaben pro Woche bearbeitet werden, scheint – per se – keinen bedeutenden Einfluss auf die Schulleistungen zu haben. Hier scheint es einen Zusammenhang mit weiteren Faktoren – z. B. dem Leistungsniveau der SchülerInnen – zu geben, wie die Beispielstudie zeigt. Insgesamt sprechen die Ergebnisse dafür, dass Hausaufgaben nicht generell sinnvoll sind, sondern, dass es in der Praxis wichtig ist, genau abzuwägen, wann und wie sich der Einsatz von Hausaufgaben lohnt.

Studienbeispiel

Die Studie von Trautwein und Lüdtke (2007) aus Deutschland illustriert die Ergebnisse der Metaanalyse in Bezug auf die Bearbeitungszeit der Hausaufgaben und liefert darüber hinaus noch tiefergehende Einblicke dahingehend, wie die Wirksamkeit von Hausaufgaben gesteigert werden kann. Die Studie untersucht die Bearbeitungszeit und die Anstrengungsbereitschaft in Bezug auf Hausaufgaben von 511 deutschen SchülerInnen in den Jahrgangsstufen 8 und 9 in den Fächern Mathematik, Physik, Biologie, Deutsch, Englisch und Geschichte.

Die Autoren kommen zu dem Ergebnis, dass die Anstrengungsbereitschaft der SchülerInnen beim Bearbeiten der Hausaufgaben einen positiven Zusammenhang mit Schülerleistungen aufweist, der Zusammenhang zwischen der Bearbeitungszeit der Hausaufgaben und Schülerleistungen hingegen negativ ist. Letzteren Befund führen sie darauf zurück, dass längere Bearbeitungszeiten nicht nur ein Indikator dafür sind, dass sich SchülerInnen intensiver mit den Aufgaben beschäftigen, sondern oft auch daraus resultieren, dass schwächere SchülerInnen Schwierigkeiten beim Bearbeiten von Hausaufgaben haben.

Die Studie zeigt weiterhin, dass die Anstrengungsbereitschaft beim Bearbeiten der Hausaufgaben nicht nur von den jeweiligen SchülerInnen, sondern auch von den Rahmenbedingungen abhängt: SchülerInnen strengen sich dann an, wenn ihnen die Hausaufgaben interessant erscheinen und sie diese für gut vorbereitet halten, wenn sie davon ausgehen können, dass die Bearbeitung hilfreich für den Lernprozess ist und es ihnen gelingen wird, die Hausaufgaben gut zu lösen. Weitere Faktoren, die die Anstrengungsbereitschaft beim Bearbeiten der Hausaufgaben und damit indirekt Schülerleistungen positiv beeinflussen, sind die Hausaufgabenkontrolle durch Lehrpersonen, aber auch der Stellenwert, den die Eltern dem jeweiligen Schulfach beimessen.

Referenzen und Links

Podcast

Downloads

Einleitung

Die fortschreitende Digitalisierung schafft immer neue Möglichkeiten für die Unterrichtsgestaltung. Konkrete Anwendungsmöglichkeiten bietet der Einsatz mobiler digitaler Geräte zur Förderung von kollaborativem Lernen: Smartphones, Tablets und Laptops machen es möglich, gemeinsames Lernen für den Einzelnen zeitlich und räumlich sehr flexibel zu gestalten, da Lernende weder am gleichen Ort noch zur gleichen Zeit arbeiten müssen.

Die Geräte eröffnen viele Möglichkeiten, Lernende optimal zu vernetzen, zum Beispiel durch flexible und strukturierte Kommunikation, durch das Teilen von Wissen, Meinungen und Fragen oder durch Optionen für schnelles Feedback. Dadurch können sie kleinen Gruppen potenziell helfen, beim Lernen produktiver zusammenzuarbeiten und damit den Lernerfolg jedes Einzelnen erhöhen.

Die vorliegende Metaanalyse untersucht zusammenfassend die Effektivität von mobilem digitalen kollaborativen Lernen (engl. mCSCL = mobile computer supported collaborative learning) und verknüpft dabei die Forschungsstränge des kollaborativen Lernens und des Lernens mit mobilen digitalen Geräten. Sie liefert dadurch erstmals Hinweise, ob und unter welchen Bedingungen mobile digitale Geräte das gemeinsame Lernen in Gruppen effektiv unterstützen können.

Worum geht es in dieser Studie?

Die Metaanalyse untersucht, inwiefern kleine Gruppen beim kollaborativen Lernen von der Unterstützung durch mobile digitale Geräte in Bezug auf Lernleistung, Einstellungen und Qualität der Zusammenarbeit profitieren und welche Faktoren diese Zusammenhänge beeinflussen. Dazu werden Studien herangezogen, die die Effekte mobilen kollaborativen Lernens mit drei unterschiedlichen Alternativbedingungen vergleichen:

1. mit individuellem digitalen Lernen,

2. mit kollaborativem Lernen ohne digitale Medien, und

3. mit kollaborativem Lernen mit klassischen digitalen Medien (stationären Computern).

Dadurch können die AutorInnen feststellen, ob die soziale Lernform oder der Einsatz mobiler digitaler Geräte entscheidend für den Lernerfolg ist.

Ein Blick in einzelne Studien zeigt, dass die Wirksamkeit von mobilem digitalen kollaborativem Lernen je nach Schulfach, Alter, Gruppengröße, Gruppenzusammensetzung, Interventionsdauer, Notenvergabe bzw. Belohnungsvergabe oder unterschiedlichen Lehrmethoden variiert. Ob die Wirksamkeit systematisch von diesen Faktoren beeinflusst wird, untersuchen die AutorInnen im Rahmen von Moderatoranalysen. Insgesamt konnten die AutorInnen für Ihre Metaanalyse auf 47 Artikel aus wissenschaftlichen Zeitschriften und eine Dissertationsschrift zurückgreifen, die zwischen 2000 und 2016 erschienen sind. Darin enthalten sind 163 Effektstärken von 5.294 Teilnehmenden.

Was findet diese Studie heraus?

Auf der Basis aller 163 Effektstärken ergab die Metaanalyse einen signifikant positiven Gesamteffekt mittlerer Größe
(g = 0.52): Werden beim kollaborativen Lernen mobile digitale Geräte genutzt, so erzielen Lernende höhere Leistungen, haben positivere Einstellungen zum Lernen und arbeiten produktiver zusammen. Ein sogenannter Heterogenitätstest zeigt, dass sich die Effektstärken zwischen den Studien bedeutsam unterscheiden. Mithilfe von Moderatoranalysen lassen sich Faktoren identifizieren, die die Effektstärke jeweils beeinflussen. Die vollständigen Ergebnisse der Moderatoranalysen sind in Tabelle 1 dargestellt.

Die Analyse unterschiedlicher Vergleichsbedingungen zeigt, dass kollaboratives Lernen mit mobilen Geräten effektiver ist als individuelles Lernen mit mobiler Technologie oder kollaboratives Lernen ohne digitale Unterstützung. Allerdings ergaben die Vergleiche auch, dass Lernende, die kollaborativ mit mobilen digitalen Geräten lernen, verglichen mit Lernenden, die kollaborativ mit statischen (Desktop-)Geräten lernen, nicht signifikant besser abschneiden. Dies deutet darauf hin, dass das besondere Potenzial mobiler digitaler Geräte erst noch nachgewiesen bzw. entwickelt werden muss. Im Hinblick auf den Einsatzkontext ergeben die Befunde, dass insbesondere SchülerInnen der Sekundarstufe und in naturwissenschaftlich-mathematischen Fächern vom kollaborativen Lernen mit mobilen digitalen Geräten profitieren.

Zudem zeigen Gestaltungsoptionen auf unterschiedlichsten Ebenen, wann kollaboratives Lernen von der Unterstützung durch digitale Technologien profitieren kann: Besonders wirksam im Vergleich zeigte sich kollaboratives Lernen unterstützt durch mobile digitale Geräte bei einer Gruppengröße von vier Personen, bei einer vorwiegend homogenen Gruppenzusammensetzung (im Hinblick auf Persönlichkeitseigenschaften und Leistungsvoraussetzungen), sowie bei einer Lernzeit, die weder besonders kurz (unter einer Woche) noch besonders lang (über vier Wochen) angesetzt war. Größere Effekte zeigten sich auch, wenn kollaborative Instruktionsansätze (z. B. Gruppenpuzzle, Gruppenuntersuchung) anstelle von kompetitiven Ansätzen (z. B: Gruppenrallye, Gruppenturnier) gewählt wurden. Zudem waren individuelle Formen der Belohnung oder Benotung der Lernenden mit höheren Effekten verbunden als die Belohnung von Gruppenleistungen. Ob das Klassenzimmer oder informelle Settings (Outdoor, Museum) gewählt wurden, ergab keinen Unterschied.

Tabelle 1. Effekte nach unterschiedlichen Moderatorstufen.

*signifikanter Effekt mit 5% Irrtumswahrscheinlichkeit; **signifikanter Effekt mit 1% Irrtumswahrscheinlichkeit; *** signifikanter Effekt mit 0.1% Irrtumswahrscheinlichkeit.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich (g = 0.52). Diese Effektstärke bedeutet, dass etwas mehr als 70 % der kollaborativ Lernenden mit mobilen Technologien bessere Ergebnisse als der Durchschnitt der Kontrollgruppen erzielen (Vergleichsbedingungen siehe Tabelle 1). Dieser positive Effekt des kollaborativen Lernens mit technologischer Unterstützung zeigt sich über viele Moderatoren und drei verschiedene Erfolgskriterien hinweg als relativ stabil, was auf einen robusten Befund hindeutet. Zudem ist der Befund in Richtung und Größe konform mit Ergebnissen zu kollaborativem Lernen ohne digitale Medien (siehe Kurzreview 4).

Entscheidend bei der Einschätzung aller Effektstärken dieser Metaanalyse ist jedoch, dass die eingehenden Studien meist auf kleinen Stichproben, auf wenig verlässlichen Studiendesigns und kaum auf standardisierten Messverfahren beruhen – häufig auch auf Selbsteinschätzungen von SchülerInnen. Die AutorInnen geben hierzu an, dass aufgrund der geringen Anzahl verfügbarer Studien keine besonderen Anforderungen an die Qualität der eingehenden Studien gestellt werden konnten. Aus der Forschung ist jedoch bekannt (siehe Cheung & Slavin, 2016), dass diese methodischen Faktoren einen deutlichen Einfluss auf die Ergebnisse haben.

Im Fall dieser Metaanalyse ist daher insgesamt davon auszugehen, dass die methodischen Eigenschaften der Primärstudien dazu beitragen, dass die Effektivität überschätzt wird. Zukünftige Primärstudien, die strengeren wissenschaftlichen Kriterien genügen, müssen zeigen wie belastbar diese Ergebnisse sind.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Jahrgangsstufen und des Erfolgskriteriums eingeschätzt. Die Metaanalyse liefert differenzierte Darstellungen in allen drei Bereichen. Es werden gesonderte Effektstärken für unterschiedliche Fächer (u.a. Naturwissenschaften und Mathematik), Altersstufen (u.a. Sekundarstufe) sowie für die Erfolgskriterien Leistung, Einstellung und Qualität der Zusammenarbeit ausgegeben.

Wie verallgemeinerbar sind die Befunde?

In der Metaanalyse wurde eine Reihe relevanter Moderatoren überprüft; bei den meisten zeigten sich keine signifikanten Unterschiede. Dies deutet darauf hin, dass kollaboratives Lernen mit mobilen digitalen Geräten unter ganz unterschiedlichen Bedingungen lernwirksam sein kann. Die Anzahl der Studien für die einzelnen Moderatorstufen ist oftmals jedoch so gering, dass die Ergebnisse eher als vorläufige Trends denn als belastbare Befunde gesehen werden können. Zudem wurden einige wichtige Einflussfaktoren nicht überprüft: So wurde nicht untersucht, welchen Einfluss die Art der mobilen Technologie auf die Größe der Effekte hat. Da die Metaanalyse Studien aus einem relativ langen Zeitraum mit großem technologischem Fortschritt integriert, ist davon auszugehen, dass die darin untersuchten Geräte und Anwendungsarten eine große Heterogenität aufweisen. Welchen Einfluss methodische Faktoren (Studiendesign, Stichprobengröße, Art der Messverfahren) auf die Befunde haben, wurde ebenfalls nicht überprüft. Dies hätte wertvolle Hinweise auf die Belastbarkeit der vorliegenden Befunde geben können.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Studie ist insofern wissenschaftlich bedeutsam, als es sich um die erste Metaanalyse handelt, die sich ganz auf die Frage nach der Effektivität kollaborativen Lernens mit mobiler Technologie konzentriert. Sie liefert dadurch erste Befunde zur Lernwirksamkeit neuer Technologien und bietet einen Referenzpunkt für weitere Arbeiten in diesem Forschungsfeld.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht nur teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Metaanalysis Reporting Standards). Die Schritte bei der Suche und Auswahl relevanter Primärstudien erfüllen alle Ansprüche. Jedoch hätten die AutorInnen bei der Datenanalyse und insbesondere bei der Kodierung von Primärstudienmerkmalen ihr Vorgehen deutlich transparenter beschreiben können. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Für den Unterricht stehen immer mehr Möglichkeiten bereit, Lernprozesse und Lernergebnisse mithilfe mobiler digitaler Geräte zu unterstützen und zu verbessern. Die vorliegende Metaanalyse basiert größtenteils auf Studien, die unter Realbedingungen im Klassenzimmer stattfanden. Sie enthält viele Hinweise darauf, dass sich der Einsatz mobiler Geräte beim kollaborativen Lernen lohnen kann – gerade auch für die mathematisch-naturwissenschaftlichen Fächer.

Die Anzahl und die Qualität der vorhandenen Studien zeigt aber auch, dass die Forschung in diesem Bereich noch relativ am Anfang steht und gerade die neuesten Geräte und Applikationen kaum in verlässlichen Studien getestet wurden. Befunde wie die Überlegenheit individueller Belohnung gegenüber der Belohnung von Gruppenleistung, die sich bereits in Metaanalysen zu kollaborativem Lernen allgemein gezeigt haben (siehe Kurzreview 4), sind folglich belastbarer als Befunde, die nur durch diese Metaanalyse und eine kleine Anzahl von Studien abgesichert sind.

Die Erwartung, dass eine optimale Nutzung der Möglichkeiten mobiler Geräte und ein förderliches Arrangement der Zusammenarbeit zu besseren Lernprozessen und Resultaten im Unterricht führt, bleibt durch die Befunde dieser Metaanalyse bestehen, kann aber durch sie nicht verlässlich belegt werden.

Studienbeispiel

Die Studie von Sanchez & Olivares (2011) illustriert einerseits die Umsetzung einer Lernumgebung, die auch Elemente des kollaborativen Lernens mit mobilen digitalen Geräten enthält, andererseits aber auch den niedrigen methodischen Standard vieler Studien, die in diese Metaanalyse eingegangen sind. Die Studie wurde in Chile mit zehn achten Klassen aus fünf verschiedenen Schulen (insgesamt 373 SchülerInnen) durchgeführt. Dabei nahm eine Klasse pro Schule jeweils am Programm der Experimentalgruppe teil; eine andere Klasse bildete die Kontrollgruppe, die zum selben Themenbereich (Evolution) von derselben Lehrperson ohne besondere Maßnahmen unterrichtet wurde.

Die SchülerInnen der Experimentalgruppe nahmen an 23 interaktiven Sessions zum Thema Evolution teil. In sieben dieser 23 Sessions spielten sie auf mobilen Geräten insgesamt drei digitale Spiele (wovon jeweils ein Spiel im Zoo und eines im Museum stattfand) bei denen sie kooperieren mussten. Ein Spiel hatte zum Beispiel zum Ziel, gemeinsam mehrere Spezies zu höheren Evolutionsstufen zu führen und dadurch die Bedingungen und den Ablauf biologischer Evolution zu verstehen. Die drei Spielaktivitäten repräsentieren in dieser Studie kollaboratives Lernen mit mobilen digitalen Geräten.

Nach der Intervention schätzten die SchülerInnen ihre Problemlösefähigkeiten und ihre Kollaborationsfähigkeiten ein. Beim Vergleich der beiden Gruppen zeigten sich zum Teil leicht höhere Mittelwerte bei der Experimentalgruppe. Da für die beiden Gruppen keine Ausgangswerte vor der Intervention vorliegen, ist nicht auszuschließen, dass bereits vor der Intervention schon Unterschiede zwischen den beiden Gruppen bestanden. Außerdem nahmen die SchülerInnen an einer umfassenden Intervention mit Museums- und Zoobesuch teil und benutzten nur zeitweise mobile digitale Geräte. So bleibt unklar, ob etwaige Effekte der Nutzung mobiler Geräte zugeschrieben werden können. Die festgestellten Unterschiede waren zudem sehr gering und beruhen auf Selbsteinschätzungen der Schüler und nicht auf objektiven Tests.

Unter anderem aufgrund der genannten methodischen Schwächen kann aus diesem Ergebnis nicht geschlossen werden, dass kollaboratives Lernen mit digitalen Geräten entsprechende Fähigkeiten effektiver fördert.

Referenzen und Links

Podcast

Downloads