^[1] Nach Angaben der Zeitschrift wird ‚sustainable education‘ als das Finden nachhaltiger Lösungen für Umwelt-, soziale und wirtschaftliche Probleme durch Bildung definiert.

Einleitung

Die Integration von auf künstlicher Intelligenz basierenden Chatbots in den Unterricht gewinnt zunehmend an Bedeutung. Dies gilt insbesondere vor dem Hintergrund der digitalen Bildungsreform und dem Ziel, digitale Kompetenzen zu fördern. Für den MINT-Unterricht bieten Chatbots als Lehrassistenten und Tutoren neue Möglichkeiten, SchülerInnen individuell zu unterstützen und komplexe Inhalte zugänglicher zu machen. Dies steht im Einklang mit Bildungsstandards, die selbstgesteuertes Lernen und den Einsatz moderner Technologien betonen. In der Bildungsforschung wird jedoch kontrovers diskutiert, wie effektiv solche Technologien im Vergleich zu traditionellen Lehrmethoden tatsächlich sind, beispielsweise auch bezüglich der Motivation von Lernenden. Die Metaanalyse untersucht auf Basis von Theorien des technologiegestützten Lernens, wie Chatbots sieben unterschiedliche Lernergebnisse fördern können, wie Lernerfolg, Behaltensleistung und kritisches Denken. Außerdem analysiert sie verschiedene Einsatzbedingungen, die die Effektivität von Chatbots beeinflussen, um praktische Handlungsempfehlungen für den Unterricht zu liefern.

Worum geht es in dieser Studie?

In dieser Metaanalyse werden Chatbots von den AutorInnen als ein Dialogprogramm definiert, das Eingaben verarbeiten und dementsprechend Informationen durch verbale oder schriftliche Interaktion bereitstellen kann. Dabei werden experimentelle Designs mit Kontrollgruppen genutzt, um die Effektivität von Chatbots mit herkömmlichem Unterricht zu vergleichen. Hierfür beziehen sie 32 Studien mit insgesamt 2.201 Teilnehmenden ein. Die möglichen Einflüsse solcher Chatbots werden in drei zentralen Fragestellungen analysiert.

Erstens untersuchen sie, ob das Lernen mit Chatbots effektiver ist als das Lernen mit traditionellen Methoden, indem sie die Effekte von sieben verschiedenen Lernergebnissen zu einem Gesamteffekt kombinieren.  Zweitens untersuchen die AutorInnen, die Auswirkungen von Chatbots auf jede der sieben verschiedene Lernkomponenten wie z.B. Lernerfolg, Behaltensleistung, Motivation und Interesse (Definitionen und Effekte siehe Befunde zu Lernergebnisse). Drittens analysieren sie, ob Faktoren wie Dauer der Intervention, Rolle des Chatbots oder die Art der Lerninhalte die Effektivität der Chatbots beeinflussen. 

Die Studien, die zwischen 2010 und 2022 veröffentlicht wurden, untersuchen Chatbots in verschiedenen Kontexten, darunter Sprachunterricht und technische Fächer. Dabei nutzen sie standardisierte Tests, Befragungen und Beobachtungen als Messmethoden. Zudem decken die Analysen ein breites Spektrum an Bildungskontexten ab, darunter Schulen und Hochschulen. Die Autoren differenzieren zudem zwischen drei Rollen, die Chatbots einnehmen können: 

• Tutoren stellen und beantworten selbst Fragen und führen die SchülerInnen durch den Unterricht
• Lehrassistenten übernehmen eine unterstützende Funktion, indem sie professionelles Wissen bereitstellen, professionelles Feedback geben und den Lernprozess strukturieren
• Lernpartner kommunizieren und interagieren mit SchülerInnen – entweder über Text oder Sprache – weniger formal. 

Was findet diese Studie heraus?

Insgesamt zeigt diese Metaanalyse, dass der Einsatz von Chatbots im Unterricht einen mittleren bis großen positiven Einfluss auf den Lernergebnisse hat. Der durchschnittliche Gesamteffekt beträgt d = 0.79, was darauf hindeutet, dass Lernende, die mit Chatbots arbeiten, tendenziell bessere Ergebnisse erzielen als Lernende, die traditionelle Methoden nutzen. Darüber hinaus zeigen sich starke Effekte im Bereich der expliziten Argumentation (d = 1.19) und des Lernerfolgs (d = 1.03). Dies legt nahe, dass Chatbots besonders gut geeignet sind, argumentative Lernprozesse zu strukturieren und auch die Prüfungsleistung zu fördern. 

Ebenso finden sich signifikant positive Effekt auf die Behaltensleistung (d = 0.69). Dies zeigt, dass Chatbots Lerninhalte nicht nur kurzfristig vermitteln, sondern auch langfristig im Gedächtnis verankern können. Ein ähnlicher Effekt ist bei Interesse (d = 0.84) zu beobachten, was darauf hindeutet, dass Chatbots die Lernbereitschaft von SchülerInnen fördern können. 

Bei den Auswirkungen von Chatbots gibt es nur sehr geringe Unterschiede zwischen verschiedenen Nutzungsarten, für verschiedene Fächer und für verschiedene Zeiträume. Die größten deskriptiven Effekte wurden jedoch bei der Verwendung von Chatbots als Lernassistent (d = 1.63), bei einer Dauer von weniger als fünf Wochen (d = 1.06) und in den technischen Fächern Informatik (d = 0.70) und Unterrichtstechnologie (d = 0.93) festgestellt. Dies deutet auf die Nützlichkeit von strukturiertem und klarem Feedback in diesen Bereichen hin. Die Befunde zu den einzelnen Lernergebnissen und weiteren Moderatoren sind der jeweiligen Gesamtübersicht zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der Klassifizierung von Cohen (1988) war der Gesamteffekt von Chatbots im Unterricht positiv (d = 0.79). Das bedeutet, dass Lernende, die auf Chatbots basierendes Lernen nutzten, im Durchschnitt bessere Lernergebnisse (z. B. Leistung, Argumentation) erzielten als Lernende, die traditionelle Lernansätze verwendeten. Um diesen Effekt zu veranschaulichen: Wenn man aus jeder experimentellen Gruppe zufällig einen Lernenden auswählt, ist die Wahrscheinlichkeit, dass der mit Chatbots Lernende, bessere Ergebnisse erzielt, um etwa 70 % höher als bei dem Lernenden, der sie nicht nutzt.

Dieser Effekt war besonders stark bei den Lernleistungen (d = 1.03). Das bedeutet, dass etwa 85 % der SchülerInnen, die Chatbots verwenden, bessere Testergebnisse erzielen würden als der Durchschnitt der SchülerInnen, die traditionelle Lernansätze verwenden.

Alle Einzelstudien in der Metaanalyse zeigten positive Auswirkungen von Chatbots auf die Lernergebnisse. Die Metaanalyse zeigte jedoch keinen signifikanten Unterschied zwischen dem Lernen mit Chatbots und den traditionellen Ansätzen in Bezug auf die Lernergebnisse kritisches Denken, Lernmotivation und Lernengagement auf. Dennoch wurde festgestellt, dass Chatbots über verschiedene Moderatoren, wie Nutzungsdauer, verschiedene Lerninhalte und bei der Verwendung verschiedener Rollen, hinweg effektiv sind.

Erfahren Sie mehr über die Einschätzung von Effektstärken in unserem Handout.

Wie differenziert sind die Ergebnisse dargestellt?

In dieser Studie wird die Wirkung des Lernens mit Chatbots auf verschiedene Weise differenziert. Die Effektgrößen werden nach Fachinhalten getrennt, einschließlich des MINT-Fachs Informatik . Darüber hinaus wurden Effektgrößen für sieben verschiedene Lernergebnisse angegeben: kritisches Denken, explizite Argumentation, Lernerfolg, Behaltensleistung, Lernengagement, Lernmotivation und Interesse. Die Effekte wurden auch in Abhängigkeit von der Rolle des Chatbots beim Lernen der SchülerInnen (d. h. Tutoren, Lernpartner oder Lehrassistenten) und der Dauer der Chatbot-Nutzung berichtet. Einschränkend ist festzuhalten, dass die Effektgrößen nicht nach Altersgruppen oder Klassenstufen unterteilt werden. Da die Studien in dieser Metaanalyse Stichproben aus verschiedenen Schulformen der Primar- und Sekundarstufe sowie der Hochschulbildung umfassten, kann nicht dargestellt werden, ob sich die Auswirkungen von Chatbots zwischen diesen Schulstufen unterscheiden.

Wie verallgemeinerbar sind die Befunde?

Laut der Metaanalyse haben Chatbots ihre Wirksamkeit für verschiedene Lernergebnisse und in mehreren Lernkontexten und Behandlungsbedingungen unter Beweis gestellt.

Im Lernkontext war die Wirkung von Chatbots über die Fächer hinweg größtenteils stabil. Ebenso waren die Lerneffekte durch Chatbots über unterschiedliche Zeiträume (d. h. von weniger als einer Woche bis zu mehr als zehn Wochen) und für verschiedene Rollen ähnlich. Diese Ergebnisse zeigen, dass die Effektivität von Chatbots für diese Lernkontexte tendenziell verallgemeinerbar ist.

In Bezug auf die Ergebnisse zeigte sich auch, dass das Lernen mit Chatbots gegenüber traditionellen Lernansätzen einen deutlichen Vorteil für den Lernerfolg bietet. Diese Effekte waren jedoch über die Vielzahl der untersuchten Lernergebnisse weniger verallgemeinerbar. Die Effekte waren robust für den Lernerfolg und basierten auf 31 Studien. Andere Ergebnisse, wie beispielsweise das Interesse basierten aber auf weniger Studien, was ihre Verallgemeinerbarkeit trotz möglicher positiver Trends einschränkte. Bei anderen Ergebnissen, wie z. B. kritisches Denken, unterschied sich der Einsatz von Chatbots nicht von traditionellen Methoden. Daher kann angenommen werden, dass die Wirkung von Chatbots vom Lernziel abhängt. 

Einschränkend ist festzuhalten, dass andere Aspekte des Lernkontexts (z.B. Klassenstufe, geographische Lage) sowie unterschiedliche methodische Merkmale (z.B. Stichprobengröße, Studiendesign) nicht als Moderatoren mitberücksichtigt wurden, weswegen keine Aussage über die Generalisierbarkeit dieser Aspekte getroffen werden kann. Auch für eine differenzierte Aussage über die Wirksamkeit in anderen MINT-Fächern bedarf es weiterer experimenteller Studien.

Was macht die Metaanalyse wissenschaftlich relevant?

Mit der wachsenden Verbreitung von KI und Chatbot-Technologie und ihrer Integration in den Unterricht nimmt die Forschung zur Lerneffektivität weiter zu. Da es sich um ein relativ neues Forschungsthema handelt, liefern erste Metaanalysen spezialisierte Informationen über aufkommende Trends, die Lehrkräften erste Einblicke in dieses dynamische Phänomen bieten. Da sich diese Studie auf den Einsatz von Chatbots in der Allgemeinbildung und nicht nur auf bestimmte Fachbereiche oder Chatbot-Rollen konzentriert, ist sie die erste, die Einblicke in die umfassendere Frage nach der Wirksamkeit von Chatbots für das Lernen im Bildungsbereich gibt. 

Darüber hinaus sollten diese Ergebnisse im Bildungskontext zwar als vorläufig betrachtet werden, doch die strenge Auswahl der Studien, durch die AutorInnen (z.B. Äquivalenz von Kontroll- und Experimentalgruppe) und ihre Differenzierung zwischen den sieben Lernergebnissen, verleihen ihren Erkenntnissen zur Effektivität von Chatbots sowohl Stärke als auch Nuancen. Die Metaanalyse ist zudem wissenschaftlich bedeutsam, da sie ein besonders interessantes Ergebnis liefert: Im Gegensatz zur allgemeinen Meinung legen die bisherigen Befunde nahe, dass Chatbots keinen deutlichen Einfluss auf Motivation, Engagement und kritisches Denken haben.  

Wie methodisch verlässlich sind die Befunde?

Die Offenlegung und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards)

Die Gesamtpunktzahl liegt im oberen Drittel. Somit werden das systematische Vorgehen der Metaanalyse bei der Suche nach relevanten Studien, die Auswahl der Studien, die Kodierung und die statistische Analyse weitgehend transparent und nachvollziehbar berichtet und beschrieben. Diese Studie zeigte beispielsweise besondere Stärken bei der Ermittlung relevanter Schlüsselwörter für die Datenbanksuche unter Verwendung einer neuartigen Clustering-Methode und der Durchführung mehrerer statistischer Prüfungen (z. B. Publikationsbias, Sensitivitätsanalyse) zur Sicherstellung der Validität. Die Datenbanksuche hätte jedoch durch zusätzliche Suchmethoden ergänzt werden können (z. B. Rückwärtssuche in Referenzlisten), um weitere relevante Studien zu finden, die einige Ergebniskategorien möglicherweise robuster gemacht hätten (z. B. kritisches Denken).  

Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet. 

Fazit für die Unterrichtspraxis

Die Ergebnisse dieser Metaanalyse bieten einen ersten Einblick in die Forschung zur Effektivität von Chatbots im Bildungsbereich. So erhalten Lehrkräfte einen ersten Überblick über bestimmte Lernergebnisse, Kontexte und Bedingungen, mit welchen die Integration von Chatbots erfolgreich gelingen kann. Was die Auswirkungen auf das Lernen betrifft, können Lehrkräfte positive Ergebnisse bei Leistungstests und möglicherweise auch einen positiven Einfluss auf explizite Argumentation und die Behaltensleistung erwarten.

Hinsichtlich des Lernengagements und der Lernmotivation der Lernenden scheinen Chatbots ihrem angenommenen Einfluss jedoch möglicherweise nicht gerecht zu werden. Weiterhin ist unklar, ob Chatbots kritisches Denken fördern (siehe dazu unser Kurzreview). Es ist auch erwähnenswert, dass ein potenzielles Risiko bei der Verwendung von Chatbots der Neuigkeitseffekt ist, bei dem sich die Ergebnisse anfangs verbessern, die Effekte aber nachlassen, sobald der Reiz des Neuen nachlässt (Clark, 1983; e.g., Fryer et al., 2017). Dies kann vermieden werden, indem sich SchülerInnen zunächst mit dem Chatbot vertraut machen, bevor sie ihn für Lernaktivitäten verwenden.

Die AutorInnen betonen, dass Chatbots in technischen Kursen, insbesondere als Tutoren oder Lernpartner die größten und robustesten Effekte erzielen, wenn sie über einen Zeitraum von weniger als fünf Wochen eingesetzt werden. In diesen Kontexten können sie gezielt eingesetzt werden, um explizite Argumentation oder die Behaltensleistung zu fördern. 

Studienbeispiel

Eine Laborstudie von Ruan und Kollegen (2020) zeigte signifikante Auswirkungen eines Lerndesigns mit einem Chatbot-Tutor. Die Studie untersuchte eine interaktive mathematische Lernumgebung für SchülerInnen der 3. bis 5. Klasse und ihre Auswirkungen auf Engagement, Lernen und Wissenserhalt in Mathematik. Sie verglichen vier Varianten der Lernplattform: 

• Gruppe A: Nur mathematische Textaufgabe (Kontrollgruppe)
• Gruppe B: Dieselbe mathematische Aufgabe eingebettet in eine märchenhafte Geschichte
• Gruppe C: Dieselbe mathematische Aufgabe in einer Geschichte mit Schritt-für-Schritt-Anleitung zur Lösung
• Gruppe D: Dieselbe Mathematische Aufgabe in einer Geschichte plus einen Chatbot-Tutor. Der Chatbot bot den SchülerInnen personalisierten Smalltalk, Ermutigung, wenn sie nicht weiterkamen, adaptive Hinweise im Konversationsstil und Fragen, um das Verständnis zu überprüfen.

Die Studie ergab, dass die erzählbasierte Aktivität plus Chatbot-Variante (D) im Vergleich zur reinen Aufgabenvariante (A) einen großen und signifikanten Effekt auf das Engagement (ES = 0.90), das Lernen (ES = 0.88) und den Wissenserhalt der Konzepte, eine Woche nach der Aktivität, hatte. 

Referenzen und Links

Downloads

Einleitung

Die Diskussion, ob und unter welchen Bedingungen spielbasierte Anwendungen im Allgemeinen für den Einsatz im Unterricht geeignet sind, ist nicht neu und es existieren bereits einige Metaanalysen hierzu (siehe zum Beispiel Kurzreview 2 über Unterstützungsmaßnahmen beim Game-based Learning und Kurzreview 3 über kognitive und motivationale Effekte von Serious Games). Bai und KollegInnen (2020) fokussieren in ihrer Metaanalyse im Speziellen auf die Wirksamkeit von digitalen Spielelementen im Rahmen von Gamification. Hiermit meinen die AutorInnen den Einsatz von digitalen Spielelementen in nicht-spielerischen Kontexten (z. B. im Unterricht), um so SchülerInnen zum Lernen zu motivieren.

Die AutorInnen grenzen den Begriff der Gamification klar von Serious Games ab. Bei Serious Games handelt es sich um den Einsatz von Spielen, die gezielt entwickelt wurden, um Lerninhalte zu transportieren. In ihrer Metaanalyse zu Gamification konzentrieren sich Bai und KollegInnen auf digitale Spielelemente, die den Lernenden dabei helfen, ihren Lernprozess spielerisch zu beobachten und zu evaluieren. Darunter fallen beispielsweise Badges (i. S. v. Abzeichen für Lernerfolge), Wettbewerbsysteme, Rankings (i. S. v. Rangfolgelisten), Punkte und Lernfortschrittsanzeigen. Die bisherige Forschung zu Gamification kommt zu unterschiedlichen Ergebnissen: Mal werden positive, mal negative und teilweise auch gar keine Effekte berichtet. Bai und KollegInnen untersuchen nun anhand von ausgewählten Einzelstudien systematisch, ob Lernumgebungen mit digitalen Spielelementen im Vergleich zu Lernumgebungen ohne diese Elemente, einen positiven Effekt auf die Lernleistung der SchülerInnen haben.

Worum geht es in dieser Studie?

Bai und KollegInnen beleuchten in ihrer Metaanalyse die Frage, ob der Einsatz digitaler Spielelemente im Rahmen von Gamification einen Effekt auf die Leistung der SchülerInnen hat und unter welchen Bedingungen der Einsatz besonders lernförderlich ist. Die AutorInnen berücksichtigen hierbei 24 Einzelstudien, in denen die Wirkung von insgesamt 30 unabhängigen Interventionen untersucht werden. Insgesamt gehen die Studien auf die Werte von 3.202 SchülerInnen der Primar- und Sekundarstufe sowie Studierende zurück. Alle Studien wurden im Zeitraum von 2010 bis 2018 veröffentlicht und haben (quasi)experimentelle Designs.

Das heißt, sie beinhalten den empirischen Vergleich einer Experimentalgruppe, die mit digitalen Spielelementen im Rahmen von Gamification lernt, und einer Kontrollgruppe, die in einer Lernumgebung ohne solche digitalen Spielelemente lernt. Im Rahmen von Moderatoranalysen untersuchen die AutorInnen zusätzlich, inwiefern die Wirksamkeit von Gamification von unterschiedlichen Gestaltungsmöglichkeiten und Untersuchungsmerkmalen abhängt. Dafür berücksichtigen sie vier Kategorien an Moderatoren: Typ und die Anzahl der eingesetzten Spielelemente, Art der Kontrollbedingung, Merkmale des Kurses (z. B. Schul-/Studienfach, Anzahl der ProbandInnen oder Dauer des Einsatzes) und Merkmale der ProbandInnen (z. B. Alter und geographische Region).

Was findet diese Studie heraus?

Die Metaanalyse zeigt über alle Studien hinweg einen signifikanten Gesamteffekt von Hedges’ g = 0.50 (Konfidenzintervall g = 0.28 bis g = 0.72) zugunsten der Lernumgebungen mit digitalen Spielelementen im Vergleich zu Lernangeboten ohne solche Elemente. Die meisten untersuchten Moderatoren zeigen keine signifikanten Unterschiede bezüglich der Wirksamkeit von digitalen Gamification-Elementen in unterschiedlichen Untergruppen.

Signifikante Unterschiede in der Wirksamkeit zeigen sich lediglich bei der Anzahl an ProbandInnen, der Dauer der Intervention und der geographischen Region, aus der die Lernenden stammen. Hinsichtlich der Anzahl der Lernenden zeigt sich, dass der Einsatz von digitalen Spielelementen bei größeren Gruppen von 50 bis 100 Personen am wirkungsvollsten zu sein scheint. Zudem bekunden die Ergebnisse der Analyse bzgl. der Dauer des Einsatzes der digitalen Spielelemente den größten Effekt bei einem bis drei Monate. Mit Blick auf die geographische Region der Lernenden finden sich die größten Effekte in West- und Ostasien. Eine genaue Auflistung der untersuchen Moderatoren und der Ergebnisse der Moderatoranalysen finden Sie in der Gesamtübersicht.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt in dieser Metaanalyse bei Hedge’s g = 0.50. Ein Effekt dieser Stärke bedeutet, dass circa 70 % der Lernenden, die mit digitalen Spielelementen lernten, eine höhere Lernleistung erbrachten als der Durchschnitt der Lernenden, die ohne solche digitalen Elemente lernten. Dieser Gesamteffekt ist etwas höher als in vorausgehenden Metaanalysen zum spielbasierten Lernen: Wouters und Kollegen (2013) berichten einen Gesamteffekt digitaler Spiele (Serious Games) auf den Lernerfolg von Cohen’s d = 0.29 (siehe Kurzreview 3).

Die Ergebnisse der Moderatoranalysen weisen darauf hin, dass die Wirksamkeit von Gamification durch die Gruppengröße (z. B. bei Gruppen von 50 Lernenden) und die Dauer der Intervention (z. B. über mehrere Tage/Wochen) potentiell vergrößert werden kann. Zur Substanz der Befunde trägt zudem bei, dass Einzelstudien mit selbstberichteten bzw. subjektiven Lernerfolgsmaßen aus den Analysen ausgeschlossen wurden. Weitere Informationen zur Einschätzung von Effektstärken finden Sie in unserem Handout zu Effektstärken.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der untersuchten Schulfächer und Altersgruppen eingeschätzt. Die Metaanalyse liefert differenzierte Werte zu unterschiedlichen Fachbereichen (z. B. Computer und Informatik, Mathematik, Naturwissenschaften, Sprache, Kunst) und unterschiedlichen Altersgruppen (Primarstufe, Sekundarstufe, Bachelorstudium, Masterstudium). Beide untersuchten Moderatoren (Fach und Alter) liefern jedoch keine Hinweise auf signifikante Unterschiede zwischen den Ausprägungsformen. Das untersuchte Leistungskriterium Lernleistung wird nicht weiter differenziert betrachtet.

Wie verallgemeinerbar sind die Befunde?

Grundsätzlich zeigen sich positive Effekte von digitalen Spielelementen im Rahmen von Gamification über die verschiedenen Gestaltungsmöglichkeiten und Rahmenbedingungen hinweg. Die AutorInnen fanden keine signifikanten Unterschiede in der Effektivität von Gamification zwischen der Art oder der Anzahl von Spielelementen, der Schulart der SchülerInnen oder dem Unterrichtsfach. Dies deutet darauf hin, dass die Wirksamkeit des Einsatzes digitaler Spielelemente gut verallgemeinerbar ist. Die Moderatoranalysen zeigen jedoch, dass die Anzahl der ProbandInnen die Dauer der Intervention und die geographische Region, in der die Studie durchgeführt wurde, zu signifikanten Unterschieden führen. In diesen Fällen sind die spezifischen Effektstärken aussagekräftiger als der Gesamteffekt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse ist aufgrund folgender Argumente wissenschaftlich bedeutsam: Zum einen liefert sie neue Befunde zum spielbasierten Lernen mit einem Fokus auf die Wirksamkeit von Gamification. Zum anderen zeichnet sich die Metaanalyse durch die Auswahl unterschiedlicher Moderatoren aus. Neben methodischen Moderatoren (z. B. Kontrollbedingungen) wurden auch Merkmale der Lernenden und des Kurses berücksichtigt. So zeigt sich nicht nur, dass digitale Spielelemente lernförderlich sein können, sondern auch, unter welchen Bedingungen sie besonders wirksam sind.

Wie methodisch verlässlich sind die Befunde?

Die Darstellung des methodischen Vorgehens entsprechen nur teilweise den Kriterien gängiger Anforderungskataloge (z. B. APA Meta-Analysis Reporting Standards). Über die Recherche und statistischen Analysen wird überwiegend transparent und nachvollziehbar berichtet. Allerdings fehlen detaillierte Aussagen zur Auswahl und Kodierung der Einzelstudien (z. B. Stichprobengrößen, Kontrollgruppen). Detaillierte Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Spielen und Lernen – diese Begriffe passen zusammen! Die Metaanalyse zeigt: Der Einsatz digitaler Spielelemente, kurz Gamification, lohnt sich auch im Klassenzimmer. Der positive Gesamteffekt deutet darauf hin, dass die Lernleistung der SchülerInnen durch Gamification gefördert werden kann. Dieses Ergebnis zeigt sich stabil über Schularten, Unterrichtsfächer und Altersgruppen hinweg. Auch die Art und Anzahl der eingesetzten Spiele scheint den Effekt digitaler Spielelemente nicht signifikant zu beeinflussen. Der konkrete Unterrichtskontext, in dem Gamification eingesetzt wird, zeigt sich damit in der Metaanalyse als weniger entscheidend.

Auch wenn sich aus der Metaanalyse keine Handlungsempfehlungen für konkrete Unterrichtssituationen ableiten lassen, so geben die Ergebnisse wichtige Hinweise darauf, dass Gamification grundsätzlich lernförderlich sein kann. Ob sich die gefundenen Effekte auch außerhalb des asiatischen Kulturkreis zeigen, müssen weitere Studien klären. Diese Metaanalyse ermutigt Lehrkräfte, Gamification auszuprobieren und sie in Rücksprache mit den SchülerInnen bedarfsgerecht einzusetzen. Für einen Einstieg in diesen Prozess gibt die Metaanalyse erste Impulse.

Studienbeispiel

Turan, Avinc, Kara und Goktas (2016) untersuchen in ihrer Studie den Effekt von digitalen Spielelementen im Rahmen von Gamification auf die kognitive Belastung und Leistung von SchülerInnen in einem Informatik- und Softwarekurs. An der Studie nahmen insgesamt 94 SchülerInnen der 6. Jahrgangsstufe an zwei Schulen in der Türkei teil, die in zwei Gruppen aufgeteilt wurden – eine Experimental- und eine Kontrollgruppe. Die Experimentalgruppe umfasste 46 SchülerInnen, die für bestimmte Aufgaben und Verhaltensweisen während des Unterrichts Punkte erhielten, die wiederrum auf einem digitalen Board vermerkt wurden. Zusätzlich bearbeiteten die SchülerInnen der Experimentalgruppe kleine fachbezogene Quizzes (auf der Quiz-Plattform Kahoot). Dadurch erhielten die SchülerInnen stets unmittelbar Rückmeldung zu ihrem derzeitigen Lernstand.

Die Intervention erfolgte über sechs Wochen für zwei Stunden pro Woche. Die 48 SchülerInnen der Kontrollgruppe wurden zum gleichen Inhalt regulär ohne den Einsatz digitaler Spielelemente unterrichtet. Um die Effektivität von Gamification zu untersuchen, erhoben die AutorInnen nach jeder Woche bei allen SchülerInnen die kognitive Belastung und zum Abschluss der Intervention die erbrachte Lernleistung mit Fragbögen und Tests. Die SchülerInnen der Experimentalgruppe zeigten nach der Intervention zwar eine höhere kognitive Belastung (gemittelt über die sechs Wochen der Studie), allerdings auch signifikant höhere Leistungen als die SchülerInnen der Kontrollgruppe.

Referenzen und Links

Podcast

Downloads

Einleitung

Das Schlagwort Digitalisierung in Schule und Unterricht weckt verschiedenste Assoziationen und löst sehr unterschiedliche Reaktionen aus. In ihrer Metaanalyse untersuchen Hillmayr und KollegInnen anhand von empirischen Befunden, wie sich der Einsatz von digitalen Tools im Unterricht einerseits auf den Lernerfolg und andererseits auf die Einstellung der SchülerInnen dem jeweiligen Fach gegenüber auswirkt. Als digitale Tools werden in der vorliegenden Metaanalyse verschiedene computergestützte Programme und Anwendungen bezeichnet, die den Lernprozess in der Schule unterstützen sollen. Die Art der Hardware – Smartphone, Computer oder Tablet – steht dabei nicht im Vordergrund. Die untersuchten Tools bilden das ganze Spektrum von digitalen Anwendungen ab. Die sechs untersuchten Typen werden in Anlehnung an Hillmayr et al. (2017) sowie Nattland & Kerres (2009) im Folgenden kurz beschrieben:

• Drill-und-Practice-Programme. Hierunter werden klassische Übungsprogramme zur Wiederholung und Üben von Wissen verstanden. Die SchülerInnen erhalten nach jeder Übung Rückmeldung zu ihrer Lösung. Neues Wissen erlernen die SchülerInnen damit allerdings nicht.
• Digitaler Tutor. Digitale Tutoren sind Programme, die prinzipiell die Funktion einer Lehrperson übernehmen können. Wissen wird in zumeist kleinen Lerneinheiten vermittelt. Zudem bieten die Programme häufig die Möglichkeit zum Üben und Vertiefen des Wissens.
• Intelligenter digitaler Tutor. Auch intelligente digitale Tutoren dienen der Vermittlung von Wissen und der Möglichkeit zur Übung. Allerdings haben sie zusätzlich eine adaptive Funktion: Je nach Wissensstand der SchülerInnen werden die Inhalte angepasst. Dies geschieht beispielsweise anhand der Schwierigkeit der Aufgaben oder durch zusätzliche Unterstützung.
• Hypermedia. Im Gegensatz zu Tutoren erledigen die SchülerInnen hier Aufgaben nicht entlang einer vorgegebenen Reihenfolge, sondern können frei explorieren. Durch Querverweise und Links können die SchülerInnen auf verschiedene Ton-, Bild- oder Videodokumente zurückgreifen, damit individuelle Wissenslücken füllen und die Inhalte Selbstreguliertes Lernen erarbeiten, indem sie frei durch die Inhalte navigieren. Beispiele hierfür sind Online-Enzyklopädien.
• Dynamische mathematische Visualisierungen. Sie erlauben es SchülerInnen, mathematische Zusammenhänge zu explorieren. Hauptmerkmal ist die visuelle Darstellung komplexer mathematischer Zusammenhänge, wie beispielsweise in der Software GeoGebra zur Sinusfunktion
• Virtual Reality. Diese Art von Anwendung beschreibt Lernumgebungen, in denen eine reale Situation simuliert wird. Die SchülerInnen können hier komplexe Sachverhalte erfassen und nachvollziehen – wie beispielsweise aufwändige naturwissenschaftliche Experimente. Virtual reality-Anwendungen ermöglichen das Experimentieren ohne Beschränkungen durch den Aufwand oder Sicherheitsprobleme, wie sie im Labor zu erwarten wären.

Durch die Vielfalt der untersuchten Tools einerseits und den Fokus auf den mathematisch-naturwissenschaftlichen Bereich der Sekundarstufe andererseits unterscheidet sich die vorliegende Metaanalyse von vorherigen Arbeiten. Die Metaanalyse zu »adaptiver Lernsoftware« von Gerard und KollegInnen (2015; Kurzreview 21) beschränkt sich auf spezifischere Tools; die Metaanalyse zu »digitalen Anwendungen in Mathematik« von Cheung und Slavin (2013; Kurzreview 7) fokussiert sich nur auf die Anwendung in einem Fach.

Worum geht es in dieser Studie?

Zunächst wollen Hillmayr und KollegInnen herausfinden, wie sich der Einsatz von digitalen Tools im Vergleich zu Unterricht ohne diese auf die Leistung und die Einstellung zum jeweiligen Unterrichtsfach auswirkt. Dafür fassen sie 92 Primärstudien mit 92 Effektstärken zur Leistung und 16 zu den Einstellungen zusammen. Die Studien wurden im Zeitraum 2000 bis 2018 in internationalen Zeitschriften mit Begutachtungsverfahren veröffentlicht und beinhalten Daten von knapp 15.000 SchülerInnen. Alle Studien basieren auf einem (quasi-)experimentellen Untersuchungsdesign mit Kontrollgruppe und wurden in den naturwissenschaftlich-mathematischen Fächern in der Sekundarstufe durchgeführt – mit SchülerInnen ohne besonderen Förderbedarf.

Der Fokus der Untersuchung liegt klar auf Tools, die für den Unterricht entwickelt wurden. Entsprechend werden beispielsweise Computerspiele, die unabhängig von Unterricht funktionieren, von der Untersuchung ausgeschlossen. Zudem untersuchen sie zahlreiche weitere Einflussfaktoren und Kontextbedingungen, die konkrete Hinweise darauf liefern können, unter welchen Bedingungen die Anwendungen besonders effektiv sind. Sie erfassen beispielsweise, wie viele SchülerInnen gleichzeitig mit dem gleichen digitalen Tool arbeiten, ob sie dabei von der Lehrkraft oder MitschülerInnen zusätzliche Unterstützung erhalten, ob das Tool ergänzend zu anderen Methoden im Unterricht oder als Ersatz für bestimmte Elemente des Unterrichts eingesetzt wurde sowie ob die Lehrkräfte für den Einsatz dieser Tools gezielt geschult wurden. Den Einfluss dieser Faktoren auf die Leistung untersuchen sie in sogenannten Moderatoranalysen.

Tabelle 1: Übersicht über die Moderatoren und Moderatorstufen.

* markiert einen signifikanten Effekt bzw. Unterschied.

Was findet diese Studie heraus?

Die Ergebnisse der Metaanalyse zeigen, dass SchülerInnen der Sekundarstufe in Naturwissenschaften und Mathematik insgesamt vom Einsatz digitaler Tools profitieren. Der signifikante Gesamteffekt für die Leistungen von SchülerInnen mit Unterricht mit digitalen Tools im Vergleich zu Unterricht ohne digitale Tools ist: g = 0.65. Der Gesamteffekt für die Einstellungen gegenüber dem jeweiligen Fach ist ebenfalls positiv und signifikant: g = 0.45. Die Moderatoranalysen zeigen, dass die gezielte Schulung der Lehrkräfte die Wirksamkeit des Einsatzes digitaler Tools signifikant verbessert (siehe Tabelle 1).

Die weiteren Analysen ergeben keine statistisch belastbaren Unterschiede zwischen den verschiedenen Moderatoren. Auch wenn die Art des Tools kein signifikanter Moderator ist, zeigt sich deskriptiv, dass dynamische mathematische Visualisierungen und (intelligente) digitale Tutoren besonders positive Auswirkungen auf die Leistung haben. Weitere Details und Einzelbefunde sind Tabelle 1 zu entnehmen.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der gängigen Einteilung nach Cohen (1988) zeigt sich ein mittelgroßer signifikanter positiver Effekt auf die Leistung und ein kleiner signifikanter positiver Effekt auf die Einstellung gegenüber dem jeweiligen Fach. Durch Schulung der Lehrkräfte (g = 0.84) oder spezielle Tools können große Effekte erzielt werden; beispielsweise mit dem Einsatz dynamischer mathematischer Visualisierungen (g = 1.02). Ein solcher Effekt bedeutet, dass von drei zufällig ausgewählten SchülerInnen im Durchschnitt mindestens einer vom Einsatz des Tools profitiert. Diese Effekte sind beachtlich, wenn man bedenkt, dass in den Kontrollbedingungen die gleichen Inhalte lediglich ohne digitale Tools gelernt bzw. unterrichtet wurden. Die Effekte in dieser Metaanalyse fallen deutlich höher aus als in den vorherigen Arbeiten (Cheung & Slavin, 2013: d = 0.16 und Gerard et al., 2015: g = 0.34), was zum einen an den unterschiedlichen, auf die jeweilige Frage zugeschnittenen Auswahlkriterien für berücksichtigten Primärstudien liegen dürfte. Zum anderen haben sich die digitalen Tools in den vergangenen Jahren deutlich weiterentwickelt.

Wie differenziert sind die Ergebnisse dargestellt?

Die Effektstärken werden gesondert für die Fächer Mathematik, Biologie, Chemie und Physik dargestellt. Zwischen den Fächern zeigt sich jedoch kein signifikanter Unterschied im Hinblick auf die Effektivität der digitalen Tools. Innerhalb der Sekundarstufe unterscheiden die AutorInnen zwischen Jahrgangsstufe fünf bis sieben, acht bis zehn und elf bis dreizehn und berichten die Ergebnisse entsprechend aufgeteilt. Hier ergeben die Analysen, dass die Effekte in den letzten Schuljahren deskriptiv größer werden, ohne dass sich jedoch signifikante Unterscheide ergeben. Darüber hinaus berichten sie die Ergebnisse für Leistung und Einstellung dem Fach gegenüber in zwei getrennten Analysen. Eine weitere Differenzierung der Leistungskomponente (z.B. Wissen und Kompetenzen) wird nicht vorgenommen.

Wie verallgemeinerbar sind die Befunde?

Die positiven Effekte der digitalen Tools erweisen sich in den zahlreichen durchgeführten Moderatoranalysen als sehr robust, d.h. von wenigen Moderatoren signifikant beeinflusst. Signifikante Unterschiede für verschiedene Fächer oder Altersstufen konnten nicht ausgemacht werden. Auch die Typen der digitalen Tools und weitere Varianten der Umsetzung der digitalen Unterstützung machen keinen statistisch belastbaren Unterschied. Eine Ausnahme bildet der positive Effekt von Schulungen der Lehrkräfte.
Daher ist davon auszugehen, dass die berichteten Effekte für den Bereich des mathematisch naturwissenschaftlichen Unterrichts in der Sekundarstufe eine belastbare und verallgemeinerbare Schätzung darstellen. Inwiefern die Befunde auf andere Altersstufen (z. B. Primarschulbereich), differenziertere Leistungsindikatoren (z.B. Fachwissenserwerb) oder über kulturelle Kontexte hinweg verallgemeinert werden können, geht aus der Metaanalyse nicht hervor.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Metaanalyse weist zum einen durch ihren Fokus auf Mathematik und Naturwissenschaften in der Sekundarstufe einen hohen Spezifizierungsgrad auf und deckt gleichzeitig ein breites Spektrum an digitalen Tools ab. Sie beschränkt sich auf den Einsatz im Unterricht und untersucht neben Effekten auf die Leistung auch Auswirkungen auf die Einstellung dem jeweiligen Fach gegenüber. Dieser besondere Zuschnitt ermöglicht es, sehr konsequent relevante Moderatoren und deren Auswirkungen für genau diesen Anwendungsbereich zu untersuchen. Dadurch kommt der vorliegenden Metaanalyse eine besondere praktische Bedeutung zu. Angesichts der rasanten Entwicklung in diesem Forschungsbereich liefert die vorliegende Metaanalyse einen bedeutsamen Beitrag zur Synthese aktueller Befunde.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards) in hohem Maße. Insbesondere die Bereiche der Kodierung und Analyse der Befunde sind hervorragend dokumentiert. Detailliertere Informationen zur methodischen Beurteilung sind dem Rating Sheet zu entnehmen.

Fazit für die Unterrichtspraxis

Diese Metaanalyse zeigt deutlich, dass sich der Einsatz digitaler Tools im Unterricht auszahlt: Die positiven Effekte ihres Einsatzes zeigen sich sowohl mit Blick auf die Leistung als auch hinsichtlich der Einstellung gegenüber den naturwissenschaftlich-mathematischen Fächern. Die Effekte auf die Leistung sind in verschiedenen Fächern und über verschiedene Altersstufen hinweg robust nachweisbar. Große Effekte sind insbesondere mit Software, die mathematische Zusammenhänge dynamisch visualisieren und simulieren, wie zum Beispiel die Mathematiksoftware GeoGebra, zu erreichen. Gleichzeitig unterstreichen die Ergebnisse, wie bedeutsam die entsprechende Schulung der Lehrkräfte für den erfolgreichen Einsatz digitaler Tools ist. Weitere konkrete Beispiele und Hinweise für die Unterrichtspraxis, die sich aus diesen Erkenntnissen ergeben, finden Sie in der begleitenden Praxisbroschüre zur Metaanalyse: Digitale Medien im mathematisch-naturwissenschaftlichen Unterricht der Sekundarstufe von Hillmayr et al., 2017 (siehe Zusatzmaterial).

Studienbeispiel

Die Studie von Frailich, Kesner, & Hofstein (2009) zeigt das Potenzial der digitalen Tools in Kombination mit einer gezielten Schulung von Lehrkräften. In dieser Studie sollte SchülerInnen der zehnten Klasse ein besseres Verständnis von Strukturen chemischer Bindungen vermittelt werden. In der Experimentalbedingung wurde eine Website mit strukturierten Materialien – bestehend aus visuellen Modellierungen der chemischen Verbindungen und deren Strukturen – bereitgestellt.

Die Lehrkräfte dieser Gruppe nahmen zunächst an einem Vorbereitungskurs für die Nutzung der Website teil. Die 161 SchülerInnen der Experimentalgruppe bearbeiteten die Website mit vier Lerneinheiten zu unterschiedlichen chemischen Stoffen (Metalle, Ionen-, & Molekularverbindungen) interaktiv in Kleingruppen aus zwei bis drei Personen. Die 93 SchülerInnen der Kontrollgruppe erhielten Unterricht zu den gleichen Inhalten, nur ohne die Ergänzung um die Website. Im abschließenden Wissenstest schnitten die Lernenden der Experimentalgruppe signifikant besser ab als die der Kontrollgruppe (g = 0.76). Die Befunde der Studie lassen darauf schließen, dass die SchülerInnen durch den Einsatz der Website die komplexen Inhalte besser verstehen und lernen konnten.

Referenzen und Links

Podcast

Downloads

Einleitung

Lehren und Lernen nach dem Flipped Classroom-Ansatz wird immer populärer. Lehrende an Schulen und Hochschulen erstellen immer häufiger Videos mit Lerninhalten, mit denen sich SchülerInnen den Unterrichtsstoff selbstständig und selbstreguliert aneignen können (siehe Kurzreview 14 zu selbstreguliertem Lernen). Auf diese Weise können die Präsenzzeiten in der Schule verstärkt dazu genutzt werden, das Gelernte gemeinsam zu vertiefen.

Für dieses Vorgehen spricht aus lernpsychologischer Sicht, dass Lernende einerseits die Geschwindigkeit der Inhaltsvermittlung besser ihrem eigenen Lerntempo anpassen können und andererseits im Klassenzimmer mehr Zeit für gezielte Unterstützung und Feedback beim Lösen von Aufgaben und Anwenden der Lerninhalte zur Verfügung steht. Zudem lässt sich Lernen durch Flipped Classroom interaktiver gestalten, was sich positiv auf die Motivation der SchülerInnen auswirken könnte.

Ob und wie sich dieses Potenzial tatsächlich ausschöpfen lässt, wurde in den vergangenen Jahren verstärkt wissenschaftlich untersucht. Die vorliegende Metanalyse liefert nun umfassende Befunde und legt den Fokus ausschließlich auf die Sekundarstufe.

Was bedeutet Flipped Classroom?

Beim Flipped Classroom-Ansatz (dt. Umgedrehter Unterricht, auch Inverted Classroom) wird die übliche Abfolge – SchülerInnen bekommen Inhalte in der Schule vermittelt und wenden sie dann im Rahmen von Hausaufgaben an und üben – umgedreht. Zuerst erarbeiten sich SchülerInnen die Lerninhalte meistens mithilfe von Lehrvideos individuell und selbstständig. Die gemeinsame Zeit in der Schule wird dann dazu genutzt, das Verständnis der Lerninhalte weiter zu vertiefen: Anwendungsaufgaben können individuell oder kooperativ mit konstruktiver Unterstützung durch die Lehrkraft bearbeiten werden.

Worum geht es in dieser Studie?

In der Metaanalyse untersuchen die AutorInnen die Effektivität des Flipped Classroom-Ansatzes bei SchülerInnen der Sekundarstufe. Dabei konzentriert sich die Metaanalyse auf Studien, in denen ausschließlich Lernvideos zur Stoffvermittlung verwendet werden. Empirische Untersuchungen dazu wurden erstmals 2012 veröffentlicht. Entsprechend berücksichtigt die Metaanalyse 44 experimentelle Studien aus sechs Jahren Forschung (2012–2018). Darin enthalten sind 83 Effektstärken zu Leistungen von insgesamt 2.323 SchülerInnen, die mit Flipped Classroom – d.h. Videos zu Hause und Interaktion in der Schule – lernten.

Die AutorInnen gehen bei ihren Analysen differenziert vor: Sie berücksichtigen den Umstand, dass die experimentellen Vergleiche in den Studien unterschiedlich streng angelegt sind. Abhängig von der Art des zugrundeliegenden experimentellen Vergleichs müssen auch die Ergebnisse unterschiedlich interpretiert werden. Deshalb teilen die AutorInnen alle Studien drei typischen Kategorien von Vergleichen zu: vom einfachen Prä-Post Vergleich bis hin zum strengen Veränderungsvergleich (siehe Tabelle 1). Für alle drei Kategorien berechnen sie dann jeweils einen durchschnittlichen Effekt (Gesamteffekt) und führen jeweils separate Moderatoranalysen durch.

Tabelle 1: Übersicht und Beschreibung der drei unterschiedlichen Vergleichskategorien.

Außerdem überprüfen die AutorInnen im Rahmen von Moderatoranalysen vier Annahmen, die sie aus bisherigen Forschungsbefunden ableiten:

• Die Annahme, dass sich die Effektivität von Flipped Classroom nach Schulfächern unterscheidet.
• Bei längeren Einsatz von Flipped Classroom sollten geringere Effekte zeigen als bei kürzerer Dauer, weil sich SchülerInnen nach einer Weile an die Methode gewöhnen könnten und dadurch der sog. „novelty effect“ wegfällt.
• Die Vermutung, dass es Unterschiede in den Effekten gibt, je nachdem, ob Quizfragen zur Überpüfung des Gelernten direkt im Anschluss an das Video bearbeitet werden oder erst später in der Schule.
• Die Frage, ob sich der zusätzliche Einsatz von Lernmanagementsystemen (wie z.B. Moodle) positiv auf die Effekte auswirkt.

Was findet diese Studie heraus?

Die Ergebnisse der Metaanalyse zeigen, dass Schülerinnen und Schüler der Sekundarstufe insgesamt von Unterricht nach dem Flipped Classroom-Prinzip profitieren. Die Analysen zeigen in allen drei Vergleichskategorien signifikante und positive Gesamteffekte* auf die Lernleistung von SchülerInnen. In der Kategorie »Prä-Post Vergleich« fand man den größten Gesamteffekt mit d = 1.14. Dies deutet darauf hin, dass SchülerInnen durch Flipped Classroom-Unterricht auf messbare Weise hinzulernen, da sie einen deutlichen Wissenszuwachs vom Prätest zum Posttest verzeichnen.

In den beiden anderen (strengeren) Kategorien wurden in den Studien Kontrollgruppen in Form von regulärem Unterricht zum Vergleich herangezogen. Hier fallen die Gesamteffekte kleiner aus, sind aber dennoch substanziell und signifikant. Das heißt, dass SchülerInnen, die mit Hilfe von Flipped Classroom lernten, im Vergleich zu SchülerInnen im regulären Unterricht mehr gelernt haben: Für Posttestvergleiche beträgt die Effektstärke d = 0.55 und für Veränderungsvergleiche d = 0.45. Dies kann als Beleg dafür dienen, dass Flipped Classroom Unterricht effektiver sein kann als traditionelle Unterrichtsangebote.

Da die Moderatoranalysen (je nach Vergleichskategorie: siehe Tabelle 1) zu unterschiedlichen Ergebnissen kommen und in die einzelne Modertoranalyse jeweils eine geringe Anzahl an Studien eingehen, kann die Metaanalyse keine eindeutigen Befunde zu den Annahmen der AutorInnen im Hinblick auf weitere Einflussfaktoren beitragen.

* Sämtliche Befunde gelten für die Analysen in denen einzelne Extremwerte (sogenannte Ausreißer) aufgrund ihrer verzerrenden Wirkung auf den Gesamteffekt ausgeschlossen wurden.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittlichen Effektstärken liegen nach der üblichen Einteilung nach Cohen (1988) im mittleren (d = 0.45/0.55) bis hohen Bereich (d = 1.2). Die Effektstärke von d = 0.45 bei der Analyse der Studien mit kontrollierten Veränderungsvergleichen bedeutet, dass etwas mehr als 67 % der Lernenden mit Flipped Classroom höhere Lernzuwächse erzielten als der Durchschnitt der Lernenden im regulären Unterricht.

Analog zu bisherigen Befunden (siehe Cheung & Slavin, 2016) zeigt die Metaanalyse, dass striktere und damit zuverlässigere Studiendesigns, die Veränderungsvergleiche (Kategorie 3) ermöglichen, geringere Effektstärken aufweisen. Dass die durchschnittliche Effektstärke dennoch im mittleren Bereich liegt, deutet auf die Beständigkeit des positiven Effekts von Flipped Classroom-Angeboten im Sekundarbereich hin. Eine weitere Metaanalyse (van Alten et al., 2019), die sich vorwiegend auf Studien aus dem Hochschulbereich stützt, ermittelte ebenfalls einen positiven Gesamteffekt (g = 0.36) für Flipped Classroom.

Bei der Einschätzung aller Effektstärken dieser Metaanalyse ist einschränkend festzuhalten, dass die relativ geringe Zahl der eingehenden Studien meist auf kleinen Stichproben und kaum auf standardisierten Leistungstests beruhen (wie auch im Studienbeispiel dieses Kurzreviews). Aus der Forschung ist jedoch bekannt, dass auch diese Faktoren einen deutlichen Einfluss auf die Ergebnisse haben können. Eine größere Anzahl an Primärstudien, die diesen Kriterien auch genügen, muss in der Zukunft zeigen, wie belastbar die Befunde dieser Metaanalyse sind.

Wie differenziert sind die Ergebnisse dargestellt?

Die Analysen fokussieren auf SchülerInnen der Sekundarstufe und wurden in diesem Bildungsabschnitt nicht weiter differenziert. Bezogen auf die Schulfächer wurden Befunde aus den Bereichen Mathematik/Informatik, Naturwissenschaft/Technik und Sprach- und Geisteswissenschaften verglichen. Je nach Kategorie liefern die Moderatoranalysen dazu unterschiedliche Befunde. Sie lassen deshalb keine klare Einschätzung zu, ob Flipped Classroom-Angebote in den verschiedenen Schulfächern unterschiedlich effektiv sind. Sämtliche Befunde der Metaanalyse beziehen sich auf Schülerleistungen; weitere mögliche Ergebnisse wie Schülermotivation oder Engagement wurden nicht untersucht.

Wie verallgemeinerbar sind die Befunde?

Die Frage nach der Verallgemeinerbarkeit der berichteten Effekte richtet zunächst den Fokus auf die in der Metaanalyse untersuchten Bedingungen, die die generelle Wirksamkeit von Flipped Classroom einschränken könnten. Die Metaanalyse ermittelte unter nahezu allen untersuchten Bedingungen positive Effekte. Das heißt, SchülerInnen profitieren in unterschiedlichen Fächern wie Mathematik und Naturwissenschaften oder bei unterschiedlicher Dauer der Intervention – von weniger als vier Wochen bis zu mehr als acht Wochen. Gleiches gilt für unterschiedliche Einsatzvarianten von Quiz oder Lernmanagementsystemen im Zusammenhang mit Flipped Classroom.

Grundsätzlich deuten die Befunde folglich auf eine positive Wirkung von Flipped Classroom unter verschiedenen Bedingungen hin. Ob sich diese positiven Wirkungen in ihrem Ausmaß von einander unterscheiden, kann die Metaanalyse nicht hinreichend klären, da die Moderatoranalysen zu unterschiedlichen Ergebnissen führten (siehe Übersichtstabelle „Einzelbefunde der Metaanalyse im Überblick“). Weitere mögliche Einflussfaktoren konnten aufgrund der geringen Primärstudienbasis nicht getestet werden. So wäre es aufschlussreich gewesen zu wissen, ob Voraussetzungen der SchülerInnen oder der Lehrkräfte hinsichtlich Motivation und Erfahrung mit Flipped Classroom eine Rolle spielen.

Was macht die Metaanalyse wissenschaftlich relevant?

Aktuelle Studien und metaanalytische Befunde zu Flipped Classroom stammen vorwiegend aus dem Hochschulbereich (siehe van Alten et al, 2019). Da sich der Kontext Schule von dem der Hochschule/Universität stark unterscheidet, sind Metaanalysen wichtig, die zuverlässige Befunde für spezifische Lernergruppen ermitteln. Die vorliegende Metaanalyse leistet hier einen wichtigen Beitrag. Sie liefert eine erste Bestandsaufnahme und Belege bezüglich der Wirksamkeit von Flipped Classroom für die Sekundarstufe.

Dass die AutorInnen unterschiedliche Studiendesigns nicht nur berücksichtigen, sondern auch konsequent in unterschiedliche Analysen aufteilen, ist gerade bei der oft heterogenen Studienlage der Unterrichtsforschung eine wirksame Maßnahme. In dieser Hinsicht kann diese Metaanalyse als wegweisend betrachtet werden. Ferner zeigt die Metaanalyse deutlich, dass mehr Forschung notwendig, ist, um auf Fragen des effektiven Einsatzes und der effektiven Gestaltung von Flipped Classroom-Unterricht zuverlässige Antworten zu erhalten.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht größtenteils den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Die Angaben zur Suche, Kodierung und Analyse der Primärstudien erfüllen nahezu alle Qualitätsstandards. Detailliertere Informationen dazu, wie die berücksichtigten Studien genau ausgewählt wurden, hätten noch ergänzt werden können. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Flipped Classroom setzt an einem gemeinsamen zentralen Anliegen von Lehrkräften und Lernenden an: Mehr Zeit dafür zu haben, Inhalte im Unterricht zu vertiefen, zu diskutieren und gemeinsam (Anwendungs-)Aufgaben zu bearbeiten, die mit gezielter Unterstützung und zeitnahem Feedback für einzelne SchülerInnen oder SchülerInnengruppen einhergehen.

Weiteren Aufwind erhält diese Möglichkeit durch die technischen Entwicklungen, die das Erstellen und den Einsatz von videobasiertem Lernmaterial enorm erleichtern.

Die vorliegende Metaanalyse enthält nun auch erste Hinweise auf der Basis aktueller Forschung, dass sich Unterricht nach dem Flipped Classroom-Ansatz für das Lernen der SchülerInnen auszahlt und eine wirksame Alternative oder Ergänzung zu regulären Unterrichtsarrangements darstellt. Die Anzahl und die Qualität der vorhandenen Studien zeigt aber auch, dass die Forschung in diesem Bereich noch relativ am Anfang steht und unterschiedliche Gestaltungoptionen oder Einsatzszenarien von Flipped Classroom dringend in weiteren Studien untersucht werden sollten.

Studienbeispiel

Die Studie von Kostaris und KollegInnen (2017) fand im regulären Informatikunterricht der 8. Klasse über einen Zeitraum von acht Wochen statt. Inhalte des Unterrichts waren Hardwarekomponenten von Computern sowie Grundprinzipien von Informationsverarbeitung und Software Design. Die Stichprobe bestand aus zwei Schulklassen (jeweils 23 SchülerInnen), die beide von derselben Lehrkraft unterrichtet wurden.

Um die Wirksamkeit von Flipped Classroom zu bestimmten, unterrichtete die Lehrkraft in der einen Klasse nach Flipped Classroom (Experimentalgruppe) und in der anderen Klasse im regulären Modus (Kontrollgruppe). Beide Klassen wurden projektbasiert unterrichtet, das heißt, die SchülerInnen arbeiteten gemeinsam an offenen Aufgabenstellungen, deren Durchführung sie planen und umsetzen mussten.

Für die Experimentalgruppe erstellte die Lehrkraft Lehrvideos zu den Inhalten, mit deren Hilfe sich SchülerInnen zu Hause vorbereiten konnten. Die Zeit im Präsenzunterricht konnte die Klasse dann nahezu ausschließlich für die gemeinsame Arbeit verwenden. In der Kontrollgruppe hingegen wurden die Inhalte durch Lehrervorträge im Präsenzunterricht erarbeitet. Die restliche Unterrichtszeit konnten SchülerInnen ebenfalls gemeinsam an Aufgaben arbeiten und die Arbeit zu Hause fortsetzen. Die Lernzeit, die Lerninhalte und auch der projektbasierte Unterrichtsmodus waren also in beiden Untersuchungsgruppen gleich lediglich in der Gestaltung von Präsenzzeit und der Zeit zu Hause unterschieden sich die Gruppen.

Zusammen mit KollegInnen und WissenschaftlerInnen entwickelte der Lehrer einen Multiple-Choice-Test auf Basis der Lehrplanvorgaben. Mithilfe des Tests wurde die Leistung von Experimentalgruppe und Kontrollgruppe vor und nach der Unterrichtssequenz gemessen. Damit realisiert die Studie ein Studiendesign, auf dessen Grundlage Veränderungsvergleiche vorgenommen werden können. Beide Gruppen erzielten im Posttest höhere Leistungen als im Prätest, allerdings war der Zugewinn in der Flipped Classroom Gruppe größer (d = 0.75).

Referenzen und Links

Podcast

Downloads

Einleitung

Abbildungen* sind – egal ob in Arbeitsblättern oder online, in digitalen Lernumgebungen, projizierten Folien oder bei Tafelanschriften – ein zentrales Element von Lernmaterialien. Sie helfen, Zusammenhänge zu veranschaulichen oder Lerngegenstände zu konkretisieren.

Doch in der Regel sind Abbildungen nicht selbsterklärend, sondern bedürfen zusätzlicher textlicher Erläuterung. Wenn Lernende zwei unterschiedliche Informationsquellen integrieren und verarbeiten müssen, entsteht kognitive Belastung. Im Rahmen der Theorie der kognitiven Belastung (engl. cognitive load theory) oder kognitiven Theorie des Multimedialernens wurde vielfach untersucht, unter welchen Bedingungen eine Kombination aus Abbildung und Text lernförderlich bzw. -hinderlich ist.

Mit folgendem Ergebnis: Sind zwei für das Verständnis zusammengehörende Informationen, z.B. Abbildung und erklärender Text, in der Darstellung getrennt bzw. an verschiedenen Stellen platziert, dann müssen Lernende ihre Aufmerksamkeit auf zwei verschiedene Punkte lenken. Dies hat negative Auswirkungen auf das Lernen und Verstehen der Inhalte.

Abb. 1. Beispiel für integrierte und getrennte Anordnung von Abbildung und Text.

Sind Abbildung und Text dagegen integriert dargestellt, also nahe beieinander angeordnet, hat dies einen positiven Effekt (spatial contiguity effect):

Abb. 2. Beispiel für integrierte und getrennte Anordnung von Abbildung und Text.

Die positive Wirkung der Integration von Abbildung und zugehörigem Text auf den Lernerfolg ist vielfach belegt. Die vorliegende Metaanalyse erweitert diesen Kenntnisstand, indem sie aktuelle Studien berücksichtigt und genauer analysiert, unter welchen Bedingungen die Integration von Abbildung und Text besonders effektiv funktioniert.

*Dazu gehören Bilder, Grafiken, Diagramme und weitere Visualisierungen von Informationen.

Worum geht es in dieser Studie?

In der vorliegenden Metaanalyse geht es um den Effekt, den die integrierte Anordnung von Abbildung und Text gegenüber getrennter Anordnung auf das Lernen und Verstehen der Inhalte hat. Sie aktualisiert ältere Metaanalysen (z.B. Ginns, 2006) und untersucht – ermöglicht durch die größere Zahl von verfügbaren Studien – unter welchen Bedingungen die Integration von Abbildung und Text den Lerneffekt wie beeinflusst.

Schröder und Cenkci können auf insgesamt 58 qualitativ hochwertige experimentelle Vergleiche von integrierter vs. getrennter Anordnung von Abbildung und Text zurückgreifen (21 mehr als in der Metaanalyse von Ginns, 2006). Die Studien stammen aus dem Zeitraum von 1989 bis 2017. Insgesamt waren 2.426 Lernende daran beteiligt. Der Lernerfolg wird in allen berücksichtigten Studien in Form von Wissenstests (Wiedergabe und/oder Transfer) überprüft.

Um die Nachhaltigkeit der Effekte mit zu erfassen, verwenden die AutorInnen bei der Berechnung der Effekte jeweils die Testdaten mit dem größtmöglichen zeitlichen Abstand zwischen Lernphase und Testung. Um zu überprüfen, unter welchen Bedingungen die integrierte Gestaltung von Abbildung und Text lernförderlich wirkt, erfassen die Autoren das Präsentationsmedium, die Art und Dynamik der Abbildung sowie die Redundanz des Lernmaterials, also inwiefern die Information in Abbildung und Text doppelt auftaucht (vgl. Tabelle 1).

Was findet diese Studie heraus?

Insgesamt lernen Lernende mit der integrierten Darstellung von Abbildung und Text mehr als mit getrennt dargestellten Informationen (g = 0.63). In den Moderatoranalysen stellen die AutorInnen fest, dass das Präsentationsmedium einen signifikanten Einfluss hat: Den größten Effekt hat die Integration bei Arbeitsblättern und in computerbasiertem Lernmaterial. Die Dynamik der Abbildung beeinflusst den Lernerfolg ebenfalls signifikant: Bei statischen Abbildungen, die nicht animiert oder interaktiv gestaltet sind, sind die Effekte der integrierten Darstellung am größten.

Auch die Redundanz der Inhalte in Abbildung und Text spielt eine Rolle: Wenn die Abbildung nur in Kombination mit dem Text verständlich ist oder wenn der Text auch gänzlich ohne Abbildung verständlich ist, zeigt sich der positive Effekt der integrierten Darstellung am deutlichsten. Für die Art der Abbildung dagegen konnte kein bedeutsamer Einfluss nachgewiesen werden. Weitere Details und Informationen zu den Moderatorvariablen sind in Tabelle 1 berichtet:

Tabelle 1. Stufen der Moderatoren und Ergebnisse der Moderatorenanalysen.

* = signifikant

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der gängigen Kategorisierung nach Cohen (1988) ist der Gesamteffekt der Metaanalyse von g = 0.63 als mittelgroß einzustufen (Basis: 58 Effekte). Damit fällt er etwas niedriger aus als in der letzten Metaanalyse zum Thema von Ginns: g = 0.72 (Basis: 37 Effekte). Der geringfügige Unterschied lässt sich durch die erweiterten technischen Möglichkeiten der Darstellung von Abbildungen und Text erklären. Dadurch entsteht eine größere Varianz. Bei der Integration von Abbildung und Text in Arbeitsblättern kann unter bestimmten Bedingungen ein großer Effekt von g = 0.80 erreicht werden. Dies bedeutet dann, dass knapp 80% der Lernenden, die mit optimiertem Lernmaterial arbeiten, einen höheren Lernerfolg erreichen als der Durchschnitt der Kontrollbedingung. Zusammenfassend ist der Effekt der Integration von Abbildung und Text – insbesondere gemessen am geringen Umsetzungsaufwand – als substanziell einzuordnen.

Wie differenziert sind die Ergebnisse dargestellt?

Die Ergebnisse werden nach verschiedenen Schulfächern und Altersgruppen differenziert. Bei den Schulfächern wird für Biologie/Geographie ein mittelgroßer Effekt, für Technik ein mittelgroßer Effekt und für Mathematik/Physik ein kleiner Effekt berichtet. Im Sekundarstufenbereich wird für die Klassen 6-8 ein kleiner und für die Klassen 9-12 ein großer Effekt berichtet. Als Erfolgskriterium wurde lediglich Lernerfolg in Form von Wiedergabe-, Transfer- und gemischten Tests untersucht. Motivationale Variablen beispielsweise wurden nicht systematisch erfasst.

Wie verallgemeinerbar sind die Befunde?

Die Metaanalyse untersucht zahlreiche Moderatoren, die die Verallgemeinerbarkeit des Gesamteffekts einschränken können. Für die Dauer der Intervention (Abstufungen zwischen unter fünf bis über 15 Minuten), unterschiedliche Ausrichtungen der Testung (Wiedergabe vs. Transfer), Gestaltung der Testaufgaben (offene Aufgaben, Multiple Choice-Aufgaben, Mischung aus beiden) und verschiedene Arten der Rekrutierung und Belohnung der Probanden konnten keine signifikanten Einflüsse nachgewiesen werden. Für unterschiedliche geographische Regionen (u.a. Europa: kleiner Effekt) und Altersgruppen (verschiedene Abstufungen von Kindergarten bis Studierende) jedoch schon. In diesem Fall sind  die spezifischen Effektstärken aussagekräftiger als der Gesamteffekt.

Was macht die Metaanalyse wissenschaftlich relevant?

Die Metaanalyse ist aus verschiedenen Gründen als bedeutsam einzustufen. Sie stellt ein Update zu früheren Überblicksarbeiten dar und erweitert den bisherigen Forschungsstand, indem sie einen dezidierten Fokus auf die Bedingungen legt, die sich auf den Effekt der Integration von Abbildung und Text auswirken. Außerdem zeigt sie in ihrer systematischen Herangehensweise Forschungslücken auf. So liegen beispielsweise bestimmten Darstellungsvarianten bislang nur wenige Studien vor.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht überwiegend den Kriterien gängiger Anforderungskataloge APA Meta-Analysis Reporting Standards). Die Angaben zur Suche, Kodierung und Analyse der Primärstudien erfüllen weitgehend alle Qualitätsstandards. Lediglich bei der Frage, wie die berücksichtigten Studien genau ausgewählt wurden, bleibt die Metaanalyse vage. Genauere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

In diesem Fall fällt das Fazit sehr eindeutig aus: Bei der Gestaltung von Lernmaterialien, in denen Abbildungen und erklärender Text kombiniert werden, gilt es, die beiden Informationsquellen möglichst sinnvoll nahe beieinander zu platzieren, d.h. integriert darzustellen (siehe Abb. 2). Die negativen Effekte von räumlich getrennten Materialien sind vielfach aufgezeigt und in unterschiedlichsten Kontexten bestätigt worden.

Die Mehrzahl der Befunde stammt aus experimentellen Laborstudien und nicht aus dem Klassenzimmer. Nichtsdestotrotz haben sie eine hohe Relevanz für die Unterrichtspraxis. Der zugrundeliegende Mechanismus der kognitiven Über- bzw. Entlastung der Verarbeitungskapazitäten von Lernenden beansprucht eine grundsätzliche Gültigkeit für effektives Lernen. Dieser Effekt ist besonders bei der Gestaltung von Arbeitsblättern mit zweidimensionalen Abbildungen zu beobachten. Wenn LehrerInnen also ein gezieltes Augenmerk darauf haben, dass sie Lernmaterialien entwickeln oder auswählen, in denen Abbildungen und dazugehörige Texte integriert angeordnet sind, dann können sie – bei sehr geringem Aufwand – das Lernen deutlich vereinfachen.

Studienbeispiel

Ein besonders großer Effekt (d = 0.97) für die integrierte Darstellung von Abbildung und Text im Vergleich zu getrennt dargestellten Informationen zeigt sich in der Studie von Tindall-Ford und KollegInnen (2015) für Lernmaterial zu Winkeln im Mathematik-Unterricht. Außerdem verdeutlicht die Studie den Mehrwert, der entsteht, wenn Lernende die Integration von Abbildung und Text selbst vornehmen. An der Studie im regulären Mathematikunterricht der siebten Klasse nahmen 48 SchülerInnen teil.

Nach einer kurzen Einführung der zentralen Konzepte wurden die Schülerinnen zufällig in eine von drei Gruppen eingeteilt. Die erste Gruppe erhielt Lernmaterial mit getrennter Darstellung von Abbildung und Text, die zweite erhielt Material mit integrierter Darstellung (siehe Abb. 2), die dritte Gruppe konnte die Beschriftungstexte am Computerbildschirm selbst an die entsprechenden Stellen in der Abbildung setzen. Beim abschließenden Test schnitt die Gruppe mit der integrierten Darstellung am besten ab; wobei der Unterschied zur dritten Gruppe, die die Integration selbst geleistet hatte, unbedeutend war. Der Abstand dieser beiden zur Gruppe mit getrennter Darstellung von Abbildung und Text war hingegen groß und statistisch bedeutsam.

Referenzen und Links

Downloads

Einleitung

Möglichst allen SchülerInnen innerhalb der Klasse tiefergehendes Wissen und eingehendes Verständnis von Inhalten zu vermitteln, ist das Idealziel von LehrerInnen. Doch wie soll eine einzelne Lehrkraft häufig mehr als 30 SchülerInnen gleichzeitig und individuell nach ihren Fähigkeiten unterstützen? Dafür müssten SchülerInnen jeweils zur richtigen Zeit den richtigen Impuls bekommen und unmittelbar Rückmeldung auf ihre Antworten erhalten. Diese Rückmeldungen sollten im besten Fall über richtig oder falsch hinausgehen und mit einem Hinweis auf die nächsten Schritte oder Aufgaben verbunden sein. In den meisten Klassenzimmern ist dies kaum umsetzbar. Will man jedoch am Ziel festhalten, SchülerInnen individuell zu unterstützen, muss diese Unterstützung auf andere Weise realisiert werden.

Adaptive Lernsoftware (engl.: automated adaptive guidance) bietet hier eine reale Alternative und Ergänzung zum Lehrerhandeln: Sie bewertet Schülerantworten automatisiert und unterstützt SchülerInnen adaptiv. Bisher wurden die Potenziale derartiger Lernsoftware vorwiegend bei Studierenden untersucht. Die Metaanalyse von Gerard und KollegInnen nimmt ihre Wirksamkeit nun bei SchülerInnen der Sekundarstufe umfassend in den Blick.

Worum geht es in dieser Studie?

Die vorliegende Metaanalyse untersucht zwei unterschiedliche Fragestellungen und enthält zwei verschiedene statistische Analysen. Die erste Fragestellung bezieht sich generell darauf, ob adaptive Lernsoftware einen Mehrwert gegenüber Unterricht ohne adaptive Lernsoftware bietet (24 experimentelle Vergleiche). Die Studien vergleichen die Lernleistungen von SchülerInnen, die mit adaptiver Lernsoftware arbeiten, mit denen von SchülerInnen, die die gleichen Inhalte ohne diese Art von Software lernten – z.B. durch lehrergeführten Unterricht und/oder Arbeitsblätter, durch nicht adaptive Lernsoftware, anhand von Multiple-Choice-Tests oder anhand von offenen Aufgaben.

Die zweite Fragestellung bezieht sich auf die Wirksamkeit spezieller Designelemente (Features) adaptiver Lernsoftware. In den entsprechenden experimentellen Studien werden erweiterte Versionen von adaptiver Lernsoftware, die ein bestimmtes Feature enthalten, verglichen mit einfacheren Versionen, die dieses Feature nicht enthalten (29 Einzelvergleiche).

In beiden Analysen wird zudem der Einfluss verschiedener sogenannter Moderatoren untersucht (siehe Tabelle 1). Grundlage der Metaanalyse sind 53 Vergleiche aus 42 Veröffentlichungen, die zwischen 2000 und 2014 erschienen sind. Über 70 % der Vergleiche stammen aus dem mathematisch-naturwissenschaftlichen Fachbereich, der Rest aus sprachlich-gesellschaftswissenschaftlichen Fächern.

Tabelle 1. Übersicht über die untersuchten Moderatoren.

Was findet diese Studie heraus?

Die Analysen zur ersten Fragestellung ergeben einen signifikanten kleinen Gesamteffekt zugunsten adaptiver Lernsoftware (g = 0.34). Dieser Effekt zeigt sich unabhängig von der Art der Vergleichsbedingung, d.h., ob nicht-adaptive Lernsoftware, Arbeitsblätter ohne Unterstützung oder unterstützende Lehrerinstruktion in der Kontrollgruppe eingesetzt wurden. Von allen getesteten Moderatoren hat nur das unterschiedliche Vorwissen der SchülerInnen einen signifikanten Effekt: Während SchülerInnen mit geringem oder mittlerem Vorwissen von der Unterstützung der Software profitieren, ist dies bei SchülerInnen mit hohem Vorwissen nicht der Fall.

Die Analysen zur zweiten Fragestellung ergeben ebenfalls einen signifikanten kleinen Gesamteffekt – zugunsten der erweiterten adaptiven Lernsoftware (g = 0.27). Das bedeutet, dass die Integration bestimmter Features die Effektivität der Software erhöhen kann. Zu diesen Features gehören inhaltliche Hinweise zur Förderung eines tieferen konzeptuellen Verständnisses oder Hinweise zum selbstregulierten Lernen z.B. zum Monitoring der eigenen Lernaktivität. Versionen, die solche Features beinhalten, sind einfacheren Versionen der Lernsoftware, die lediglich Feedback zur Korrektheit der Schülerantwort anbieten, überlegen. Insbesondere wenn Schülerinnen bei komplexeren Aufgaben – beispielsweise beim Erstellen von Diagrammen oder Concept Maps (siehe Kurzreview 19) – unterstützt wurden, führten Versionen mit Features zu besseren Leistungen. Auch hier zeigte sich, dass ausschließlich SchülerInnen mit geringem oder mittlerem Vorwissen davon profitieren.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Nach der gängigen Kategorisierung nach Cohen (1988) sind die Gesamteffekte beider Analysen als klein einzustufen. Veranschaulicht bedeutet der Effekt von g = 0.34, dass ca. 64 % der SchülerInnen mit adaptiver Lernsoftware eine höhere Lernleistung aufweisen als der Durchschnitt der VergleichsschülerInnen.

Dabei ist zu berücksichtigen, dass diese Effekte unter strengen Bedingungen erzielt werden. Zum einen bezieht sich der Effekt immer auf den Mehrwert der adaptiven Software (Fragestellung 1) oder erweiterter Versionen (Fragestellung 2) im Vergleich zu ähnlichen Angeboten. Das heißt, auch in der Vergleichsbedingung erhalten SchülerInnen Aufgaben zur Förderung ihres Verständnisses bzw. einfachere Formen der Unterstützung. Zum anderen erfassen die meisten Studien den tatsächlichen Lernfortschritt der SchülerInnen indem sie den Lernstand nach der Intervention mit dem Lernstand vor der Intervention vergleichen (Prä-Post-Studien). Wie die Moderatoranalysen im Hinblick auf das Vorwissen und die Komplexität der Aufgaben gezeigt haben, können die Effekte adaptiver Software unter bestimmten Bedingungen noch größer ausfallen.

Wie differenziert sind die Ergebnisse dargestellt?

Die Effekte werden differenziert nach Fachbereichen (Mathematik, Naturwissenschaften, Sprachen) und nach Altersstufen (6.-8. Klasse und 9.-12. Klasse) dargestellt. Auch um die Lernleistung zu ermitteln, werden unterschiedliche Maße herangezogen: Unterschieden wird, ob Schülerlnnen korrekt aus verschiedenen Optionen auswählen können (Selektionsaufgaben), ob sie selbst korrekte Problemlösungen durchführen oder eigene Antworten mit korrektem Aufbau erstellen können (generative Aufgaben). Für keine dieser Differenzierungen ergeben sich bedeutsame Unterschiede. 

Wie verallgemeinerbar sind die Befunde?

In beiden Analysen zeigt sich, dass sich die Effektstärken der verschiedenen Studien durchaus unterscheiden. Jedoch zeigen die meisten Moderatoren, die als Erklärung für diese Unterschiede getestet werden, keine signifikanten Effekte (Ausnahme: Vorwissen). Auch wenn dies auf den ersten Blick für eine hohe Generalisierbarkeit spricht, stehen den einzelnen Moderatorentests jeweils nur eine geringe Anzahl an Studien zur Verfügung. Aufgrund der wenigen Einzelvergleiche sind diese Ergebnisse als vorläufig zu sehen und nur eingeschränkt belastbar, da neue Studien diese Trends verändern könnten.

Zukünftige Forschung sollte dementsprechend den Einfluss von Moderatorvariablen weiter prüfen, um belastbarere Ergebnisse in Bezug auf den Einfluss der hier getesteten und gegebenenfalls auch weiterer Moderatorvariablen zu generieren: So ist z.B. auch denkbar, dass sich die Effekte unterscheiden – je nachdem, in welcher Weise die Lernsoftware in den Unterricht eingebettet wird, in welchem kulturellen Kontext die Studie durchgeführt wurde und ob dabei längerfristig Unterschiede gemessen wurden (nachhaltiges Lernen).

Was macht die Metaanalyse wissenschaftlich relevant?

Wissenschaftlich bedeutsam ist diese Metaanalyse, da sie eine spezielle Form der Lernsoftware erstmals exklusiv bei SchülerInnen der Sekundarstufe untersucht. Sie kombiniert dabei Analysen, die einerseits den Mehrwert adaptiver Lernsoftware gegenüber Unterricht ohne solche Software ermitteln, mit Analysen, die die Effektivität bestimmter Erweiterungen der Lernsoftware bestimmen. Dies lässt differenzierte Aussagen zum Forschungsstand und zu weiterführenden Forschungsfragen zu.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Zwar erfüllen die Angaben zur Suche und Analyse der Primärstudien weitgehend alle Ansprüche, jedoch fehlen Informationen, die die Auswahl und vor allem die genaue Kodierung der Primärstudien betreffen. Genauere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

SchülerInnen der Sekundarstufe unterscheiden sich in vielfältiger Weise voneinander und benötigen deshalb auch unterschiedliche Unterstützung, um gute Lernergebnisse zu erzielen. Optimale individualisierte Unterstützung können Lehrkräfte im täglichen Unterricht kaum leisten. Die vorliegende Metaanalyse – deren Studien alle im Schulkontext durchgeführt wurden – zeigt, dass adaptive Lernsoftware diese Funktion effektiv übernehmen und Lehrkräfte bei ihrer Arbeit entlasten kann. Gerade SchülerInnen mit geringem Vorwissen, die mehr Unterstützung brauchen, können von adaptiver Lernsoftware profitieren. Zudem zahlt sich der Einsatz solcher Software vor allem bei komplexeren Aufgaben aus; sie fördern das tiefere Verständnis von Sachverhalten besonders.

Ob nun die Unterstützung von der Lehrkraft oder von der Software kommt, muss kein »entweder-oder« sein. Vielmehr erhält die Lehrkraft durch die Software mehr Freiraum, um sich um einzelne SchüIerInnen kümmern zu können, während die MitschülerInnen parallel weiterarbeiten können.

Studienbeispiel

Einen besonders großen Effekt (d = 1.43) erzielt die adaptive Lernsoftware „Betty’s Brain“ in der Studie von Leelawong & Biswas (2008). Die Software verfolgt den Ansatz, dass SchülerInnen durch Lehren lernen. Für die Studie hatten SchülerInnen die Aufgabe, der Cartoonfigur „Betty“ mithilfe von Concept Maps grundlegende Zusammenhänge über das Ökosystem von Flüssen beizubringen. Für die Concept Maps müssen die SchülerInnen eigenständig notwendige Informationen über ökologische Zusammenhänge recherchieren.

Wenn sie danach ihre Ergebnisse in eine Concept Map übersetzen, gibt die Software dazu inhaltliche Rückmeldungen. Um sicherzustellen, dass Betty (und dadurch auch sie selbst) die Zusammenhänge richtig verstanden hat, müssen die SchülerInnen Betty regelmäßig testen. Wenn sich Betty schlecht vorbereitet fühlt oder im Test schlecht abschneidet, gibt sie klare Tipps, wie man sie besser unterstützen kann und fordert diese Unterstützung lautstark ein (Impulse zum Self-Monitoring).

In der Studie arbeiteten 15 SchülerInnen der fünften Jahrgangsstufe fünf Unterrichtsstunden lang mit dieser erweiterten Version adaptiver Lernsoftware. Es zeigten sich große Zuwächse im Wissen der SchülerInnen, die dieses Wissen und erworbene Strategien des Self-Monitorings auch auf neue Problemstellungen übertragen konnten. SchülerInnen zweier Kontrollgruppen, die ohne Self-Monitoring-Elemente arbeiteten bzw. nicht in der Rolle der Lehrenden waren, verzeichneten zwar ebenfalls Lernzuwächse – jedoch in geringerem Umfang. Insgesamt demonstriert die kleine Studie die Effektivität von adaptiver Lernsoftware und liefert Hinweise auf effektive Features wie den „Lernen durch Lehren“ Ansatz und erweiterte Features anhand des Self-Monitorings.

Referenzen und Links

Podcast

Downloads

Einleitung

Die fortschreitende Digitalisierung schafft immer neue Möglichkeiten für die Unterrichtsgestaltung. Konkrete Anwendungsmöglichkeiten bietet der Einsatz mobiler digitaler Geräte zur Förderung von kollaborativem Lernen: Smartphones, Tablets und Laptops machen es möglich, gemeinsames Lernen für den Einzelnen zeitlich und räumlich sehr flexibel zu gestalten, da Lernende weder am gleichen Ort noch zur gleichen Zeit arbeiten müssen.

Die Geräte eröffnen viele Möglichkeiten, Lernende optimal zu vernetzen, zum Beispiel durch flexible und strukturierte Kommunikation, durch das Teilen von Wissen, Meinungen und Fragen oder durch Optionen für schnelles Feedback. Dadurch können sie kleinen Gruppen potenziell helfen, beim Lernen produktiver zusammenzuarbeiten und damit den Lernerfolg jedes Einzelnen erhöhen.

Die vorliegende Metaanalyse untersucht zusammenfassend die Effektivität von mobilem digitalen kollaborativen Lernen (engl. mCSCL = mobile computer supported collaborative learning) und verknüpft dabei die Forschungsstränge des kollaborativen Lernens und des Lernens mit mobilen digitalen Geräten. Sie liefert dadurch erstmals Hinweise, ob und unter welchen Bedingungen mobile digitale Geräte das gemeinsame Lernen in Gruppen effektiv unterstützen können.

Worum geht es in dieser Studie?

Die Metaanalyse untersucht, inwiefern kleine Gruppen beim kollaborativen Lernen von der Unterstützung durch mobile digitale Geräte in Bezug auf Lernleistung, Einstellungen und Qualität der Zusammenarbeit profitieren und welche Faktoren diese Zusammenhänge beeinflussen. Dazu werden Studien herangezogen, die die Effekte mobilen kollaborativen Lernens mit drei unterschiedlichen Alternativbedingungen vergleichen:

1. mit individuellem digitalen Lernen,

2. mit kollaborativem Lernen ohne digitale Medien, und

3. mit kollaborativem Lernen mit klassischen digitalen Medien (stationären Computern).

Dadurch können die AutorInnen feststellen, ob die soziale Lernform oder der Einsatz mobiler digitaler Geräte entscheidend für den Lernerfolg ist.

Ein Blick in einzelne Studien zeigt, dass die Wirksamkeit von mobilem digitalen kollaborativem Lernen je nach Schulfach, Alter, Gruppengröße, Gruppenzusammensetzung, Interventionsdauer, Notenvergabe bzw. Belohnungsvergabe oder unterschiedlichen Lehrmethoden variiert. Ob die Wirksamkeit systematisch von diesen Faktoren beeinflusst wird, untersuchen die AutorInnen im Rahmen von Moderatoranalysen. Insgesamt konnten die AutorInnen für Ihre Metaanalyse auf 47 Artikel aus wissenschaftlichen Zeitschriften und eine Dissertationsschrift zurückgreifen, die zwischen 2000 und 2016 erschienen sind. Darin enthalten sind 163 Effektstärken von 5.294 Teilnehmenden.

Was findet diese Studie heraus?

Auf der Basis aller 163 Effektstärken ergab die Metaanalyse einen signifikant positiven Gesamteffekt mittlerer Größe
(g = 0.52): Werden beim kollaborativen Lernen mobile digitale Geräte genutzt, so erzielen Lernende höhere Leistungen, haben positivere Einstellungen zum Lernen und arbeiten produktiver zusammen. Ein sogenannter Heterogenitätstest zeigt, dass sich die Effektstärken zwischen den Studien bedeutsam unterscheiden. Mithilfe von Moderatoranalysen lassen sich Faktoren identifizieren, die die Effektstärke jeweils beeinflussen. Die vollständigen Ergebnisse der Moderatoranalysen sind in Tabelle 1 dargestellt.

Die Analyse unterschiedlicher Vergleichsbedingungen zeigt, dass kollaboratives Lernen mit mobilen Geräten effektiver ist als individuelles Lernen mit mobiler Technologie oder kollaboratives Lernen ohne digitale Unterstützung. Allerdings ergaben die Vergleiche auch, dass Lernende, die kollaborativ mit mobilen digitalen Geräten lernen, verglichen mit Lernenden, die kollaborativ mit statischen (Desktop-)Geräten lernen, nicht signifikant besser abschneiden. Dies deutet darauf hin, dass das besondere Potenzial mobiler digitaler Geräte erst noch nachgewiesen bzw. entwickelt werden muss. Im Hinblick auf den Einsatzkontext ergeben die Befunde, dass insbesondere SchülerInnen der Sekundarstufe und in naturwissenschaftlich-mathematischen Fächern vom kollaborativen Lernen mit mobilen digitalen Geräten profitieren.

Zudem zeigen Gestaltungsoptionen auf unterschiedlichsten Ebenen, wann kollaboratives Lernen von der Unterstützung durch digitale Technologien profitieren kann: Besonders wirksam im Vergleich zeigte sich kollaboratives Lernen unterstützt durch mobile digitale Geräte bei einer Gruppengröße von vier Personen, bei einer vorwiegend homogenen Gruppenzusammensetzung (im Hinblick auf Persönlichkeitseigenschaften und Leistungsvoraussetzungen), sowie bei einer Lernzeit, die weder besonders kurz (unter einer Woche) noch besonders lang (über vier Wochen) angesetzt war. Größere Effekte zeigten sich auch, wenn kollaborative Instruktionsansätze (z. B. Gruppenpuzzle, Gruppenuntersuchung) anstelle von kompetitiven Ansätzen (z. B: Gruppenrallye, Gruppenturnier) gewählt wurden. Zudem waren individuelle Formen der Belohnung oder Benotung der Lernenden mit höheren Effekten verbunden als die Belohnung von Gruppenleistungen. Ob das Klassenzimmer oder informelle Settings (Outdoor, Museum) gewählt wurden, ergab keinen Unterschied.

Tabelle 1. Effekte nach unterschiedlichen Moderatorstufen.

*signifikanter Effekt mit 5% Irrtumswahrscheinlichkeit; **signifikanter Effekt mit 1% Irrtumswahrscheinlichkeit; *** signifikanter Effekt mit 0.1% Irrtumswahrscheinlichkeit.

Wie bewertet das Clearing House Unterricht diese Studie?

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?

Die durchschnittliche Effektstärke liegt nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich (g = 0.52). Diese Effektstärke bedeutet, dass etwas mehr als 70 % der kollaborativ Lernenden mit mobilen Technologien bessere Ergebnisse als der Durchschnitt der Kontrollgruppen erzielen (Vergleichsbedingungen siehe Tabelle 1). Dieser positive Effekt des kollaborativen Lernens mit technologischer Unterstützung zeigt sich über viele Moderatoren und drei verschiedene Erfolgskriterien hinweg als relativ stabil, was auf einen robusten Befund hindeutet. Zudem ist der Befund in Richtung und Größe konform mit Ergebnissen zu kollaborativem Lernen ohne digitale Medien (siehe Kurzreview 4).

Entscheidend bei der Einschätzung aller Effektstärken dieser Metaanalyse ist jedoch, dass die eingehenden Studien meist auf kleinen Stichproben, auf wenig verlässlichen Studiendesigns und kaum auf standardisierten Messverfahren beruhen – häufig auch auf Selbsteinschätzungen von SchülerInnen. Die AutorInnen geben hierzu an, dass aufgrund der geringen Anzahl verfügbarer Studien keine besonderen Anforderungen an die Qualität der eingehenden Studien gestellt werden konnten. Aus der Forschung ist jedoch bekannt (siehe Cheung & Slavin, 2016), dass diese methodischen Faktoren einen deutlichen Einfluss auf die Ergebnisse haben.

Im Fall dieser Metaanalyse ist daher insgesamt davon auszugehen, dass die methodischen Eigenschaften der Primärstudien dazu beitragen, dass die Effektivität überschätzt wird. Zukünftige Primärstudien, die strengeren wissenschaftlichen Kriterien genügen, müssen zeigen wie belastbar diese Ergebnisse sind.

Wie differenziert sind die Ergebnisse dargestellt?

Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Jahrgangsstufen und des Erfolgskriteriums eingeschätzt. Die Metaanalyse liefert differenzierte Darstellungen in allen drei Bereichen. Es werden gesonderte Effektstärken für unterschiedliche Fächer (u.a. Naturwissenschaften und Mathematik), Altersstufen (u.a. Sekundarstufe) sowie für die Erfolgskriterien Leistung, Einstellung und Qualität der Zusammenarbeit ausgegeben.

Wie verallgemeinerbar sind die Befunde?

In der Metaanalyse wurde eine Reihe relevanter Moderatoren überprüft; bei den meisten zeigten sich keine signifikanten Unterschiede. Dies deutet darauf hin, dass kollaboratives Lernen mit mobilen digitalen Geräten unter ganz unterschiedlichen Bedingungen lernwirksam sein kann. Die Anzahl der Studien für die einzelnen Moderatorstufen ist oftmals jedoch so gering, dass die Ergebnisse eher als vorläufige Trends denn als belastbare Befunde gesehen werden können. Zudem wurden einige wichtige Einflussfaktoren nicht überprüft: So wurde nicht untersucht, welchen Einfluss die Art der mobilen Technologie auf die Größe der Effekte hat. Da die Metaanalyse Studien aus einem relativ langen Zeitraum mit großem technologischem Fortschritt integriert, ist davon auszugehen, dass die darin untersuchten Geräte und Anwendungsarten eine große Heterogenität aufweisen. Welchen Einfluss methodische Faktoren (Studiendesign, Stichprobengröße, Art der Messverfahren) auf die Befunde haben, wurde ebenfalls nicht überprüft. Dies hätte wertvolle Hinweise auf die Belastbarkeit der vorliegenden Befunde geben können.

Was macht die Metaanalyse wissenschaftlich relevant?

Die vorliegende Studie ist insofern wissenschaftlich bedeutsam, als es sich um die erste Metaanalyse handelt, die sich ganz auf die Frage nach der Effektivität kollaborativen Lernens mit mobiler Technologie konzentriert. Sie liefert dadurch erste Befunde zur Lernwirksamkeit neuer Technologien und bietet einen Referenzpunkt für weitere Arbeiten in diesem Forschungsfeld.

Wie methodisch verlässlich sind die Befunde?

Die Transparenz und Begründung des methodischen Vorgehens entspricht nur teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Metaanalysis Reporting Standards). Die Schritte bei der Suche und Auswahl relevanter Primärstudien erfüllen alle Ansprüche. Jedoch hätten die AutorInnen bei der Datenanalyse und insbesondere bei der Kodierung von Primärstudienmerkmalen ihr Vorgehen deutlich transparenter beschreiben können. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Fazit für die Unterrichtspraxis

Für den Unterricht stehen immer mehr Möglichkeiten bereit, Lernprozesse und Lernergebnisse mithilfe mobiler digitaler Geräte zu unterstützen und zu verbessern. Die vorliegende Metaanalyse basiert größtenteils auf Studien, die unter Realbedingungen im Klassenzimmer stattfanden. Sie enthält viele Hinweise darauf, dass sich der Einsatz mobiler Geräte beim kollaborativen Lernen lohnen kann – gerade auch für die mathematisch-naturwissenschaftlichen Fächer.

Die Anzahl und die Qualität der vorhandenen Studien zeigt aber auch, dass die Forschung in diesem Bereich noch relativ am Anfang steht und gerade die neuesten Geräte und Applikationen kaum in verlässlichen Studien getestet wurden. Befunde wie die Überlegenheit individueller Belohnung gegenüber der Belohnung von Gruppenleistung, die sich bereits in Metaanalysen zu kollaborativem Lernen allgemein gezeigt haben (siehe Kurzreview 4), sind folglich belastbarer als Befunde, die nur durch diese Metaanalyse und eine kleine Anzahl von Studien abgesichert sind.

Die Erwartung, dass eine optimale Nutzung der Möglichkeiten mobiler Geräte und ein förderliches Arrangement der Zusammenarbeit zu besseren Lernprozessen und Resultaten im Unterricht führt, bleibt durch die Befunde dieser Metaanalyse bestehen, kann aber durch sie nicht verlässlich belegt werden.

Studienbeispiel

Die Studie von Sanchez & Olivares (2011) illustriert einerseits die Umsetzung einer Lernumgebung, die auch Elemente des kollaborativen Lernens mit mobilen digitalen Geräten enthält, andererseits aber auch den niedrigen methodischen Standard vieler Studien, die in diese Metaanalyse eingegangen sind. Die Studie wurde in Chile mit zehn achten Klassen aus fünf verschiedenen Schulen (insgesamt 373 SchülerInnen) durchgeführt. Dabei nahm eine Klasse pro Schule jeweils am Programm der Experimentalgruppe teil; eine andere Klasse bildete die Kontrollgruppe, die zum selben Themenbereich (Evolution) von derselben Lehrperson ohne besondere Maßnahmen unterrichtet wurde.

Die SchülerInnen der Experimentalgruppe nahmen an 23 interaktiven Sessions zum Thema Evolution teil. In sieben dieser 23 Sessions spielten sie auf mobilen Geräten insgesamt drei digitale Spiele (wovon jeweils ein Spiel im Zoo und eines im Museum stattfand) bei denen sie kooperieren mussten. Ein Spiel hatte zum Beispiel zum Ziel, gemeinsam mehrere Spezies zu höheren Evolutionsstufen zu führen und dadurch die Bedingungen und den Ablauf biologischer Evolution zu verstehen. Die drei Spielaktivitäten repräsentieren in dieser Studie kollaboratives Lernen mit mobilen digitalen Geräten.

Nach der Intervention schätzten die SchülerInnen ihre Problemlösefähigkeiten und ihre Kollaborationsfähigkeiten ein. Beim Vergleich der beiden Gruppen zeigten sich zum Teil leicht höhere Mittelwerte bei der Experimentalgruppe. Da für die beiden Gruppen keine Ausgangswerte vor der Intervention vorliegen, ist nicht auszuschließen, dass bereits vor der Intervention schon Unterschiede zwischen den beiden Gruppen bestanden. Außerdem nahmen die SchülerInnen an einer umfassenden Intervention mit Museums- und Zoobesuch teil und benutzten nur zeitweise mobile digitale Geräte. So bleibt unklar, ob etwaige Effekte der Nutzung mobiler Geräte zugeschrieben werden können. Die festgestellten Unterschiede waren zudem sehr gering und beruhen auf Selbsteinschätzungen der Schüler und nicht auf objektiven Tests.

Unter anderem aufgrund der genannten methodischen Schwächen kann aus diesem Ergebnis nicht geschlossen werden, dass kollaboratives Lernen mit digitalen Geräten entsprechende Fähigkeiten effektiver fördert.

Referenzen und Links

Podcast

Downloads