Kollaboratives Lernen und mobile digitale Geräte: Eine wirksame Kombination?

Die Metaanalyse untersucht, inwiefern kleine Gruppen beim kollaborativen Lernen von der Unterstützung durch mobile digitale Geräte in Bezug auf Lernleistung, Einstellungen und Qualität der Zusammenarbeit profitieren und welche Faktoren diese Zusammenhänge beeinflussen. Dazu werden Studien herangezogen, die die Effekte mobilen kollaborativen Lernens mit drei unterschiedlichen Alternativbedingungen vergleichen:

1. mit individuellem digitalen Lernen,

2. mit kollaborativem Lernen ohne digitale Medien, und

3. mit kollaborativem Lernen mit klassischen digitalen Medien (stationären Computern).

Dadurch können die AutorInnen feststellen, ob die soziale Lernform oder der Einsatz mobiler digitaler Geräte entscheidend für den Lernerfolg ist.

Ein Blick in einzelne Studien zeigt, dass die Wirksamkeit von mobilem digitalen kollaborativem Lernen je nach Schulfach, Alter, Gruppengröße, Gruppenzusammensetzung, Interventionsdauer, Notenvergabe bzw. Belohnungsvergabe oder unterschiedlichen Lehrmethoden variiert. Ob die Wirksamkeit systematisch von diesen Faktoren beeinflusst wird, untersuchen die AutorInnen im Rahmen von Moderatoranalysen. Insgesamt konnten die AutorInnen für Ihre Metaanalyse auf 47 Artikel aus wissenschaftlichen Zeitschriften und eine Dissertationsschrift zurückgreifen, die zwischen 2000 und 2016 erschienen sind. Darin enthalten sind 163 Effektstärken von 5.294 Teilnehmenden.

Auf der Basis aller 163 Effektstärken ergab die Metaanalyse einen signifikant positiven Gesamteffekt mittlerer Größe
(g = 0.52): Werden beim kollaborativen Lernen mobile digitale Geräte genutzt, so erzielen Lernende höhere Leistungen, haben positivere Einstellungen zum Lernen und arbeiten produktiver zusammen. Ein sogenannter Heterogenitätstest zeigt, dass sich die Effektstärken zwischen den Studien bedeutsam unterscheiden. Mithilfe von Moderatoranalysen lassen sich Faktoren identifizieren, die die Effektstärke jeweils beeinflussen. Die vollständigen Ergebnisse der Moderatoranalysen sind in Tabelle 1 dargestellt.

Die Analyse unterschiedlicher Vergleichsbedingungen zeigt, dass kollaboratives Lernen mit mobilen Geräten effektiver ist als individuelles Lernen mit mobiler Technologie oder kollaboratives Lernen ohne digitale Unterstützung. Allerdings ergaben die Vergleiche auch, dass Lernende, die kollaborativ mit mobilen digitalen Geräten lernen, verglichen mit Lernenden, die kollaborativ mit statischen (Desktop-)Geräten lernen, nicht signifikant besser abschneiden. Dies deutet darauf hin, dass das besondere Potenzial mobiler digitaler Geräte erst noch nachgewiesen bzw. entwickelt werden muss. Im Hinblick auf den Einsatzkontext ergeben die Befunde, dass insbesondere SchülerInnen der Sekundarstufe und in naturwissenschaftlich-mathematischen Fächern vom kollaborativen Lernen mit mobilen digitalen Geräten profitieren.

Zudem zeigen Gestaltungsoptionen auf unterschiedlichsten Ebenen, wann kollaboratives Lernen von der Unterstützung durch digitale Technologien profitieren kann: Besonders wirksam im Vergleich zeigte sich kollaboratives Lernen unterstützt durch mobile digitale Geräte bei einer Gruppengröße von vier Personen, bei einer vorwiegend homogenen Gruppenzusammensetzung (im Hinblick auf Persönlichkeitseigenschaften und Leistungsvoraussetzungen), sowie bei einer Lernzeit, die weder besonders kurz (unter einer Woche) noch besonders lang (über vier Wochen) angesetzt war. Größere Effekte zeigten sich auch, wenn kollaborative Instruktionsansätze (z. B. Gruppenpuzzle, Gruppenuntersuchung) anstelle von kompetitiven Ansätzen (z. B: Gruppenrallye, Gruppenturnier) gewählt wurden. Zudem waren individuelle Formen der Belohnung oder Benotung der Lernenden mit höheren Effekten verbunden als die Belohnung von Gruppenleistungen. Ob das Klassenzimmer oder informelle Settings (Outdoor, Museum) gewählt wurden, ergab keinen Unterschied.

Tabelle 1. Effekte nach unterschiedlichen Moderatorstufen.

MODERATOR	VERGLICHENE VARIANTEN/STUFEN	ANZAHL STUDIEN	EFFEKTSTÄRKE (g
Vergleichsbedingungen	Individuelles Lernen	31	0.59***
	Kollaboratives Lernen ohne mobile digitale Technologie	11	0.47**
	Kooperatives Lernen mit Desktop	6	0.20
Lernerfolgsmaße	Leistung	39	0.55***
	Einstellung zum Lernen	13	0.52***
	Qualität der Zusammenarbeit	7	0.42*
Alter	Grundschule	16	0.57***
	Sekundarschule	9	0.66***
	Erwachsene	18	0.38**
	Gemischt	5	0.58**
Fach	Sprachen	11	0.41*
	Sozialwissenschaften	6	0.22
	Naturwissenschaften	9	0.77***
	Mathematik	5	0.89***
	Spezifische Fertigkeiten	5	0.12
	Berufliche Fächer	12	0.59***
Gruppengröße	Nicht genannt	9	0.37*
	2 Personen	2	0.22
	3 Personen	10	0.49**
	4 Personen	6	0.82***
	Mehr als 4 Personen	7	0.64**
	Gemischt	14	0.49***
Gruppen- zusammensetzung	Nicht genannt	27	0.45***
	Homogen	4	0.80**
	Heterogen	17	0.56***
Lehrmethode	Gemeinsames Lernen (LT: learning together)	29	0.53***
	Gruppenturniere (TGT: team game tournament)	4	0.44
	Gruppenuntersuchung (GI: group investigation)	7	0.56**
	Gruppenpuzzle (Jigsaw)	6	0.59**
	Gruppenrallye (STAD: student teams achievement division)	2	0.16
Interventionsdauer	Nicht genannt	4	0.64*
	Bis zu 1 Woche	8	0.24
	Zwischen 1 und 4 Wochen	16	0.87***
	Zwischen 4 und 6 Wochen	15	0.34**
	Mehr als 6 Wochen	5	0.33
Lernort	Klassenzimmer	36	0.51***
	Outdoor oder Museum	4	0.63**
	Mehrere Lernorte	8	0.50**
Belohnung	Nicht genannt	1	0.63**
	Gruppenbelohnung für individuelle Leistung	4	0.48
	Gruppenbelohnung für Gruppenleistung	4	-0.07
	Belohnung individueller Leistung	39	0.58***

*signifikanter Effekt mit 5% Irrtumswahrscheinlichkeit; **signifikanter Effekt mit 1% Irrtumswahrscheinlichkeit; *** signifikanter Effekt mit 0.1% Irrtumswahrscheinlichkeit.

Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?
Die durchschnittliche Effektstärke liegt nach der üblichen Einteilung nach Cohen (1988) im mittleren Bereich (g = 0.52). Diese Effektstärke bedeutet, dass etwas mehr als 70 % der kollaborativ Lernenden mit mobilen Technologien bessere Ergebnisse als der Durchschnitt der Kontrollgruppen erzielen (Vergleichsbedingungen siehe Tabelle 1). Dieser positive Effekt des kollaborativen Lernens mit technologischer Unterstützung zeigt sich über viele Moderatoren und drei verschiedene Erfolgskriterien hinweg als relativ stabil, was auf einen robusten Befund hindeutet. Zudem ist der Befund in Richtung und Größe konform mit Ergebnissen zu kollaborativem Lernen ohne digitale Medien (siehe Kurzreview 4).

Entscheidend bei der Einschätzung aller Effektstärken dieser Metaanalyse ist jedoch, dass die eingehenden Studien meist auf kleinen Stichproben, auf wenig verlässlichen Studiendesigns und kaum auf standardisierten Messverfahren beruhen – häufig auch auf Selbsteinschätzungen von SchülerInnen. Die AutorInnen geben hierzu an, dass aufgrund der geringen Anzahl verfügbarer Studien keine besonderen Anforderungen an die Qualität der eingehenden Studien gestellt werden konnten. Aus der Forschung ist jedoch bekannt (siehe Cheung & Slavin, 2016), dass diese methodischen Faktoren einen deutlichen Einfluss auf die Ergebnisse haben.

Im Fall dieser Metaanalyse ist daher insgesamt davon auszugehen, dass die methodischen Eigenschaften der Primärstudien dazu beitragen, dass die Effektivität überschätzt wird. Zukünftige Primärstudien, die strengeren wissenschaftlichen Kriterien genügen, müssen zeigen wie belastbar diese Ergebnisse sind.

Wie differenziert sind die Ergebnisse dargestellt?
Die Differenziertheit der berichteten Effekte wird anhand der Bereiche Schulfächer, Jahrgangsstufen und des Erfolgskriteriums eingeschätzt. Die Metaanalyse liefert differenzierte Darstellungen in allen drei Bereichen. Es werden gesonderte Effektstärken für unterschiedliche Fächer (u.a. Naturwissenschaften und Mathematik), Altersstufen (u.a. Sekundarstufe) sowie für die Erfolgskriterien Leistung, Einstellung und Qualität der Zusammenarbeit ausgegeben.

Wie verallgemeinerbar sind die Befunde?
In der Metaanalyse wurde eine Reihe relevanter Moderatoren überprüft; bei den meisten zeigten sich keine signifikanten Unterschiede. Dies deutet darauf hin, dass kollaboratives Lernen mit mobilen digitalen Geräten unter ganz unterschiedlichen Bedingungen lernwirksam sein kann. Die Anzahl der Studien für die einzelnen Moderatorstufen ist oftmals jedoch so gering, dass die Ergebnisse eher als vorläufige Trends denn als belastbare Befunde gesehen werden können. Zudem wurden einige wichtige Einflussfaktoren nicht überprüft: So wurde nicht untersucht, welchen Einfluss die Art der mobilen Technologie auf die Größe der Effekte hat. Da die Metaanalyse Studien aus einem relativ langen Zeitraum mit großem technologischem Fortschritt integriert, ist davon auszugehen, dass die darin untersuchten Geräte und Anwendungsarten eine große Heterogenität aufweisen. Welchen Einfluss methodische Faktoren (Studiendesign, Stichprobengröße, Art der Messverfahren) auf die Befunde haben, wurde ebenfalls nicht überprüft. Dies hätte wertvolle Hinweise auf die Belastbarkeit der vorliegenden Befunde geben können.

Was macht die Meta-Analyse wissenschaftlich relevant?
Die vorliegende Studie ist insofern wissenschaftlich bedeutsam, als es sich um die erste Metaanalyse handelt, die sich ganz auf die Frage nach der Effektivität kollaborativen Lernens mit mobiler Technologie konzentriert. Sie liefert dadurch erste Befunde zur Lernwirksamkeit neuer Technologien und bietet einen Referenzpunkt für weitere Arbeiten in diesem Forschungsfeld.

Wie methodisch verlässlich sind die Befunde?
Die Transparenz und Begründung des methodischen Vorgehens entspricht nur teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Metaanalysis Reporting Standards). Die Schritte bei der Suche und Auswahl relevanter Primärstudien erfüllen alle Ansprüche. Jedoch hätten die AutorInnen bei der Datenanalyse und insbesondere bei der Kodierung von Primärstudienmerkmalen ihr Vorgehen deutlich transparenter beschreiben können. Weitere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Für den Unterricht stehen immer mehr Möglichkeiten bereit, Lernprozesse und Lernergebnisse mithilfe mobiler digitaler Geräte zu unterstützen und zu verbessern. Die vorliegende Metaanalyse basiert größtenteils auf Studien, die unter Realbedingungen im Klassenzimmer stattfanden. Sie enthält viele Hinweise darauf, dass sich der Einsatz mobiler Geräte beim kollaborativen Lernen lohnen kann – gerade auch für die mathematisch-naturwissenschaftlichen Fächer.

Die Anzahl und die Qualität der vorhandenen Studien zeigt aber auch, dass die Forschung in diesem Bereich noch relativ am Anfang steht und gerade die neuesten Geräte und Applikationen kaum in verlässlichen Studien getestet wurden. Befunde wie die Überlegenheit individueller Belohnung gegenüber der Belohnung von Gruppenleistung, die sich bereits in Metaanalysen zu kollaborativem Lernen allgemein gezeigt haben (siehe Kurzreview 4), sind folglich belastbarer als Befunde, die nur durch diese Metaanalyse und eine kleine Anzahl von Studien abgesichert sind.

Die Erwartung, dass eine optimale Nutzung der Möglichkeiten mobiler Geräte und ein förderliches Arrangement der Zusammenarbeit zu besseren Lernprozessen und Resultaten im Unterricht führt, bleibt durch die Befunde dieser Metaanalyse bestehen, kann aber durch sie nicht verlässlich belegt werden.

Die Studie von Sanchez & Olivares (2011) illustriert einerseits die Umsetzung einer Lernumgebung, die auch Elemente des kollaborativen Lernens mit mobilen digitalen Geräten enthält, andererseits aber auch den niedrigen methodischen Standard vieler Studien, die in diese Metaanalyse eingegangen sind. Die Studie wurde in Chile mit zehn achten Klassen aus fünf verschiedenen Schulen (insgesamt 373 SchülerInnen) durchgeführt. Dabei nahm eine Klasse pro Schule jeweils am Programm der Experimentalgruppe teil; eine andere Klasse bildete die Kontrollgruppe, die zum selben Themenbereich (Evolution) von derselben Lehrperson ohne besondere Maßnahmen unterrichtet wurde.

Die SchülerInnen der Experimentalgruppe nahmen an 23 interaktiven Sessions zum Thema Evolution teil. In sieben dieser 23 Sessions spielten sie auf mobilen Geräten insgesamt drei digitale Spiele (wovon jeweils ein Spiel im Zoo und eines im Museum stattfand) bei denen sie kooperieren mussten. Ein Spiel hatte zum Beispiel zum Ziel, gemeinsam mehrere Spezies zu höheren Evolutionsstufen zu führen und dadurch die Bedingungen und den Ablauf biologischer Evolution zu verstehen. Die drei Spielaktivitäten repräsentieren in dieser Studie kollaboratives Lernen mit mobilen digitalen Geräten.

Nach der Intervention schätzten die SchülerInnen ihre Problemlösefähigkeiten und ihre Kollaborationsfähigkeiten ein. Beim Vergleich der beiden Gruppen zeigten sich zum Teil leicht höhere Mittelwerte bei der Experimentalgruppe. Da für die beiden Gruppen keine Ausgangswerte vor der Intervention vorliegen, ist nicht auszuschließen, dass bereits vor der Intervention schon Unterschiede zwischen den beiden Gruppen bestanden. Außerdem nahmen die SchülerInnen an einer umfassenden Intervention mit Museums- und Zoobesuch teil und benutzten nur zeitweise mobile digitale Geräte. So bleibt unklar, ob etwaige Effekte der Nutzung mobiler Geräte zugeschrieben werden können. Die festgestellten Unterschiede waren zudem sehr gering und beruhen auf Selbsteinschätzungen der Schüler und nicht auf objektiven Tests.

Unter anderem aufgrund der genannten methodischen Schwächen kann aus diesem Ergebnis nicht geschlossen werden, dass kollaboratives Lernen mit digitalen Geräten entsprechende Fähigkeiten effektiver fördert.

Referenzen
Abelson, R. P. (1995). Statistics as principled argument. Hillsdale, NJ: Lawrence Erlbaum Associates.

Cheung, A. C., & Slavin, R. E. (2016). How methodological features affect effect sizes in education. Educational Researcher, 45(5), 283-292.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Auflage). Hillsdale, NJ: Erlbaum.

Sánchez, J., & Olivares, R. (2011). Problem solving and collaboration using mobile serious games. Computers & Education, 57, 1943–1952.

Sung, Y. T., Yang, J. M., & Lee, H. Y. (2017). The effects of mobile-computer-supported collaborative learning: meta-analysis and critical synthesis. Review of educational research, 87(4), 768-805.

Links
Zur Meta-Analyse von Sung, Yang, & Lee (2017)

Zum Studienbeispiel von Sánchez & Olivares (2011)

Zitieren als
Knogler, M., Wiesbeck, A. B. & CHU Research Group (2018). Kollaboratives Lernen und mobile digitale Geräte: Eine wirksame Kombination? www.clearinghouse-unterricht.de, Kurzreview 15.