Förderung von Schülerleistung im Fach Mathematik: Machen digitale Anwendungen den Unterschied?

Die Metaanalyse untersucht, ob und inwiefern Lernangebote mit digitalen Anwendungen zu besserer Schülerleistung im Fach Mathematik führen als nicht-digitale Lernangebote. Bei der Auswahl von Primärstudien legen die Autoren strengere forschungsmethodische Qualitätskriterien an als alle bisherigen Metaanalysen zu diesem Thema. Dazu gehört unter anderem, dass das jeweilige Lernangebot für mindestens 12 Wochen im regulären Schulunterricht durchgeführt wurde und die Studien Prä-Post-Messungen und Kontrollgruppen realisiert haben.

Zudem wurde darauf geachtet, dass in den Tests keine der beiden Gruppen (Experimentalgruppe vs. Kontrollgruppe) bevorzugt wurde – eine Bevorzugung der Gruppe, die mit dem digitalen Lernangebot arbeitet, liegt zum Beispiel vor, wenn die Testinhalte eher auf die digitalen Bedingungen zugeschnitten sind.

Im Zeitraum zwischen 1980 und 2012 erfüllten 74 Primärstudien alle diese genannten Kriterien; sie wurden deshalb in der Metaanalyse berücksichtigt. Davon stammen 45 Studien aus der Primarstufe mit insgesamt 31.555 teilnehmenden SchülerInnen und 29 Studien aus der Sekundarstufe mit insgesamt 25.331 teilnehmenden SchülerInnen.

 

Auf der Basis aller Primärstudien unterscheiden die Autoren drei Arten technologiebasierter Anwendungen:

• Bei den sogenannten »computerbasierten Ergänzungsprogrammen« (Anwendungsart 1) wird Lernsoftware eingesetzt, die zusätzlich zum analogen Schulunterricht ergänzende Übungen und Erklärungen anbietet.
• »Lernmanagementsysteme« (Anwendungsart 2) sind eigenständige und umfassende Softwareangebote, die zu einzelnen Inhaltsbereichen den Wissensstand von Lernenden diagnostizieren, ein entsprechend maßgeschneidertes Lern-, Test-, und Übungsangebot bereitstellen und Lernverläufe aufzeichnen.
• »Curriculum-bezogene Lernprogramme« (Anwendungsart 3) sind umfassende Softwareangebote für Lehrkräfte und Lernende, die komplett ausgearbeitete Lernsequenzen bereitstellen. Diese sind abgestimmt auf Schulcurricula und geltende Bildungsstandards und können zur computergestützten Gestaltung des gesamten Mathematikunterrichts verwendet werden.

Zudem wurde in der Metaanalyse eine Reihe von Moderatorvariablen (d.h. Einflussfaktoren) untersucht. Die folgende Tabelle enthält eine Übersicht über diese Variablen sowie die Anzahl und Beschreibung der Stufen:

 

Tabelle 1. Untersuchte Moderatorvariablen und deren Beschreibung.

Moderatorvariable	Stufen	Beschreibung der Stufen
Jahrgangsstufe	2	Primar- oder Sekundarstufe
Intensität der Intervention	3	weniger als 30min/Woche, zwischen 30 und 75min/Woche, mehr als 75min/Woche
Qualität der Implementation	4	gering, mittel, hoch, nicht angegeben
Sozioökonomischer Status	2	geringer oder hoher Status
Erscheinungsjahr der Studie	3	zwischen 1980 und 1990, zwischen 1990 und 2000, zwischen 2000 und 2012
Studiendesign	2	strikt randomisiertes oder quasi-experimentelles Design
Stichprobengröße	2	weniger als 250 Teilnehmende, mehr als 250 Teilnehmende

Insgesamt zeigt sich in dieser Metaanalyse ein sehr kleiner positiver Effekt zugunsten von Lernangeboten mit digitalen Anwendungen (d = 0.16).

Zum einen zeigen die differenzierten Analysen der Moderatorvariablen, dass es keinen signifikanten Unterschied dahingehend gibt, ob Studien (1) in der Primar- oder Sekundarstufe, (2) in Schulen mit unterschiedlichen Verteilungen im sozioökonomischen Status der SchülerInnen, oder (3) in unterschiedlichen Jahrzehnten durchgeführt wurden. Zwar weisen Studien aus den früheren Jahrzehnten etwas höhere Effektstärken auf als neuere Studien, jedoch ist diese Tendenz zu gering, um als bedeutsam gelten zu können.

Zum anderen ergeben die Moderatoranalysen, dass computerbasierte Ergänzungsprogramme (mehr als 70 % aller einbezogenen Studien) eine höhere Effektstärke (d = 0.19) aufweisen als die beiden anderen Arten der digitalen Anwendung (Lernmanagementsysteme: d = 0.09; curriculum-bezogene Lernprogramme: d = 0.06). Auch für Lernangebote, deren Dauer mehr als 30 Minuten pro Woche umfasste, zeigen sich größere Effekte (d = 0.14/0.20) als bei Maßnahmen mit geringerer Intensität (d = 0.06). Besonders große Unterschiede in den Effektstärken ergeben sich für die Qualität der Implementation: Gaben die Autoren der Studien an, dass die Interventionen den Vorgaben entsprechend umgesetzt wurden, konnten doppelt so große Effekte (d = 0.26) erzielt werden als bei weniger exakter Umsetzung der Intervention (d = 0.12).

Zuletzt zeigen die detaillierten Analysen, dass methodische Aspekte der Untersuchung, wie die Art des Studiendesigns und die jeweilige Stichprobengröße, ebenfalls einen signifikanten Einfluss auf die Effektstärke haben. Bei Studien mit randomisierter Zuteilung und bei Studien mit größeren Stichproben sind die Effekte nur halb so groß (d = 0.08/0.12), verglichen mit Studien mit quasi-experimentellem Design und kleinen Stichproben (d = 0.20/0.26). Dadurch zeigt sich, dass selbst bei einer strikten Auswahl hochwertiger Studien methodische Aspekte weiterhin eine Rolle spielen und sich das Muster (kleinere Effektgrößen bei strengeren Kriterien) bestätigt.

Die Clearing House Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):

Wie substanziell sind die Effekte?
Orientiert man sich an der gängigen Einteilung nach Cohen (1988), so werden Effekte ab einer Effektgröße von d  ≥  0.20 als klein gewertet. Der aktuelle durchschnittliche Effekt aller Primärstudien (d = 0.16) ist geringer. Es besteht demnach kaum ein Unterschied zwischen Lernangeboten mit digitalen Anwendungen und entsprechenden Vergleichsangeboten, wenn diese mehr als 12 Wochen an Schulen eingesetzt werden. Dieser Befund entspricht dem aktuellen Forschungsstand: Andere hochwertige Meta-Analysen sowie aktuelle Large-Scale-Studien kommen zu ähnlichen Ergebnissen.

Wie differenziert sind die Ergebnisse dargestellt?
Die Differenziertheit der berichteten Effekte wird von der Clearing House Unterricht Research Group anhand der Schulfächer, Jahrgangsstufen und abhängigen Variablen eingeschätzt. Die Metaanalyse fokussiert sich hier ausschließlich auf das Schulfach Mathematik und auf Schülerleistung als einzige abhängige Variable. Die Ergebnisse werden differenziert für Primar- und Sekundarstufe dargestellt.

Wie verallgemeinerbar sind die Befunde?
Inwiefern der Gesamteffekt verallgemeinerbar ist, untersuchen die Autoren mithilfe von Moderatoranalysen. Signifikante Unterschiede bei den Effekten ergeben sich für die verschiedenen Arten von digitalen Anwendungen, die Intensität der jeweiligen Anwendung und für die Qualität der Implementation. Das bedeutet, dass die Effekte von diesen Bedingungen beeinflusst und deshalb nicht im Sinne eines einheitlichen Gesamteffektes generalisierbar sind. Keine Einschränkung für eine Generalisierbarkeit des Gesamteffekts liegt ausschließlich für die Jahrgangsstufe und die so-zioökonomische Zusammensetzung der Schülerschaft vor.

Außerdem ist zu erwähnen, dass ausschließlich amerikanische Studien Eingang in die Untersuchung fanden und somit keine Aussagen getroffen werden können, inwiefern sich die Befunde auf andere Länder, Schulsysteme und deren jeweilige digitale Anwendungen übertragen lassen. Hinzu kommt, dass ein Großteil der einbezogenen Studien bereits einige Jahre zurückliegt (die aktuellste Studie ist von 2010). Dies lässt keine Aussagen über die Effektivität aktueller digitaler Anwendungen zu, was bei den neuesten technischen Entwicklungen nicht unerheblich ist.

Was macht die Meta-Analyse wissenschaftlich relevant?
Ein wissenschaftliches Kernthema dieser Metaanalyse ist die Frage, inwiefern methodische Unterschiede (wie beispielweise im Studiendesign) der Primärstudien die Ergebnisse beeinflussen. Die Autoren weisen hier nach, dass selbst bei einer strengen Auswahl an Primärstudien der Einfluss methodischer Faktoren in den Ergebnissen nachweisbar ist: Studien mit randomisierter Zuteilung und größeren Stichproben berichten signifikant kleinere Effekte als Studien mit nicht-randomisierter Zuteilung und kleineren Stichproben.

Mit ihren Analysen weisen die Autoren darauf hin, wie bedeutsam die Entscheidung für oder gegen ein bestimmtes Studiendesign für die Ergebnisse sein kann (siehe auch Cheung & Slavin, 2016). Für die vorliegende Metaanalyse ist davon auszugehen, dass sie – aufgrund der strengeren Auswahlkriterien – verlässlichere Befunde zur Wirksamkeit von digitalen Anwendungen im Schulunterricht liefert als bisherige Metaanalysen.

Wie methodisch verlässlich sind die Befunde?
Die Offenlegung und Begründung des methodischen Vorgehens entspricht weitgehend den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Demzufolge sind die einzelnen Schritte des Erstellungsprozesses der Metaanalyse (Recherche, Studienauswahl, Kodierung und statistische Analyse) überwiegend transparent und nachvollziehbar beschrieben.

Weitere Informationen zu den Beurteilungskriterien finden Sie in unserem Rating Sheet.

Digitale Lernangebote, die länger als 12 Wochen an Schulen eingesetzt werden, wirken sich laut dieser Metaanalyse tendenziell positiv auf die Schülerleistung in Mathematik aus. Etwas größere Effekte erzielen dabei Anwendungen, die von Schülerinnen ergänzend zum regulären Schulunterricht eingesetzt werden. Verstärken lassen sich die positiven Effekte weiterhin, indem SchülerInnen das Lernangebot intensiver nutzen (siehe Studienbeispiel) und Lehrkräfte die Programme möglichst getreu der Richtlinien der HerstellerInnen oder WissenschaftlerInnen einsetzen.

Die Befunde zeigen aber auch, dass zu Vergleichsangeboten ohne digitale Elemente bisher kaum Effektivitätsunterschiede bestehen. Dies könnte auch damit zu tun haben, dass die einbezogenen Primärstudien bereits einige Jahre zurückliegen. So schafft der rapide technische Fortschritt ständig bessere und günstigere Angebote und zugleich gewinnen Lehrkräfte an Erfahrung im Umgang mit digitalen Anwendungen. Man kann also mit Spannung neuere Befunde erwarten, die klären, ob SchülerInnen aktuell mehr von digitalen Möglichkeiten im Mathematikunterricht profitieren als bisher nachgewiesen.

Ysseldyke und Bolt (2007) testeten in ihrer Studie die Lernmanagementsoftware »Accelerated Math« über ein gesamtes Schuljahr hinweg. Diese Software unterstützt Lehrkräfte dabei, den Lernfortschritt ihrer SchülerInnen anhand der bearbeiteten Aufgaben zu überwachen, Lernziele entsprechend anzupassen und geeignete Übungsaufgaben für die Lernenden auszuwählen. Bei der Umsetzung wurde auf der Basis der erreichten Zwischenziele eines Lernenden ermittelt, wie intensiv das Programm eingesetzt wurde.

Es zeigte sich, dass ausschließlich diejenigen SchülerInnen von der Maßnahme profitierten, die das Programm häufiger und länger nutzten. Sie schnitten beim Vergleich standardisierter Testwerte, die zu Beginn und am Ende des Schuljahres ermittelt wurden, signifikant besser ab. Dabei ergab sich bei rund 2.000 teilnehmenden Primar- und SekundarschülerInnen ein kleiner bis mittlerer Effekt (d = 0.30-0.50).

Referenzen
Abelson, R. P. (1995). Statistics as principled argument. Hillsdale, NJ: Lawrence Erlbaum Associates.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Auflage). Hillsdale, NJ: Erlbaum.

Cheung, A. C., & Slavin, R. E. (2013). The effectiveness of educational technology applications for enhancing mathematics achievement in K-12 classrooms: A meta-analysis. Educational Research Review, 9, 88-113.

Cheung, A. C., & Slavin, R. E. (2016). How methodological features affect effect sizes in education. Educational Researcher, 45(5), 283-292.

Ysseldyke, J., & Bolt, D. M. (2007). Effect of technology-enhanced continuous progress monitoring on math achievement. School Psychology Review, 36(3), 453-467.

 

Links
Zur Meta-Analyse von Cheung und Slavin, 2013

Zum Studienbeispiel von Ysseldyke und Bolt, 2007

 

Zitieren als
Knogler, M., Hetmanek, A. & CHU Research Group (2017). Förderung von Schülerleistung im Fach Mathematik: Machen digitale Anwendungen den Unterschied? www.clearinghouse-unterricht.de, Kurzreview 7.