Adaptive Lernsoftware: Ein wirksames Mittel im Umgang mit Schülerdiversität?

Die zweite Fragestellung bezieht sich auf die Wirksamkeit spezieller Designelemente (Features) adaptiver Lernsoftware. In den entsprechenden experimentellen Studien werden erweiterte Versionen von adaptiver Lernsoftware, die ein bestimmtes Feature enthalten, verglichen mit einfacheren Versionen, die dieses Feature nicht enthalten (29 Einzelvergleiche).

In beiden Analysen wird zudem der Einfluss verschiedener sogenannter Moderatoren untersucht (siehe Tabelle 1). Grundlage der Metaanalyse sind 53 Vergleiche aus 42 Veröffentlichungen, die zwischen 2000 und 2014 erschienen sind. Über 70 % der Vergleiche stammen aus dem mathematisch-naturwissenschaftlichen Fachbereich, der Rest aus sprachlich-gesellschaftswissenschaftlichen Fächern.

Tabelle 1. Übersicht über die untersuchten Moderatoren.

Die Analysen zur zweiten Fragestellung ergeben ebenfalls einen signifikanten kleinen Gesamteffekt – zugunsten der erweiterten adaptiven Lernsoftware (g = 0.27). Das bedeutet, dass die Integration bestimmter Features die Effektivität der Software erhöhen kann. Zu diesen Features gehören inhaltliche Hinweise zur Förderung eines tieferen konzeptuellen Verständnisses oder Hinweise zum selbstregulierten Lernen z.B. zum Monitoring der eigenen Lernaktivität. Versionen, die solche Features beinhalten, sind einfacheren Versionen der Lernsoftware, die lediglich Feedback zur Korrektheit der Schülerantwort anbieten, überlegen. Insbesondere wenn Schülerinnen bei komplexeren Aufgaben – beispielsweise beim Erstellen von Diagrammen oder Concept Maps (siehe Kurzreview 19) – unterstützt wurden, führten Versionen mit Features zu besseren Leistungen. Auch hier zeigte sich, dass ausschließlich SchülerInnen mit geringem oder mittlerem Vorwissen davon profitieren.

Wie substanziell sind die Effekte?
Nach der gängigen Kategorisierung nach Cohen (1988) sind die Gesamteffekte beider Analysen als klein einzustufen. Veranschaulicht bedeutet der Effekt von g = 0.34, dass ca. 64 % der SchülerInnen mit adaptiver Lernsoftware eine höhere Lernleistung aufweisen als der Durchschnitt der VergleichsschülerInnen.

Dabei ist zu berücksichtigen, dass diese Effekte unter strengen Bedingungen erzielt werden. Zum einen bezieht sich der Effekt immer auf den Mehrwert der adaptiven Software (Fragestellung 1) oder erweiterter Versionen (Fragestellung 2) im Vergleich zu ähnlichen Angeboten. Das heißt, auch in der Vergleichsbedingung erhalten SchülerInnen Aufgaben zur Förderung ihres Verständnisses bzw. einfachere Formen der Unterstützung. Zum anderen erfassen die meisten Studien den tatsächlichen Lernfortschritt der SchülerInnen indem sie den Lernstand nach der Intervention mit dem Lernstand vor der Intervention vergleichen (Prä-Post-Studien). Wie die Moderatoranalysen im Hinblick auf das Vorwissen und die Komplexität der Aufgaben gezeigt haben, können die Effekte adaptiver Software unter bestimmten Bedingungen noch größer ausfallen.

Wie differenziert sind die Ergebnisse dargestellt?
Die Effekte werden differenziert nach Fachbereichen (Mathematik, Naturwissenschaften, Sprachen) und nach Altersstufen (6.-8. Klasse und 9.-12. Klasse) dargestellt. Auch um die Lernleistung zu ermitteln, werden unterschiedliche Maße herangezogen: Unterschieden wird, ob Schülerlnnen korrekt aus verschiedenen Optionen auswählen können (Selektionsaufgaben), ob sie selbst korrekte Problemlösungen durchführen oder eigene Antworten mit korrektem Aufbau erstellen können (generative Aufgaben). Für keine dieser Differenzierungen ergeben sich bedeutsame Unterschiede.

Wie verallgemeinerbar sind die Befunde?
In beiden Analysen zeigt sich, dass sich die Effektstärken der verschiedenen Studien durchaus unterscheiden. Jedoch zeigen die meisten Moderatoren, die als Erklärung für diese Unterschiede getestet werden, keine signifikanten Effekte (Ausnahme: Vorwissen). Auch wenn dies auf den ersten Blick für eine hohe Generalisierbarkeit spricht, stehen den einzelnen Moderatorentests jeweils nur eine geringe Anzahl an Studien zur Verfügung. Aufgrund der wenigen Einzelvergleiche sind diese Ergebnisse als vorläufig zu sehen und nur eingeschränkt belastbar, da neue Studien diese Trends verändern könnten.

Zukünftige Forschung sollte dementsprechend den Einfluss von Moderatorvariablen weiter prüfen, um belastbarere Ergebnisse in Bezug auf den Einfluss der hier getesteten und gegebenenfalls auch weiterer Moderatorvariablen zu generieren: So ist z.B. auch denkbar, dass sich die Effekte unterscheiden – je nachdem, in welcher Weise die Lernsoftware in den Unterricht eingebettet wird, in welchem kulturellen Kontext die Studie durchgeführt wurde und ob dabei längerfristig Unterschiede gemessen wurden (nachhaltiges Lernen).

Was macht die Metaanalyse wissenschaftlich relevant?
Wissenschaftlich bedeutsam ist diese Metaanalyse, da sie eine spezielle Form der Lernsoftware erstmals exklusiv bei SchülerInnen der Sekundarstufe untersucht. Sie kombiniert dabei Analysen, die einerseits den Mehrwert adaptiver Lernsoftware gegenüber Unterricht ohne solche Software ermitteln, mit Analysen, die die Effektivität bestimmter Erweiterungen der Lernsoftware bestimmen. Dies lässt differenzierte Aussagen zum Forschungsstand und zu weiterführenden Forschungsfragen zu.

Wie methodisch verlässlich sind die Befunde?
Die Transparenz und Begründung des methodischen Vorgehens entspricht teilweise den Kriterien gängiger Anforderungskataloge (z.B. APA Meta-Analysis Reporting Standards). Zwar erfüllen die Angaben zur Suche und Analyse der Primärstudien weitgehend alle Ansprüche, jedoch fehlen Informationen, die die Auswahl und vor allem die genaue Kodierung der Primärstudien betreffen. Genauere Informationen zur Beurteilung des methodischen Vorgehens finden Sie in unserem Rating Sheet.

Ob nun die Unterstützung von der Lehrkraft oder von der Software kommt, muss kein »entweder-oder« sein. Vielmehr erhält die Lehrkraft durch die Software mehr Freiraum, um sich um einzelne SchüIerInnen kümmern zu können, während die MitschülerInnen parallel weiterarbeiten können.

Wenn sie danach ihre Ergebnisse in eine Concept Map übersetzen, gibt die Software dazu inhaltliche Rückmeldungen. Um sicherzustellen, dass Betty (und dadurch auch sie selbst) die Zusammenhänge richtig verstanden hat, müssen die SchülerInnen Betty regelmäßig testen. Wenn sich Betty schlecht vorbereitet fühlt oder im Test schlecht abschneidet, gibt sie klare Tipps, wie man sie besser unterstützen kann und fordert diese Unterstützung lautstark ein (Impulse zum Self-Monitoring).

In der Studie arbeiteten 15 SchülerInnen der fünften Jahrgangsstufe fünf Unterrichtsstunden lang mit dieser erweiterten Version adaptiver Lernsoftware. Es zeigten sich große Zuwächse im Wissen der SchülerInnen, die dieses Wissen und erworbene Strategien des Self-Monitorings auch auf neue Problemstellungen übertragen konnten. SchülerInnen zweier Kontrollgruppen, die ohne Self-Monitoring-Elemente arbeiteten bzw. nicht in der Rolle der Lehrenden waren, verzeichneten zwar ebenfalls Lernzuwächse – jedoch in geringerem Umfang. Insgesamt demonstriert die kleine Studie die Effektivität von adaptiver Lernsoftware und liefert Hinweise auf effektive Features wie den »Lernen durch Lehren« Ansatz und erweiterte Features anhand des Self-Monitorings.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. Auflage). Hillsdale, NJ: Erlbaum.

Gerard, L., Matuk, C., McElhaney, K., & Linn, M. C. (2015). Automated, adaptive guidance for K-12 education. Educational Research Review, 15, 41-58.

Leelawong, K., & Biswas, G. (2008). Designing learning by teaching agents: The Betty’s Brain system. International Journal of Artificial Intelligence in Education, 18(3), 181-208.

Links.
Zur Metaanalyse von Gerard et al., 2015.

Zum Studienbeispiel von Leelawong & Biswas, 2008.

Zitieren als.
Knogler, M., Hetmanek, A., & CHU Research Group (2018). Adaptive Lernsoftware: Ein wirksames Mittel im Umgang mit Schülerdiversität? www.clearinghouse-unterricht.de, Kurzreview 21.