Angesichts der Vielzahl an digitalen Angeboten für den MINT-Unterricht stellt sich für Lehrende die Frage, welche Art von Software den Lernprozess besonders effektiv unterstützt. Es wird angenommen, dass Lernprogramme, in denen die SchülerInnen den Lernprozess selbst steuern können, bessere Lernerfolge ermöglichen als Software, bei der die Steuerung durch das Programm selbst erfolgt.
Die aktualisierte Metaanalyse „Updated meta-analysis of learner control within educational technology“ (Karich, Burns, & Maki, 2014) klärt, ob diese Lernprogramme effektiv sind und inwiefern bestimmte Rahmenbedingungen die Wirksamkeit von lernergesteuerter Lernsoftware beeinflussen.
Metaanalyse im Überblick
Fokus der Studie: Wirksamkeit von Lernersteuerung im Vergleich zu Programmsteuerung bei Lernsoftware
Zielgruppe: 3.618 SchülerInnen unterschiedlicher Altersgruppen und Schularten
Durchschnittliche Effektstärke: Lernersteuerung hat keinen bedeutsamen Effekt (g = 0.05) im Vergleich zu Programmsteuerung
Weitere Befunde: Keine weiteren Einflussfaktoren, die sich positiv auf den Effekt von lernergesteuerter Lernsoftware auswirken
Einleitung
Durch den Einsatz von Lernsoftware eröffnen sich im naturwissenschaftlichen Unterricht viele Möglichkeiten, SchülerInnen stärker individuell zu fördern, multimediale Inhalte einzusetzen oder Anwendungen laufend zu aktualisieren und anzupassen. Sowohl das wachsende Angebot als auch die steigende Nutzung in den Klassenzimmern spiegeln dies wider.
Lehrkräfte stehen jedoch angesichts der Vielzahl von Angeboten vor der Herausforderung, einschätzen zu müssen, welche Software-Programme den Lernprozess am effektivsten gestalten. Aus der empirischen Forschung ist bekannt, dass selbstgesteuerte Lernprozesse bei SchülerInnen unter bestimmten Bedingungen erfolgreicher und effektiver verlaufen als fremdgesteuerte Lernprozesse.
Auch Lernsoftware kann so konfiguriert sein, dass Lernende ihren Lernprozess selbst steuern („Lernersteuerung“) oder die Software den Lernprozess strukturiert und vorgibt („Programmsteuerung“). Folglich wäre zu erwarten, dass lernergesteuerte Software ebenfalls zu besseren Lernergebnissen führt. Empirische Befunde einer früheren Metaanalyse (Niemiec, Sikorski, & Walberg, 1996) konnten diese Vermutung jedoch nicht eindeutig bestätigen.
Mit dem rasanten technologischen Fortschritt stellt sich die Frage nach der Effektivität von digitaler Lernsoftware zudem immer wieder neu. Deshalb werden in der hier vorgestellten Metaanalyse aktuellere Studien herangezogen, die untersuchen, welche Art von Lernsoftware nach neuerem Stand der Technik besonders effektiv ist.
Worum geht es in dieser Studie?
Zunächst untersuchen die Autoren, welchen Effekt der Einsatz von lernergesteuerter Software auf den Lernerfolg hat und inwiefern sich dieser von programmgesteuerter Software unterscheidet. Im nächsten Schritt klären sie, welche Form von Lernersteuerung besonders wirksam ist und welche weiteren Faktoren (z.B. Unterrichtsfach, Art der Instruktion, Art der Lernerfolgsmessung) die Effektivität von Lernsoftware hinsichtlich des Lernerfolgs zusätzlich beeinflussen.
In ihrer Analyse greifen die Autoren auf 18 empirische Studien zurück, die zwischen 1996 – dem Erscheinungsjahr der letzten Metaanalyse zu diesem Thema – und 2012 in Zeitschriften mit Begutachtungsverfahren veröffentlicht wurden. Um die Lernsoftware zu klassifizieren, wurden folgende Merkmale herangezogen:
- Tempo des Lernprozesses,
- Bearbeitungszeit,
- Bearbeitungsreihenfolge,
- Art und Anzahl der Übungsaufgaben und
- Häufigkeit und Art der Zwischenabfragen.
Sobald wenigstens eines dieser Merkmale von den Lernenden selbst gesteuert wird, gilt eine Lernsoftware als lernergesteuert.
Zudem ordnen die AutorInnen alle untersuchten Lernprogramme einer bestimmten Art von Lernsoftware zu:
1. Drill and Practice-Programme. Übungsprogramme, die bereits durch eine Lehrperson erworbene Lerninhalte wiederholen und festigen sollen
2. Tutorium. Programm, bei dem SchülerInnen instruiert werden, sich eine bestimmte Fertigkeit anzueignen und diese anschließend durch Übungen und Wiederholung zu festigen
3. Umfassendes Lernprogramm. Programm, das Instruktionen, Übungen und Wiederholungen zu mehreren Fertigkeiten beinhaltet
Was findet diese Studie heraus?
Dass Lernende ihren Lernprozess bei der Nutzung von Lernsoftware selbst steuern können, scheint keinen Vorteil gegenüber programmgesteuerter Lernsoftware zu bringen. Das bedeutet, dass der Gesamteffekt der Lernsoftwaresteuerung durch den Lernenden sehr klein und nicht signifikant ist (Hedges g = 0.05).
Die Moderationsanalysen mit Hinblick auf die Lernsoftware, in der die Lernenden wenigstens eines der genannten Merkmale selbst steuern können, identifizierte kein einziges signifikantes Merkmal, das den Lernerfolg bedeutend beeinflusst hätte. Mit Blick auf die Schulfächer zeigt sich, dass die Effekte von lernergesteuerter Lernsoftware im Bereich des MINT-Unterrichts besonders gering und teilweise sogar leicht negativ ausfallen (Mathematik g = -0.03, Naturwissenschaften g = 0.00, Informatik & Technik g = -0.08).
Lediglich für den Bereich der sozialwissenschaftlichen Fächer und Geschichte ist ein signifikanter Effekt mittlerer Größe feststellbar (g = 0.42), der jedoch auf Ergebnissen von nur zwei Primärstudien beruht. Die Analyse verschiedener Arten von Lernsoftware hingegen ergab einen signifikanten mittleren Effekt (g = 0.46) für umfassende Lernsoftware. Hinsichtlich verschiedener Lernerfolgsmaße zeigte sich, dass der Einsatz von Lernsoftware grundsätzlich keinen Einfluss auf Schulnoten hat (g = 0.00).
Die hier vorliegenden Ergebnisse stellen zwar die aktuell beste verfügbare Evidenz dar, sind aber dennoch als vorläufige Tendenzen zu werten, da die meisten Effekte keine statistische Signifikanz erreichen.
Wie bewertet das Clearing House Unterricht diese Studie?
Die Clearing House Unterricht Research Group bewertet die Metaanalyse anhand der folgenden fünf Fragen und orientiert sich dabei an den Abelson-Kriterien (1995):
Wie substanziell sind die Effekte?
Die Effekte für die Wirksamkeit von Lernersteuerung sind unbedeutend. Nach der Einteilung von Cohen (1988) gilt ein Effekt größer 0.20 als kleiner Effekt und damit als relevant und beachtenswert. Von dieser Untergrenze ist der Effekt der Lernersteuerung in dieser Metaanalyse deutlich entfernt und somit als sehr klein zu werten. Zudem ist der Effekt – wie bereits erwähnt – nicht signifikant und somit statistisch nicht belastbar. Damit bestätigt das Ergebnis, vor allem die Größe des Effekts, die Befunde der letzten Metaanalyse zu diesem Thema. Allerdings konnte gezeigt werden, dass bestimmte Arten von Lernsoftware (z.B. umfassende Lernsoftware) den Effekt der Lernsteuerung verstärken (g = 0.46).
Wie differenziert sind die Ergebnisse dargestellt?
Die Differenziertheit der berichteten Effekte bemisst sich daran, inwiefern sie für die unterschiedlichen Schulfächer, Altersgruppen und Arten der Erfassung des Lernerfolgs gesondert untersucht werden: Innerhalb der MINT-Fächer werden für Mathematik, Naturwissenschaften und Informatik/Technologie gesonderte Effektstärken berichtet; mit gleichbleibend niedrigen Effekten.
Die Ergebnisse sind in verschiedene Altersstufen von SchülerInnen, Studierenden bis hin zu Erwachsenen in Weiterbildungen (gleichbleibend kleine Effekte) ausdifferenziert, jedoch wird innerhalb der Gruppe der SchülerInnen nicht weiter nach Grund- und Sekundarstufe unterschieden. Lernerfolg wird in Leistungstests und Schulnoten ausdifferenziert und zeigt ähnlich niedrige Effekte.
Die Autoren entwickeln in der Metaanalyse eine komplexe Klassifikation der Designmerkmale von Lernsoftware (z.B. Lerndauer). Das erlaubt zwar detaillierte Erkenntnisse darüber, welche weiteren Einflussfaktoren die Wirksamkeit von Lernersteuerung begünstigen können, hat aber den Nachteil, dass einzelne Merkmale zum Teil nur in wenigen Primärstudien überhaupt untersucht wurden. Dies könnte unter anderem eine Erklärung dafür sein, weshalb kaum ein Effekt in der Metaanalyse statistische Signifikanz erreicht.
Wie verallgemeinerbar sind die Befunde?
Um zu bestimmen, wie verallgemeinerbar der Gesamteffekt ist, müssen statistische Moderatoranalysen durchgeführt werden, die zeigen, inwiefern die Effektstärken aus den Primärstudien in der Metaanalyse variieren. Derartige Analysen wurden in der Metaanalyse jedoch nicht vorgenommen. Entsprechend sind keine statistisch geprüften Aussagen zur Generalisierbarkeit der Befunde möglich.
Was macht die Metaanalyse wissenschaftlich relevant?
Aus wissenschaftlicher Sicht ist die Metaanalyse – trotz der geringen signifikanten Ergebnisse – aus mehreren Gründen relevant: Erstens aktualisiert sie die Synthese von Befunden, die zuletzt vor zwei Jahrzehnten vorgenommen wurde – und dies in einem Forschungsbereich, der aufgrund des schnellen technologischen Wandels großen Veränderungen unterliegt.
Zweitens greift sie die zwar theoretisch angenommene, aber bisher empirisch ungeklärte Frage nach der Wirksamkeit von selbstgesteuertem Lernen in Lernprogrammen und den damit zusammenhängenden Möglichkeiten individueller Förderung im Kontext des digitalen Lernens auf.
Drittens konzentriert sie sich auf ein wesentliches und klar identifizierbares Designmerkmal von Lernsoftware (Art der Lernersteuerung) und untersucht die Wirksamkeit damit differenzierter als andere Studien. Die insgesamt geringe Anzahl von 18 Primärstudien erschwert jedoch die Analyse, da für einige der untersuchten Merkmale nur sehr wenige Studien vorliegen.
Wie methodisch verlässlich sind die Befunde?
Die methodische Verlässlichkeit der Befunde wird auf Grundlage eines Rating-Systems (unter anderem basierend auf APA Meta-Analysis Reporting Standards) eingeordnet. Transparenz, Nachvollziehbarkeit und Begründung des methodischen Vorgehens entsprechen teilweise den Kriterien der Anforderungskataloge.
Zum Teil fehlen jedoch relevante Informationen, um die einzelnen Prozessschritte nachvollziehen zu können, die bei der Erstellung der Metaanalyse vorgenommen wurde. Insbesondere bei der Auswahl von relevanten Studien, bei der Kodierung der Studienmerkmale sowie der statistischen Analyse bleiben manche wichtigen Fragen offen.
Weitere Informationen zur methodischen Beurteilung finden Sie in unserem Rating Sheet.
Fazit für die Unterrichtspraxis
Alle in der Metaanalyse berücksichtigten Primärstudien wurden im realen Unterrichtskontext durchgeführt. Daher sind die Befunde grundsätzlich für den Einsatz von Lernsoftware im Schulalltag relevant. Als Aktualisierung und Fortschreibung der älteren Metaanalyse (Niemiec et al., 1996) zeigen die gleichbleibenden Befunde in der Metaanalyse jedoch, dass die technische Entwicklung kein entscheidender Faktor für die Wirksamkeit von Lernsoftware ist.
Ungeachtet der Annahmen zum selbstgesteuerten Lernen im Unterricht führt außerdem programmgesteuerte Lernsoftware, die auf bestimmten Lehr-Lern-Prinzipien aufgebaut und effektiv designt ist, zu denselben Ergebnissen wie lernergesteuerte Software. Eine mögliche Erklärung für die Frage, welche weiteren Faktoren für die Wirksamkeit von Lernsoftware relevant sein können, liefert die Primärstudie von Kopcha und Sullivan (2008, siehe Studienbeispiel). Sie zeigt, dass unterschiedliches Vorwissen bei SchülerInnen und die von ihnen bevorzugte Art der Steuerung von Lernsoftware einen Einfluss auf ihre Lernerfolge haben können.
Zur vollständigen Aufklärung des komplexen Zusammenspiels von individuellen Eigenschaften von SchülerInnen (z.B. Vorwissen oder Einstellungen) und Designmerkmalen der Lernsoftware (Art der Lernsteuerung) müsste weiterhin systematisch in diesem Bereich geforscht und Evidenz zusammengetragen werden.
Studienbeispiel
In der Studie von Kopcha und Sullivan (2008) kommt die Lernsoftware „Operations with Integers“ zum Einsatz, mit der SchülerInnen der fünften und sechsten Klasse das Addieren und Subtrahieren von ganzen Zahlen zusätzlich zum regulären Unterricht üben können. Das umfassende Lernprogramm stellte ihnen Hintergrundinformationen und Erklärungen, Beispiele und Rückmeldungen zu den jeweiligen Übungsaufgaben zur Verfügung.
In der lernergesteuerten Version der Lernsoftware konnten die SchülerInnen einzelne Rechenbeispiele und Übungen überspringen und damit ihren Lernprozess selbst gestalten. Diese Option hatten die SchülerInnen in der programmgesteuerten Version nicht. Außerdem wurden zusätzlich das jeweilige Vorwissen der SchülerInnen (groß vs. gering) sowie deren Einstellung und bevorzugte Steuerungsart des Lernprozesses (Präferenz für Selbststeuerung vs. Präferenz für Programmsteuerung) berücksichtigt.
Die Ergebnisse zeigen, dass SchülerInnen mit größerem Vorwissen besser einschätzen können, mit welcher Version von Lernsoftware sie bessere Lernleistungen erzielen können. SchülerInnen mit geringerem Vorwissen dagegen schätzen sich und ihren Lernprozess nicht so zuverlässig ein und lernen am erfolgreichsten, wenn sie keine Übungen überspringen können. Die Studie verdeutlicht, wie entscheidend der Lernerfolg vom Zusammenspiel individueller Voraussetzungen der SchülerInnen und der spezifisch darauf abgestimmten Designmerkmale der Lernsoftware beeinflusst ist.