An der Studie nahmen 1.763 Schüler der Klassenstufen JSS 1 und JSS 2 (entspricht den Jahrgangsstufen 7 und 8) im Alter von mindestens 13 Jahren teil, verteilt auf 48 Mathematik-Klassen . Innerhalb jeder Schule und Jahrgangsstufe wurden die Klassen zufällig entweder der Treatment-Gruppe (die mit Gemini Guided Learning lernte) oder der Kontrollgruppe (die den normalen Unterricht fortsetzte) zugewiesen. Um den Effekt des KI-Werkzeugs nicht mit der Unterrichtsqualität zu vermischen, erhielten alle Lehrkräfte dieselbe 5- bis 6-stündige Fortbildung .
Die angestrebte Nutzungsintensität lag bei zwei von vier wöchentlichen Mathematikstunden, was über den gesamten Zeitraum 12 Stunden Guided Learning entsprach .
Die Intervention bestand nicht einfach darin, den Schülern einen Chatbot in die Hand zu drücken. Sie folgte einem strikten pädagogischen Rahmen, der die KI zu einem Partner im gemeinsamen Lernprozess machen sollte:
Zur Vorbereitung formulierten die Lehrer Lernziele, entwarfen initiale Eingabeaufforderungen (Prompts) und notierten vorbereitende Fragestellungen an der Tafel, um den Austausch zwischen Schülern und Gemini zu strukturieren .
Die Studie ergab statistisch signifikante Lernzuwächse. Wie groß der Effekt ausfiel, hing jedoch stark davon ab, wie intensiv das Werkzeug tatsächlich genutzt wurde und von welchem Niveau der Schüler startete.
| Kennzahl | Ergebnis |
|---|---|
| Intent-to-treat (ITT) | Im Durchschnitt verbesserten sich alle Schüler, die der KI-Gruppe zugewiesen waren – unabhängig von der tatsächlichen Nutzung – um +0,258 Standardabweichungen (SD) . Das entspricht dem Sprung eines Schülers vom 50. auf den 60. Perzentil . |
| Dosis-Wirkungs-Beziehung | Die 69 % der Schüler, die die volle angestrebte Nutzungsdauer von 12 oder mehr Stunden absolvierten, erzielten einen deutlich größeren Effekt von +0,380 SD. Jede zusätzliche Nutzungsstunde brachte einen Zugewinn von +0,016 SD . |
| Mathematisches Ausgangsniveau | Hier liegt der kritischste Punkt: Schüler mit stärkeren Vorkenntnissen profitierten signifikant mehr. Der Behandlungseffekt stieg um 0,195 SD für jede zusätzliche Einheit anfänglicher Mathematikkompetenz . |
| Subgruppenanalyse | Untersucht nach Lesefähigkeit, Geschlecht oder Alter der Schüler fanden sich keine signifikanten Unterschiede in der Wirkung der KI . |
Einer der aufschlussreichsten Teile der Studie war die Transkriptionsanalyse von über 113.000 Schüler-Gemini-Interaktionen. Sie zeigte eine KI, die nicht als Antwortmaschine, sondern als Tutor fungierte.
Die überwiegende Mehrheit der Gespräche – 91,4 % – konzentrierte sich auf mathematisches Verständnis . Geminis Verhalten wurde dabei maßgeblich durch die „Guided Learning“-Funktion gesteuert: In 76,4 % seiner Nachrichten stellte es unterstützende Rückfragen, die die Schüler zum Weiterdenken anregten, und lieferte nur in 2,1 % der Fälle eine direkte Lösung .
Die Erkenntnis, dass anfangs leistungsstärkere Schüler am meisten von der KI profitierten, alarmierte die Forscher. Ohne gezielte Strategien zur Förderung leistungsschwächerer Schüler birgt die Intervention das Risiko, bestehende Leistungsunterschiede zu vergrößern, anstatt sie zu verringern .
Qualitatives Feedback aus Fokusgruppen erweiterte die Ergebnisse um eine weitere Dimension. Lehrer berichteten von einer spürbar gestiegenen Beteiligung der Schüler und aktiverer Teilnahme am Unterricht . Viele begannen, Gemini für die Unterrichtsvorbereitung zu nutzen und entdeckten dabei neue Wege, komplexe Themen wie Brüche zu erklären .
Am bedeutsamsten war jedoch, dass Lehrer einen Wandel in ihrem professionellen Selbstverständnis beschrieben: Sie nahmen ihre Rolle nicht mehr als reine „Vortragende“, sondern zunehmend als „Lernbegleiter“ (Facilitators) wahr, die durch die Klasse gingen, um die Schülerteams zu unterstützen .
Doch nicht alle Rückmeldungen waren positiv. Einige Lehrer berichteten von Herausforderungen, darunter die Tatsache, dass Gemini gelegentlich themenfremde Inhalte einbrachte oder das Durcharbeiten des geplanten Lehrplans verlangsamte .
So vielversprechend die Ergebnisse sind – die Forscher benennen sehr klar mehrere Einschränkungen, die bei der Einordnung der Zahlen helfen:
Die Studie in Sierra Leone ist erst der Anfang. Sie ist der erste Schritt einer geplanten internationalen Reihe vorab registrierter Tests, mit denen Google DeepMind und Fab AI „Guided Learning“ in verschiedenen Bildungssystemen untersuchen wollen . Als klares Bekenntnis zu Transparenz und Skalierbarkeit veröffentlichten die Partner zeitgleich mit den Ergebnissen ihre Lehrerfortbildungsmaterialien und einen Baukasten für schnelle RCTs, der als Blaupause für andere Forscher und Bildungssysteme dienen soll .
An der Studie nahmen 1.763 Schüler der Klassenstufen JSS 1 und JSS 2 (entspricht den Jahrgangsstufen 7 und 8) im Alter von mindestens 13 Jahren teil, verteilt auf 48 Mathematik-Klassen . Innerhalb jeder Schule und Jahrgangsstufe wurden die Klassen zufällig entweder der Treatment-Gruppe (die mit Gemini Guided Learning lernte) oder der Kontrollgruppe (die den normalen Unterricht fortsetzte) zugewiesen. Um den Effekt des KI-Werkzeugs nicht mit der Unterrichtsqualität zu vermischen, erhielten alle Lehrkräfte dieselbe 5- bis 6-stündige Fortbildung .
Die angestrebte Nutzungsintensität lag bei zwei von vier wöchentlichen Mathematikstunden, was über den gesamten Zeitraum 12 Stunden Guided Learning entsprach .
Die Intervention bestand nicht einfach darin, den Schülern einen Chatbot in die Hand zu drücken. Sie folgte einem strikten pädagogischen Rahmen, der die KI zu einem Partner im gemeinsamen Lernprozess machen sollte:
Zur Vorbereitung formulierten die Lehrer Lernziele, entwarfen initiale Eingabeaufforderungen (Prompts) und notierten vorbereitende Fragestellungen an der Tafel, um den Austausch zwischen Schülern und Gemini zu strukturieren .
Die Studie ergab statistisch signifikante Lernzuwächse. Wie groß der Effekt ausfiel, hing jedoch stark davon ab, wie intensiv das Werkzeug tatsächlich genutzt wurde und von welchem Niveau der Schüler startete.
| Kennzahl | Ergebnis |
|---|---|
| Intent-to-treat (ITT) | Im Durchschnitt verbesserten sich alle Schüler, die der KI-Gruppe zugewiesen waren – unabhängig von der tatsächlichen Nutzung – um +0,258 Standardabweichungen (SD) . Das entspricht dem Sprung eines Schülers vom 50. auf den 60. Perzentil . |
| Dosis-Wirkungs-Beziehung | Die 69 % der Schüler, die die volle angestrebte Nutzungsdauer von 12 oder mehr Stunden absolvierten, erzielten einen deutlich größeren Effekt von +0,380 SD. Jede zusätzliche Nutzungsstunde brachte einen Zugewinn von +0,016 SD . |
| Mathematisches Ausgangsniveau | Hier liegt der kritischste Punkt: Schüler mit stärkeren Vorkenntnissen profitierten signifikant mehr. Der Behandlungseffekt stieg um 0,195 SD für jede zusätzliche Einheit anfänglicher Mathematikkompetenz . |
| Subgruppenanalyse | Untersucht nach Lesefähigkeit, Geschlecht oder Alter der Schüler fanden sich keine signifikanten Unterschiede in der Wirkung der KI . |
Einer der aufschlussreichsten Teile der Studie war die Transkriptionsanalyse von über 113.000 Schüler-Gemini-Interaktionen. Sie zeigte eine KI, die nicht als Antwortmaschine, sondern als Tutor fungierte.
Die überwiegende Mehrheit der Gespräche – 91,4 % – konzentrierte sich auf mathematisches Verständnis . Geminis Verhalten wurde dabei maßgeblich durch die „Guided Learning“-Funktion gesteuert: In 76,4 % seiner Nachrichten stellte es unterstützende Rückfragen, die die Schüler zum Weiterdenken anregten, und lieferte nur in 2,1 % der Fälle eine direkte Lösung .
Die Erkenntnis, dass anfangs leistungsstärkere Schüler am meisten von der KI profitierten, alarmierte die Forscher. Ohne gezielte Strategien zur Förderung leistungsschwächerer Schüler birgt die Intervention das Risiko, bestehende Leistungsunterschiede zu vergrößern, anstatt sie zu verringern .
Qualitatives Feedback aus Fokusgruppen erweiterte die Ergebnisse um eine weitere Dimension. Lehrer berichteten von einer spürbar gestiegenen Beteiligung der Schüler und aktiverer Teilnahme am Unterricht . Viele begannen, Gemini für die Unterrichtsvorbereitung zu nutzen und entdeckten dabei neue Wege, komplexe Themen wie Brüche zu erklären .
Am bedeutsamsten war jedoch, dass Lehrer einen Wandel in ihrem professionellen Selbstverständnis beschrieben: Sie nahmen ihre Rolle nicht mehr als reine „Vortragende“, sondern zunehmend als „Lernbegleiter“ (Facilitators) wahr, die durch die Klasse gingen, um die Schülerteams zu unterstützen .
Doch nicht alle Rückmeldungen waren positiv. Einige Lehrer berichteten von Herausforderungen, darunter die Tatsache, dass Gemini gelegentlich themenfremde Inhalte einbrachte oder das Durcharbeiten des geplanten Lehrplans verlangsamte .
So vielversprechend die Ergebnisse sind – die Forscher benennen sehr klar mehrere Einschränkungen, die bei der Einordnung der Zahlen helfen:
Die Studie in Sierra Leone ist erst der Anfang. Sie ist der erste Schritt einer geplanten internationalen Reihe vorab registrierter Tests, mit denen Google DeepMind und Fab AI „Guided Learning“ in verschiedenen Bildungssystemen untersuchen wollen . Als klares Bekenntnis zu Transparenz und Skalierbarkeit veröffentlichten die Partner zeitgleich mit den Ergebnissen ihre Lehrerfortbildungsmaterialien und einen Baukasten für schnelle RCTs, der als Blaupause für andere Forscher und Bildungssysteme dienen soll .