Studien omfattet 1 763 elever i 7. og 8. trinn (13 år og eldre) fordelt på 48 matteklasserom . Innenfor hver skole og hvert trinn ble klasserommene tilfeldig fordelt til enten en intervensjonsgruppe, som brukte Gemini Guided Learning, eller en kontrollgruppe, som fortsatte med vanlig undervisning. For å unngå å forveksle effekten av KI-verktøyet med lærerkvalitet, fikk alle lærere den samme opplæringen på 5–6 timer .
Måldosen var at elevene skulle bruke KI-verktøyet i to av sine fire ukentlige matteperioder, noe som tilsvarte 12 timer med Guided Learning i løpet av de åtte ukene .
Intervensjonen var ikke bare å gi elevene en chatbot. Den fulgte et strengt pedagogisk rammeverk utformet for å gjøre KI-en til en partner i en samarbeidsbasert læringsprosess:
Som forberedelse definerte lærerne læringsmål, skrev startinstruksjoner (prompter) og utformet spørsmålsstammer på tavlen for å bygge stillas rundt hvordan elevene samhandlet med Gemini .
Studien ga statistisk signifikante gevinster, men størrelsen på effekten var sterkt avhengig av hvor mye verktøyet ble brukt og elevens utgangspunkt.
| Målemetode | Funn |
|---|---|
| Intention-to-treat (ITT) | I gjennomsnitt opplevde elever tildelt Guided Learning en forbedring på +0,258 standardavvik (SA). Dette tilsvarer å flytte en elev fra 50. til 60. persentil . |
| Dose-respons-forhold | De 69 % av elevene som fullførte hele måldosen på 12 timer eller mer, oppnådde en mye større effekt på +0,380 SA. Hver ekstra time med bruk var forbundet med en økning på +0,016 SA . |
| Utgangspunkt i matte | Det mest kritiske funnet: Elever med bedre matteferdigheter i utgangspunktet fikk signifikant større utbytte. Intervensjonseffekten økte med 0,195 SA for hvert ekstra standardavvik i elevens matteferdigheter ved oppstart . |
| Undergruppeanalyse | Det var ingen signifikante forskjeller i KI-ens effekt når man brøt ned etter elevenes leseferdigheter, kjønn eller alder ved oppstart . |
En av de mest avslørende delene av studien var transkripsjonsanalysen av over 113 000 interaksjoner mellom elever og Gemini. Den tegnet et bilde av at KI-en fungerte som en veileder, snarere enn en fasitmaskin.
De aller fleste samtalene – 91,4 % – fokuserte på matematisk forståelse . Geminis egen atferd ble nøye styrt av Guided Learning-funksjonen: Den stilte oppfølgingsspørsmål i 76,4 % av meldingene sine, noe som presset elevene til å tenke selv, og ga en direkte løsning i kun 2,1 % av tilfellene .
Funnet om at de i utgangspunktet sterkeste elevene fikk mest utbytte, fikk forskerne til å flagge en betydelig bekymring. Uten bevisste strategier for å støtte de svakere elevene, risikerer intervensjonen å utvide eksisterende ferdighetsforskjeller snarere enn å tette dem .
Kvalitativ tilbakemelding fra lærerfokusgrupper ga en ny dimensjon til resultatene. Lærerne rapporterte om en merkbar økning i elevengasjement og mer aktiv klasseromsdeltakelse . Mange begynte å bruke Gemini til forberedelse av undervisning, og oppdaget nye måter å forklare komplekse emner som brøk på .
Avgjørende var det at lærerne beskrev et skifte i sin egen profesjonelle identitet, de følte at rollen deres utviklet seg fra «foreleser» til «fasilitator», bevegende rundt i klasserommet for å støtte elevparene .
Ikke all tilbakemelding var positiv. Noen lærere rapporterte om utfordringer, blant annet at Gemini tidvis introduserte stoff utenfor tema eller bremset klassens fremdrift gjennom den planlagte læreplanen .
Selv om resultatene er positive, er forskerne nøye med å skissere flere begrensninger som bør danne bakteppet for funnene:
Studien i Sierra Leone er bare begynnelsen. Det er den første i en planlagt internasjonal serie med forhåndsregistrerte studier av Google DeepMind og Fab AI for å undersøke Guided Learning på tvers av ulike utdanningssystemer . Som et grep mot åpenhet og skalerbarhet offentliggjorde partnerne sitt opplæringsmateriell for lærere og en «lyn-RCT-spillebok» sammen med resultatene, og ga dermed en blåkopi til andre forskere og skolesystemer .
Studien omfattet 1 763 elever i 7. og 8. trinn (13 år og eldre) fordelt på 48 matteklasserom . Innenfor hver skole og hvert trinn ble klasserommene tilfeldig fordelt til enten en intervensjonsgruppe, som brukte Gemini Guided Learning, eller en kontrollgruppe, som fortsatte med vanlig undervisning. For å unngå å forveksle effekten av KI-verktøyet med lærerkvalitet, fikk alle lærere den samme opplæringen på 5–6 timer .
Måldosen var at elevene skulle bruke KI-verktøyet i to av sine fire ukentlige matteperioder, noe som tilsvarte 12 timer med Guided Learning i løpet av de åtte ukene .
Intervensjonen var ikke bare å gi elevene en chatbot. Den fulgte et strengt pedagogisk rammeverk utformet for å gjøre KI-en til en partner i en samarbeidsbasert læringsprosess:
Som forberedelse definerte lærerne læringsmål, skrev startinstruksjoner (prompter) og utformet spørsmålsstammer på tavlen for å bygge stillas rundt hvordan elevene samhandlet med Gemini .
Studien ga statistisk signifikante gevinster, men størrelsen på effekten var sterkt avhengig av hvor mye verktøyet ble brukt og elevens utgangspunkt.
| Målemetode | Funn |
|---|---|
| Intention-to-treat (ITT) | I gjennomsnitt opplevde elever tildelt Guided Learning en forbedring på +0,258 standardavvik (SA). Dette tilsvarer å flytte en elev fra 50. til 60. persentil . |
| Dose-respons-forhold | De 69 % av elevene som fullførte hele måldosen på 12 timer eller mer, oppnådde en mye større effekt på +0,380 SA. Hver ekstra time med bruk var forbundet med en økning på +0,016 SA . |
| Utgangspunkt i matte | Det mest kritiske funnet: Elever med bedre matteferdigheter i utgangspunktet fikk signifikant større utbytte. Intervensjonseffekten økte med 0,195 SA for hvert ekstra standardavvik i elevens matteferdigheter ved oppstart . |
| Undergruppeanalyse | Det var ingen signifikante forskjeller i KI-ens effekt når man brøt ned etter elevenes leseferdigheter, kjønn eller alder ved oppstart . |
En av de mest avslørende delene av studien var transkripsjonsanalysen av over 113 000 interaksjoner mellom elever og Gemini. Den tegnet et bilde av at KI-en fungerte som en veileder, snarere enn en fasitmaskin.
De aller fleste samtalene – 91,4 % – fokuserte på matematisk forståelse . Geminis egen atferd ble nøye styrt av Guided Learning-funksjonen: Den stilte oppfølgingsspørsmål i 76,4 % av meldingene sine, noe som presset elevene til å tenke selv, og ga en direkte løsning i kun 2,1 % av tilfellene .
Funnet om at de i utgangspunktet sterkeste elevene fikk mest utbytte, fikk forskerne til å flagge en betydelig bekymring. Uten bevisste strategier for å støtte de svakere elevene, risikerer intervensjonen å utvide eksisterende ferdighetsforskjeller snarere enn å tette dem .
Kvalitativ tilbakemelding fra lærerfokusgrupper ga en ny dimensjon til resultatene. Lærerne rapporterte om en merkbar økning i elevengasjement og mer aktiv klasseromsdeltakelse . Mange begynte å bruke Gemini til forberedelse av undervisning, og oppdaget nye måter å forklare komplekse emner som brøk på .
Avgjørende var det at lærerne beskrev et skifte i sin egen profesjonelle identitet, de følte at rollen deres utviklet seg fra «foreleser» til «fasilitator», bevegende rundt i klasserommet for å støtte elevparene .
Ikke all tilbakemelding var positiv. Noen lærere rapporterte om utfordringer, blant annet at Gemini tidvis introduserte stoff utenfor tema eller bremset klassens fremdrift gjennom den planlagte læreplanen .
Selv om resultatene er positive, er forskerne nøye med å skissere flere begrensninger som bør danne bakteppet for funnene:
Studien i Sierra Leone er bare begynnelsen. Det er den første i en planlagt internasjonal serie med forhåndsregistrerte studier av Google DeepMind og Fab AI for å undersøke Guided Learning på tvers av ulike utdanningssystemer . Som et grep mot åpenhet og skalerbarhet offentliggjorde partnerne sitt opplæringsmateriell for lærere og en «lyn-RCT-spillebok» sammen med resultatene, og ga dermed en blåkopi til andre forskere og skolesystemer .