היעד היה שהתלמידים ישתמשו בכלי ה-AI במהלך שתיים מתוך ארבע תקופות המתמטיקה השבועיות שלהם, מה שמצטבר ל-12 שעות של למידה מודרכת במהלך שמונת השבועות .
ההתערבות לא הייתה פשוט לתת לתלמידים צ'אטבוט. היא התנהלה לפי מסגרת פדגוגית קפדנית שנועדה להפוך את ה-AI לשותף בתהליך למידה שיתופי:
כהכנה, המורים הגדירו את מטרות השיעור, כתבו הנחיות פתיחה (prompts) וניסחו שאלות מנחות על הלוח כדי לבנות את הפיגומים (scaffolding) לאופן שבו התלמידים יתקשרו עם Gemini .
הניסוי הניב שיפורים מובהקים סטטיסטית, אך גודל ההשפעה היה תלוי מאוד במידת השימוש בכלי ובנקודת ההתחלה של התלמיד.
אחד החלקים המאירים ביותר של המחקר היה ניתוח תמלילים של למעלה מ-113,000 אינטראקציות בין תלמידים ל-Gemini. הוא צייר תמונה של AI שמתנהג לא כמכונת תשובות, אלא כמורה פרטי.
הרוב המכריע של השיחות - 91.4% - התמקדו בהבנה מתמטית . התנהגותו של Gemini עצמו כוונה בקפידה על ידי תכונת הלמידה המודרכת: הוא הציג שאלות פיגומים ב-76.4% מההודעות שלו, ודחף את התלמידים לחשוב בעצמם, וסיפק פתרון ישיר רק ב-2.1% מהמקרים
.
הממצא שתלמידים עם ביצועים התחלתיים גבוהים יותר הרוויחו הכי הרבה גרם לחוקרים להניף דגל אדום. ללא אסטרטגיות מכוונות לתמוך בתלמידים עם ביצועים נמוכים יותר, ההתערבות מסתכנת בהגדלת פערים קיימים במקום בצמצומם .
משוב איכותני מקבוצות מיקוד של המורים הוסיף מימד נוסף לתוצאות. מורים דיווחו על עלייה ניכרת במעורבות התלמידים והשתתפות פעילה יותר בכיתה . רבים החלו להשתמש ב-Gemini להכנת שיעורים, וגילו דרכים חדשות להסביר נושאים מורכבים כמו שברים
.
באופן מכריע, מורים תיארו שינוי בזהות המקצועית שלהם, והרגישו שתפקידם מתפתח מ-"מרצה" ל-"מנחה" (פסיליטטור), שנע בכיתה כדי לתמוך בזוגות התלמידים .
לא כל המשוב היה חיובי. חלק מהמורים דיווחו על אתגרים, כולל ש-Gemini הציג מדי פעם תוכן לא רלוונטי או האט את קצב התקדמות הכיתה בחומר המתוכנן .
בעוד שהתוצאות חיוביות, החוקרים מקפידים לתאר מספר מגבלות שיש להביא בחשבון:
הניסוי בסיירה לאון הוא רק ההתחלה. הוא הראשון בסדרה בינלאומית מתוכננת של ניסויים אקראיים מבוקרים שנרשמו מראש על ידי Google DeepMind ו-Fab AI, לחקר למידה מודרכת במערכות חינוך שונות . בצעד לעבר שקיפות וסקלביליות, השותפות פרסמו לציבור את חומרי הכשרת המורים שלהן ו-ספר משחקים מהיר לעריכת RCT (ניסוי אקראי מבוקר) יחד עם התוצאות, ובכך סיפקו מתווה לחוקרים ומערכות חינוך אחרות
.