목표 사용량은 8주 동안 주당 4회 수학 수업 중 2회에 AI 도구를 사용하여, 총 12시간의 가이디드 러닝을 실시하는 것이었습니다 .
이 실험은 단순히 학생들에게 챗봇을 쥐여준 게 아니었습니다. AI가 협력적 학습 과정의 파트너가 되도록 설계된 엄격한 교육적 틀을 따랐습니다.
교사들은 사전 준비로 학습 목표를 세우고, 시작 프롬프트를 작성했으며, 학생들이 제미나이와 상호작용할 발판이 되어줄 질문 틀을 칠판에 적어 두었습니다 .
실험은 통계적으로 유의미한 향상을 이끌어냈지만, 그 효과의 크기는 도구 사용 시간과 학생의 출발점에 따라 크게 달랐습니다.
| 지표 | 결과 |
|---|---|
| ITT(의도-대-치료 분석) | 가이디드 러닝을 사용한 학생들은 평균적으로 +0.258 표준편차(SD) 향상을 보였습니다. 이는 학생의 성적을 50 백분위에서 60 백분위로 끌어올리는 것과 같습니다 . |
| 사용량-반응 관계 | 목표 사용량인 12시간 이상을 완료한 69%의 학생들은 +0.380 SD라는 더 큰 효과를 보였습니다. 사용 시간이 한 시간 늘어날 때마다 +0.016 SD의 추가 점수 향상이 있었습니다 . |
| 기초 수학 능력 | 가장 주목할 점은, 수학 기초가 탄탄한 학생들이 훨씬 더 큰 혜택을 봤다는 것입니다. 기초 수학 능력이 1 표준편차 높을 때마다 AI의 학습 효과가 0.195 SD씩 증가했습니다 . |
| 하위 그룹 분석 | 읽기 능력, 성별, 나이에 따른 차이는 유의미하게 나타나지 않았습니다 . |
이번 연구에서 가장 흥미로운 부분 중 하나는 11만 3천 건이 넘는 학생-제미나이 상호작용을 분석한 결과입니다. 이 분석은 AI가 '정답 기계'가 아닌 하나의 '튜터' 역할을 하고 있었음을 보여줍니다.
대부분의 대화, 즉 91.4% 는 수학적 이해에 집중되어 있었습니다 . 제미나이 자체 행동도 가이디드 러닝 기능에 의해 조정되었는데, 응답의 76.4%에서 발판 질문을 던져 스스로 생각하게 했고, 곧바로 정답을 알려준 경우는 2.1% 에 불과했습니다 .
기초 성적이 좋은 학생들에게 효과가 집중된다는 발견은 연구진에게 큰 우려를 낳았습니다. 하위권 학생들을 위한 의도적인 전략 없이는, 이 기술이 기존의 교육 격차를 좁히기는커녕 오히려 더 확대할 수 있다는 것입니다 .
교사 대상 그룹 인터뷰의 정성적 피드백은 결과에 또 다른 맥락을 더해줍니다. 교사들은 학생들의 참여도가 눈에 띄게 높아지고 수업 토론이 활발해졌다고 보고했습니다 . 많은 교사가 제미나이를 수업 준비에 활용하며, 분수처럼 설명하기 까다로운 개념을 가르칠 새로운 방법을 찾기도 했습니다 .
무엇보다 교사들은 자신의 역할이 '강의자'에서 '퍼실리테이터(촉진자)'로 바뀌고 있음을 느꼈습니다. 교실을 돌아다니며 짝 활동을 하는 학생들을 지원하는 역할로 정체성이 변화한 것입니다 .
긍정적인 피드백만 있었던 것은 아닙니다. 일부 교사는 AI가 뜬금없는 주제를 꺼내거나, 계획된 진도를 나가는 속도를 늦추는 문제를 겪기도 했습니다 .
결과가 긍정적이긴 하지만, 연구진은 해석에 주의를 기울여야 할 몇 가지 한계를 명확히 짚었습니다.
시에라리온 실험은 시작에 불과합니다. 이는 구글 딥마인드와 팹 AI가 여러 교육 시스템에서 가이디드 러닝을 연구하기 위해 계획한 국제적 시리즈의 첫 번째 사전 등록 시험입니다 . 투명성과 확장성을 위한 움직임으로, 파트너사들은 이번 결과와 함께 교사 교육 자료와 신속 RCT 플레이북을 공개하여 다른 연구자와 교육 시스템이 활용할 수 있는 청사진을 제공했습니다 .
목표 사용량은 8주 동안 주당 4회 수학 수업 중 2회에 AI 도구를 사용하여, 총 12시간의 가이디드 러닝을 실시하는 것이었습니다 .
이 실험은 단순히 학생들에게 챗봇을 쥐여준 게 아니었습니다. AI가 협력적 학습 과정의 파트너가 되도록 설계된 엄격한 교육적 틀을 따랐습니다.
교사들은 사전 준비로 학습 목표를 세우고, 시작 프롬프트를 작성했으며, 학생들이 제미나이와 상호작용할 발판이 되어줄 질문 틀을 칠판에 적어 두었습니다 .
실험은 통계적으로 유의미한 향상을 이끌어냈지만, 그 효과의 크기는 도구 사용 시간과 학생의 출발점에 따라 크게 달랐습니다.
| 지표 | 결과 |
|---|---|
| ITT(의도-대-치료 분석) | 가이디드 러닝을 사용한 학생들은 평균적으로 +0.258 표준편차(SD) 향상을 보였습니다. 이는 학생의 성적을 50 백분위에서 60 백분위로 끌어올리는 것과 같습니다 . |
| 사용량-반응 관계 | 목표 사용량인 12시간 이상을 완료한 69%의 학생들은 +0.380 SD라는 더 큰 효과를 보였습니다. 사용 시간이 한 시간 늘어날 때마다 +0.016 SD의 추가 점수 향상이 있었습니다 . |
| 기초 수학 능력 | 가장 주목할 점은, 수학 기초가 탄탄한 학생들이 훨씬 더 큰 혜택을 봤다는 것입니다. 기초 수학 능력이 1 표준편차 높을 때마다 AI의 학습 효과가 0.195 SD씩 증가했습니다 . |
| 하위 그룹 분석 | 읽기 능력, 성별, 나이에 따른 차이는 유의미하게 나타나지 않았습니다 . |
이번 연구에서 가장 흥미로운 부분 중 하나는 11만 3천 건이 넘는 학생-제미나이 상호작용을 분석한 결과입니다. 이 분석은 AI가 '정답 기계'가 아닌 하나의 '튜터' 역할을 하고 있었음을 보여줍니다.
대부분의 대화, 즉 91.4% 는 수학적 이해에 집중되어 있었습니다 . 제미나이 자체 행동도 가이디드 러닝 기능에 의해 조정되었는데, 응답의 76.4%에서 발판 질문을 던져 스스로 생각하게 했고, 곧바로 정답을 알려준 경우는 2.1% 에 불과했습니다 .
기초 성적이 좋은 학생들에게 효과가 집중된다는 발견은 연구진에게 큰 우려를 낳았습니다. 하위권 학생들을 위한 의도적인 전략 없이는, 이 기술이 기존의 교육 격차를 좁히기는커녕 오히려 더 확대할 수 있다는 것입니다 .
교사 대상 그룹 인터뷰의 정성적 피드백은 결과에 또 다른 맥락을 더해줍니다. 교사들은 학생들의 참여도가 눈에 띄게 높아지고 수업 토론이 활발해졌다고 보고했습니다 . 많은 교사가 제미나이를 수업 준비에 활용하며, 분수처럼 설명하기 까다로운 개념을 가르칠 새로운 방법을 찾기도 했습니다 .
무엇보다 교사들은 자신의 역할이 '강의자'에서 '퍼실리테이터(촉진자)'로 바뀌고 있음을 느꼈습니다. 교실을 돌아다니며 짝 활동을 하는 학생들을 지원하는 역할로 정체성이 변화한 것입니다 .
긍정적인 피드백만 있었던 것은 아닙니다. 일부 교사는 AI가 뜬금없는 주제를 꺼내거나, 계획된 진도를 나가는 속도를 늦추는 문제를 겪기도 했습니다 .
결과가 긍정적이긴 하지만, 연구진은 해석에 주의를 기울여야 할 몇 가지 한계를 명확히 짚었습니다.
시에라리온 실험은 시작에 불과합니다. 이는 구글 딥마인드와 팹 AI가 여러 교육 시스템에서 가이디드 러닝을 연구하기 위해 계획한 국제적 시리즈의 첫 번째 사전 등록 시험입니다 . 투명성과 확장성을 위한 움직임으로, 파트너사들은 이번 결과와 함께 교사 교육 자료와 신속 RCT 플레이북을 공개하여 다른 연구자와 교육 시스템이 활용할 수 있는 청사진을 제공했습니다 .