교육 평가 및 정책 분석(Evaluation and Policy Analysis) 저널에 실린 새로운 연구에 따르면 자동화된 피드백 도구는 교사가 학생의 기여를 인정하고, 반복하고, 기반을 구축하는 이해(uptake)라고 알려진 관행의 사용을 개선한 것으로 나타났다.

연구 결과는 또한 학생들 사이에서 도구가 과제 완료율과 과정에 대한 전반적인 만족도를 향상시켰다는 증거를 제공했다.

연습을 개선하려는 강사를 위해 이 도구는 기존의 교실 관찰을 저렴한 비용으로 보완한다. 즉, 교육 코치나 다른 전문가가 교사의 행동을 관찰하고 일련의 권장 사항을 컴파일할 필요가 없다.

"우리는 과거 연구를 통해 시기 적절하고 구체적인 피드백이 교육을 개선할 수 있다는 것을 알고 있지만 누군가가 교사의 교실에 앉아서 매번 피드백을 제공하는 것은 확장 가능하거나 실현 가능하지 않다."고 스탠포드 교육대학원의 조교수인 주 저자인 Dora Demszky는 말한다.

"우리는 자동화된 도구가 확장 가능하고 비용 효율적인 방식으로 교사의 전문성 개발을 지원할 수 있는지 확인하고 싶었고 이것이 이를 보여주는 첫 번째 연구이다."

첫날 교사 피드백

개인화된 피드백을 제공하는 기존 방법에는 상당한 리소스가 필요하다는 것을 인식하고 Demszky와 동료들은 저렴한 대안을 만들기 시작했다. 그들은 컴퓨터가 인간의 언어를 읽고 해석하는 데 도움이 되는 AI의 한 분야인 자연어 처리(NLP)의 최근 발전을 활용하여 수업 세션의 기록을 분석하여 대화 패턴을 식별하고 일관되고 자동화된 피드백을 제공할 수 있는 도구를 개발했다.

이 연구에서 그들은 교사가 학생 기여도를 파악하는 데 중점을 두었다. Demszky는 "활용은 학생들이 자신의 의견을 경청하고 있다고 느끼게 하는 핵심이며, 실천으로서 더 큰 학생 성취도와 관련이 있다."고 말한다. "하지만 교사가 개선하기 어렵다고 널리 알려져 있다."

연구원들은 M-Powering Teachers(M은 머신러닝에서와 같이 기계를 나타냄)라는 도구를 훈련하여 교사의 반응이 학생의 말에 특정하는 정도를 감지했다. 학생의 아이디어를 바탕으로 제작되었다. 이 도구는 또한 학생의 상당한 반응을 유도하는 질문 제기 및 교사/학생 대화 시간 비율과 같은 질문 관행에 대한 교사 피드백을 제공할 수 있다.

연구원들은 현재 3년차인 무료 온라인 과정인 스탠포드의 Code in Place의 2021년 봄 세션에서 이 도구를 사용했다. 스팬포드의 컴퓨터 과학 입문 과정을 기반으로 하는 5주 프로그램에서 수백 명의 자원 봉사 강사가 교사와 학생 비율이 1:10인 소규모 섹션에서 전 세계 학습자에게 기본 프로그래밍을 가르친다.

Code in Place 강사는 최근에 직접 과정을 이수한 학부생부터 업계에서 일하는 전문 컴퓨터 프로그래머에 이르기까지 다양한 배경을 가지고 있다. 코딩의 세계에 초보자를 소개하는 데 열성적인 많은 강사가 사전 교육 경험이 거의 또는 전혀 없는 상태에서 기회에 접근한다.

자원 봉사 강사는 기본 교육, 명확한 수업 목표 및 세션 개요를 받아 자신의 역할을 준비했으며 많은 사람들이 세션에 대한 자동 입력을 받을 수 있는 기회를 환영했다고 공동 저자이자 스탠포드의 컴퓨터 과학 교육 조교수이자 Code in Place의 공동 설립자인 Chris Piech는 말한다.

"우리는 학생들을 위한 시기적절한 피드백의 중요성에 대해 교육에서 매우 중요하게 생각하지만 교사는 언제 그런 종류의 피드백을 받을까?" 그는 말한다. “어쩌면 교장이 들어와서 당신의 반에 앉을지도 모른다. 그것은 끔찍해 보인다. 교장이 아닌 피드백에 참여하는 것이 훨씬 더 편하고, 수년간의 연습후에 뿐만 아니라 직장에 온 첫날부터 피드백을 얻을 수 있다.”

강사는 각 수업 후 며칠 이내에 앱을 통해 도구에서 피드백을 받았기 때문에 다음 세션 전에 반영할 수 있었다. 다채롭고 읽기 쉬운 형식으로 제시된 피드백은 긍정적이고 판단하지 않는 언어를 사용했으며 지원적인 대화 패턴을 설명하기 위해 학급의 특정 대화 예를 포함했다.

연구자들은 평균적으로 피드백을 검토한 강사가 학습 및 질문 사용을 증가시켰으며 가장 중요한 변화는 코스의 세 번째 주에 발생했음을 발견했다. 수업에 대한 학생의 학습과 만족도도 대조군에 비해 강사가 피드백을 받은 학생들 사이에서 증가했다. Code in Place는 과정 종료 시험을 관리하지 않기 때문에 연구자들은 선택 과제 및 과정 설문 조사의 완료율을 사용하여 학생 학습 및 만족도를 측정했다.

감시가 아닌 지원

연구 공동 저자 중 한 명인 Jing Liu와 Demszky의 후속 연구는 온라인 멘토링 프로그램에서 고등학생과 일대일로 작업한 강사들 사이에서 도구 사용을 연구했다.

7월 2023 Learning at Scale 컨퍼런스에서 연구 결과를 발표할 연구원들은 평균적으로 이 도구는 멘토의 학생 기여도를 10% 향상시켰고, 대화 시간을 5% 줄였으며, 프로그램에 대한 학생들의 경험과 학업 미래에 대한 상대적 낙관성을 향상시켰다.

Demszky는 현재 대면 K-12 학교 교실을 위한 도구 사용에 대한 연구를 수행하고 있으며 가상 환경에서 얻을 수 있었던 고품질 전사를 생성하는 문제에 주목한다.

"교실의 오디오 품질이 좋지 않고 목소리를 분리하는 것이 쉽지 않다."고 그녀는 말한다. "자연어 처리는 일단 성적표가 있으면 많은 일을 할 수 있지만 좋은 성적표가 필요하다."

그녀는 이 도구가 감시나 평가 목적으로 설계된 것이 아니라 교사가 자신의 관행을 반성할 수 있는 기회를 제공함으로써 교사의 전문성 개발을 지원하기 위해 고안되었다고 강조한다. 그녀는 이를 피트니스 트래커에 비유하여 사용자 자신의 이익을 위한 정보를 제공한다.

또한 이 도구는 사람의 피드백을 대체하기 위해 설계된 것이 아니라 다른 전문 개발 리소스를 보완하기 위해 설계되었다고 그녀는 말한다.

스탠포드의 언어학 및 컴퓨터 과학 교수인 Dan Jurafsky와 하버드 교육 대학원의 Heather C. Hill 교수가 이 연구의 공동 저자이다.

출처: 스탠포드 대학