서울시교육청 채움AI 확대, 학교의 AI 채점 경험은 수능 도입 논의보다 앞서 쌓인다

서울 초·중학생 300명은 무엇을 체험했나

서울시교육청이 14일 서울경동초등학교와 성산중학교에서 '2026 생각을 쓰는 캠프'를 열었다. 초등학교 6학년과 중학교 3학년 학생 300명이 참여했다.

학생들은 지난달 기후변화 등을 주제로 사전 독서를 마쳤다. 캠프 당일에는 탐구 중심 수업 4차시와 서·논술형 평가 및 피드백 활동 2차시를 소화했다.

평가에는 교육청이 개발한 AI 서·논술형 평가지원시스템 채움AI가 쓰였다. 학생 답안을 AI가 채점하고 맞춤형 피드백을 주며, 교사는 이 시스템으로 문항도 출제한다.

채움AI는 이미 몇 개 학교에 깔렸나

캠프만 보면 하루짜리 체험처럼 보인다. 그러나 채움AI를 쓰는 실천학교는 지난해 66개교에서 올해 120개교로 늘었고, 2027학년도에는 일반 학교로 전면 확대하는 것이 목표다.

서울 중·고교에는 서·논술형을 학기 성적의 30% 이상, 수행평가를 40% 이상 반영하도록 권장하고 있다. 학교 안에서 AI 채점 경험이 쌓이는 속도가 수능 도입 논의보다 앞서 가는 셈이다.

정확도 0.8 이상은 어떤 조건에서 나온 숫자인가

채움AI는 약 3만 건의 데이터에서 인간 채점자와의 일치도 QWK 0.8 이상을 냈다고 알려져 있다. 일치도를 재는 지표인데, 1에 가까울수록 사람 채점과 비슷하다는 뜻이다.

문제는 단서다. 이 수치는 교사가 문항과 채점 기준표를 정교하게 설계한 조건에서 나왔다. AI의 실력이라기보다 사람이 AI가 맞히기 쉬운 시험을 짜 준 결과에 가깝다.

학교 단위 시험에서는 교사가 기준표를 다듬을 수 있다. 수십만 명이 같은 문항에 답하는 수능에서도 같은 조건이 재현될지는 아직 어디서도 검증되지 않았다.

백지 답안에 점수를 준 시범운영은 무엇을 말하나

경기도 시범운영에서는 백지 답안에 점수를 준 사례가 나왔다. 짧은 답보다 긴 답을 높게 평가한 사례도 보고됐다. 채점 부담이 줄었다고 답한 교사는 29.4%에 그쳤다.

경기도 시범 시스템이 서울의 채움AI와 같은 것인지는 확인되지 않았다. 그래도 일치도가 높은 시스템과 백지에 점수를 주는 시스템이 한 제도권 안에서 함께 굴러간다는 사실은 남는다.

맥락 없이 키워드만 늘어놓아 만점을 받은 AI 채점 사례도 해외에서 보고돼 있다. 정확도 평균만으로는 이런 빈틈이 보이지 않는다.

영국은 왜 AI 채점 연구를 멈췄나

영국 시험 감독기관 Ofqual은 2020년 1월 학생 에세이로 시험 채점에 AI를 쓸 수 있는지 연구하고 있었다. 그해 A-level 등급 산정 알고리즘 사태가 터지면서 연구는 보류됐다.

그 모델은 2019년 데이터로 시험했을 때 평균 예측 정확도가 약 60%였고, 결과 발표 뒤 약 40%가 교사 평가보다 낮은 등급을 받았다. 사립학교에 유리하다는 논란도 따랐다.

해당 알고리즘은 AI가 아니라 통계 기법이었다. 그런데도 알고리즘이 학생 성적을 정한다는 불신이 AI 채점 연구까지 멈춰 세웠다. 한국에서 공정성이 가장 큰 쟁점인 이유가 여기 있다.

교사는 줄고 채점은 늘면 비용은 누가 지나

서·논술형 평가가 확대되면 채점과 피드백 시간은 교사가 떠안는다. 그런데 2027학년도 공립 중등교사 신규채용은 4,387명으로 전년 7,147명보다 38.6% 줄었다.

2026학년도 수능 응시자는 554,174명이었다. 복수 채점에는 수천 명의 인력이 필요하다는 칼럼 필자의 추정이 있어, 사람 채점만으로는 규모 문제가 생긴다는 점이 AI 채점 논의의 배경이다.

채움AI의 개발·운영 비용은 확인되지 않았다. 다만 AI 시스템과 검증 인력을 대는 몫이 교육청과 국가 예산으로 돌아간다는 구조는 분명하다.

수능 서·논술형은 언제쯤 현실이 되나

국가교육위원회는 8월 업무보고에서 수능 서·논술형 도입과 절대평가 전환 검토를 밝혔다. 국민참여위원 180명의 숙의에서는 도입 필요 55.5%, 불필요 41.7%였고, 도입 시기는 2037~2038학년도가 39.4%로 가장 많았다.

우려 요인 1위는 평가의 공정성으로 48.3%였다. 국교위는 대입 개편안이 담긴 국가교육발전계획 시안 발표를 연내로 미룬 상태다.

차정인 국가교육위원장은 지난달 국정감사에서 수능에 앞서 내신부터 확대하는 방안을 검토 중이라고 밝혔다. 수능은 멀리 있어도 내신 서·논술형은 학교 현장에서 먼저 바뀐다는 얘기다.