AI가 모든 과제를 해내버린 후, 내가 수업을 바꾼 방법
카네기멜론 대학의 Christian Kästner 교수는 ChatGPT 출시 전부터 GPT-3가 자신의 수업 퀴즈를 통과하는 것을 보고, 5년 후 AI 에이전트가 모든 과제를 수행할 수 있게 되자 평가 방식을 대폭 재설계했습니다. 학습 목표는 그대로 유지하되, 집에서 수행하는 과제로 이해도를 평가하는 것을 포기하고 시험, 조교와의 상호작용, 비디오 데모 중심으로 전환했습니다. 특히 AI 사용을 금지하는 대신 허용하고, 재제출에 10% 페널티를 부과하는 등 증거 기반 교육법 모범 사례를 포기하는 현실적 트레이드오프를 소개합니다.
AI가 내 숙제 과제를 전부 해낼 수 있게 된 후, 내가 수업 방식을 바꾼 방법 Christian Kästner, 2026년 9월 23일
ChatGPT가 출시되기 한참 전인 2021년경, Vincent Hellendoorn이 내 수업의 독해 퀴즈(reading quiz)에 GPT-3를 사용해보라고 제안했다. GPT-3는 지정된 논문을 실제로 읽지 않고도 채점 기준(rubric)을 통과하는 그럴듯한 답변을 만들어냈다. 당시 나는 아무것도 바꾸지 않았다. 5년 후, AI 에이전트는 내 과제 전부를 해낼 수 있게 되었고, 학생들이 배워야 할 내용은 거의 바뀌지 않았음에도 나는 그 수업의 평가 방식 대부분을 재설계했다. 전략은 언제나 같다. 집에서 하는 것으로 이해도를 테스트하는 것을 그만두고, 대신 조교(TA)와의 상호작용, 시험, 비디오 데모에 집중한다. 이러한 변화 중 일부는 증거 기반의 교육 모범 사례에 어긋나지만, 그럼에도 나는 그렇게 했다.
최근 몇 년간 나는 주로 '프로덕션 머신러닝(Machine Learning in Production)'이라는 수업을 가르쳤다. 이 수업은 ML 모델을 중심으로 프로덕션급 소프트웨어를 구축하는 것을 다루는 상위 과목으로 MLOps에 중점을 두고 있으며, 보통 100~170명의 학생이 수강한다.
요즘 다른 교육자들과 대화할 때 흔히 나오는 질문은 생성형 AI와 코딩 에이전트 시대에 우리가 어떻게 교육을 바꿨는가이다. 그래서 우리가 한 일을 개략적으로 설명하려 한다.
우리는 AI 혁신과 도구의 변화에 따라 다루는 주제는 조정했지만, 전반적인 학습 목표는 거의 건드리지 않았다. 나는 이것이 입문 과목이 아니라는 점, 그리고 학습 목표가 코드 작성이나 특정 도구 사용이 아니라는 점이 다행이라고 생각한다. 학습 목표는 엔지니어링 트레이드오프, 리스크의 예측과 완화, 팀워크에 관한 것이다. 일부는 모델로 시뮬레이션하거나 위임할 수 있다 하더라도, 나는 이러한 기술이 여전히 익힐 가치가 있다고 생각한다. (입문 과목이나 전통적인 소프트웨어 엔지니어링 과목을 수정한다면 학습 목표가 훨씬 크게 바뀔 것이다.)
어쩌면 중요할 수도 있는 점: 우리는 학생들에게 필기·구술 시험을 제외한 모든 상황에서 어떤 형태로든 출처 표기 없이 AI를 사용할 수 있는 권한을 부여한다. 우리는 오히려 많은 곳에서 AI 도구 사용을 권장한다. 원한다 해도 AI 사용을 단속하는 것은 실현 가능하지 않다고 생각하고, 더 중요하게는 학생들이 어차피 이 기술의 책임 있는 사용법을 배워야 한다고 생각하기 때문이다.
AI가 증거 기반 모범 사례를 포기하게 만들고 있다
실제로 우리가 하는 일보다 이 점이 더 중요하기 때문에 먼저 짚고 싶다. 안타깝게도 AI는 여러 증거 기반 교육 관행을 실질적으로 무너뜨리고 있다 (예: 'How Learning Works', 'The ABCs of How We Learn' 참고).
예를 들어, 연구 증거는 소수의 고부담 평가(시험)보다 피드백이 있는 빈번한 저부담 평가(과제, 퀴즈)를 선호한다. 하지만 AI는 저부담 환경에서의 연습을 무너뜨리고 우리를 시험 쪽으로 밀어붙이고 있다.
마찬가지로 나는 항상 학생들이 실수를 하고 잃은 점수를 되찾기 위해 제한된 수의 과제를 다시 제출할 수 있는 안전망을 제공해 왔다 (학습 결과에 집중하고 과정이 아닌 결과를 평가하라는 스펙 그레이딩과 공평한 채점의 핵심 권고사항이다). 하지만 이 과정이 AI로 악용되는 것을 느꼈다. 생각 없이 AI가 생성한 과제 답안을 먼저 제출하고, 재제출 시에만 채점에서 지적된 문제를 확인하는 식이다 (AI 사용 비용을 외부화하는 전형적인 패턴이다). 이에 대응해 우리는 재제출에 10%의 페널티를 부과하기 시작했다.
또한 수업 중 상호작용은 초기의 저부담 환경에서 학습 자료에 몰입할 수 있게 해주지만, AI가 등장한 후 많은 학생 그룹이 토론 질문을 모델에 떠넘기는 것을 목격했다. 손으로 쓴 제출(pen-and-paper)로 해결할 수도 있지만, 채점 업무량 증가 외에도 학생들의 스트레스를 높이고, 저부담 환경을 해치며, 피드백을 지연시킬 것이다.
일반적으로 이것은 균형 잡기의 문제이며, 나는 악용될 수 있음에도 저부담의 반복적 상호작용을 유지하는 쪽을 택하는 편이다. 그렇다, 일부 학생은 깊은 학습 없이 수업을 통과할 것이다. 하지만 배우고자 하는 학생들에게는 더 나은 환경을 제공한다. 나는 내가 독일에서 직접 경험했던, 대부분 선택 과제였던 교육 모델로 돌아가고 싶지 않다.