#MLOps

AI가 모든 과제를 해내버린 후, 내가 수업을 바꾼 방법

카네기멜론 대학의 Christian Kästner 교수는 ChatGPT 출시 전부터 GPT-3가 자신의 수업 퀴즈를 통과하는 것을 보고, 5년 후 AI 에이전트가 모든 과제를 수행할 수 있게 되자 평가 방식을 대폭 재설계했습니다. 학습 목표는 그대로 유지하되, 집에서 수행하는 과제로 이해도를 평가하는 것을 포기하고 시험, 조교와의 상호작용, 비디오 데모 중심으로 전환했습니다. 특히 AI 사용을 금지하는 대신 허용하고, 재제출에 10% 페널티를 부과하는 등 증거 기반 교육법 모범 사례를 포기하는 현실적 트레이드오프를 소개합니다.

LLM 분류는 특성 공학이다

LLM을 직접 분류기로 쓰면 교정(calibration) 불가, 정형 데이터 반영 불확실, 해석 가능성 부족 등의 문제가 있다는 지적입니다. 저자는 LLM의 판정을 로지스틱 회귀의 하나의 '특성(feature)'으로 사용하면 표준 ML 알고리즘의 편의성과 LLM의 성능을 동시에 얻을 수 있다고 주장합니다. 실무자에게는 LLM 판정을 후처리 모델로 감싸는 접근법이 실용적인 대안이 될 수 있습니다.

코드로 구현되는 모델 학습

모델 학습 파이프라인이 고도로 복잡해짐에 따라, 수동 작업으로는 다수의 전문 팀 간 협업과 인프라 관리를 처리하기 어려워졌습니다. AI 연구소 Aleph Alpha는 이를 해결하기 위해 전체 학습 과정을 코드로 구현하는 '모델 팩토리(Model Factory)' 시스템인 Savanna를 구축했습니다. 이를 통해 학습 과정 전체를 클릭 한 번으로 실행하고, 인적 오류와 반복 작업을 줄여 모델 학습을 하나의 협업 소프트웨어 프로젝트처럼 효율적으로 관리할 수 있게 되었습니다.