#모델분석

클로드 페이블 5.1, 언어 스타일이 전작보다 덜 '과시적'으로 변화

Arena.ai가 수만 건의 고추론 텍스트 아레나 출력물을 분석한 결과, 앤스로픽의 클로드 페이블 5.1은 전작인 페이블 5보다 동의 표현, 대시(em dash), '솔직히 말하면' 같은 관용구를 덜 사용하는 것으로 나타났습니다. 응답 길이는 중앙값 기준 30% 증가했으며 '어쩌면', '논쟁적으로' 같은 회피 표현도 36% 줄었습니다. 이는 AI 모델의 언어 스타일이 버전업을 거치며 어떻게 변화하는지 보여주는 데이터로, 사용자 경험 평가에 유용한 참고자료입니다.

클로드와 GPT의 지식 한계 및 사전 학습 일정 분석

최첨단 AI 모델들의 API를 정밀하게 테스트(프로빙)하여 모델 내부의 파라미터 수, 학습 데이터 비율, 그리고 사전 학습이 이루어진 정확한 시기를 역추론하는 연구를 다룬 글입니다. GPT와 클로드 등 주요 모델들에 역사 퀴즈를 풀게 하여 오류율이 급증하는 시점을 분석하면, 해당 모델이 학습한 데이터의 시점(지식 컷오프)과 사전 학습 체크포인트의 완료 시점을 파악할 수 있습니다. 이는 AI 개발사들이 철저히 비밀에 부치는 모델의 학습 일정과 데이터 구성을 외부에서 추정할 수 있다는 점에서 중요한 의미를 가집니다.