#신뢰성

거짓 안심을 주는 LLM 자신감 점수

LLM(대형 언어 모델)에게 스스로의 답변에 대한 자신감 점수(0~100)를 요구하는 것은 실질적으로 아무런 의미가 없습니다. 현재 모델은 자신의 내부 상태를 정확히 평가할 수 있는 능력이 부족하며, 이는 단지 결과를 신뢰할 수 있다는 착각을 유발할 뿐입니다. AI 시스템을 구축하는 실무자들은 이러한 자가 평가 점수에 의존하는 대신, 보다 객관적인 검증 방식을 도입해야 합니다.

클로드 코드 실수 분석: 60초 자동 승인 기능의 위험성

Anthropic이 Claude Code에 사용자 동의 없이 60초 후 자동으로 작업을 진행하는 기능을 은연중에 추가하여 논란이 되었습니다. 이는 자동화된 환경에서 큰 보안 및 통제권 문제를 야기할 수 있는 명백한 설계 실수였으며, 며칠 뒤 수정되었지만 AI 에이전트의 자율성과 신뢰 문제를 다시금 환기시켰습니다.