엔비디아 새 추론 모델 '네모트론' 유출?
레딧(Reddit)에 엔비디아의 새로운 AI 모델로 추정되는 'Nemotron-3-Nano-Omni-30B-A3B-Reasoning'의 추론 템플릿 코드가 유출되었습니다. 이 코드는 사용자의 프롬프트에 따라 모델의 '생각(Thinking)' 기능을 켜고 끌 수 있는 고급 추론 제어 시스템을 포함하고 있어, 엔비디아가 강력한 오픈소스 추론 모델을 준비하고 있음을 시사합니다.
해당 본문은 AI 모델이 사용자와 대화하고 도구를 사용하는 방식을 정의하는 '채팅 템플릿(chat_template)' 코드입니다. 코드를 분석해 보면 다음과 같은 핵심 기능들이 담겨 있습니다.
먼저, 특수 토큰(special tokens)을 정의하여 모델이 문장의 끝(eos_token)이나 알 수 없는 단어(unk_token)를 인식하도록 설정합니다.
가장 주목할 만한 부분은 '/think'와 '/no_think'라는 명령어를 통해 모델의 '추론(Thinking)' 모드를 동적으로 켜고 끌 수 있는 제어 로직입니다. 시스템은 사용자의 메시지를 스캔하여 이 명령어가 포함되어 있는지 확인하고, 명령어에 따라 모델이 답변을 생성하기 전에 깊게 생각할지 여부를 결정합니다. 또한, 기존 대화 기록에서 추론 기능을 생략하여 컨텍스트 길이를 최적화하는 'truncate_history_thinking' 같은 고급 설정도 지원합니다.
마지막으로, 모델이 외부 도구(Tools)나 함수(Function)를 호출하여 사용할 수 있는 환경을 구축하는 부분도 포함되어 있습니다. 시스템 메시지에 도구의 이름, 설명, 파라미터 등의 정보를 제공하여 모델이 스스로 필요한 도구를 불러와 사용할 수 있도록 안내합니다.