메뉴
BL
r/LocalLLaMA 32일 전

엔비디아 새 추론 모델 '네모트론' 유출?

IMP
7/10
핵심 요약

레딧(Reddit)에 엔비디아의 새로운 AI 모델로 추정되는 'Nemotron-3-Nano-Omni-30B-A3B-Reasoning'의 추론 템플릿 코드가 유출되었습니다. 이 코드는 사용자의 프롬프트에 따라 모델의 '생각(Thinking)' 기능을 켜고 끌 수 있는 고급 추론 제어 시스템을 포함하고 있어, 엔비디아가 강력한 오픈소스 추론 모델을 준비하고 있음을 시사합니다.

번역된 본문

해당 본문은 AI 모델이 사용자와 대화하고 도구를 사용하는 방식을 정의하는 '채팅 템플릿(chat_template)' 코드입니다. 코드를 분석해 보면 다음과 같은 핵심 기능들이 담겨 있습니다.

먼저, 특수 토큰(special tokens)을 정의하여 모델이 문장의 끝(eos_token)이나 알 수 없는 단어(unk_token)를 인식하도록 설정합니다.

가장 주목할 만한 부분은 '/think'와 '/no_think'라는 명령어를 통해 모델의 '추론(Thinking)' 모드를 동적으로 켜고 끌 수 있는 제어 로직입니다. 시스템은 사용자의 메시지를 스캔하여 이 명령어가 포함되어 있는지 확인하고, 명령어에 따라 모델이 답변을 생성하기 전에 깊게 생각할지 여부를 결정합니다. 또한, 기존 대화 기록에서 추론 기능을 생략하여 컨텍스트 길이를 최적화하는 'truncate_history_thinking' 같은 고급 설정도 지원합니다.

마지막으로, 모델이 외부 도구(Tools)나 함수(Function)를 호출하여 사용할 수 있는 환경을 구축하는 부분도 포함되어 있습니다. 시스템 메시지에 도구의 이름, 설명, 파라미터 등의 정보를 제공하여 모델이 스스로 필요한 도구를 불러와 사용할 수 있도록 안내합니다.

원문 보기
원문 보기 (영어)
","eos_token":"<|im_end|>","pad_token":"<SPECIAL_999>","unk_token":"<unk>","chat_template":"{% macro render_extra_keys(json_dict, handled_keys) %}\n {%- if json_dict is mapping %}\n {%- for json_key in json_dict if json_key not in handled_keys %}\n {%- if json_dict[json_key] is mapping or (json_dict[json_key] is sequence and json_dict[json_key] is not string) %}\n {{- '\\n<' ~ json_key ~ '>' ~ (json_dict[json_key] | tojson ) ~ '</' ~ json_key ~ '>' }}\n {%- else %}\n {{- '\\n<' ~ json_key ~ '>' ~ (json_dict[json_key] | string) ~ '</' ~ json_key ~ '>' }}\n {%- endif %}\n {%- endfor %}\n {%- endif %}\n{%- endmacro -%}\n{%- set enable_thinking = enable_thinking if enable_thinking is defined else True %}\n{%- set reasoning_budget = reasoning_budget if reasoning_budget is defined else None %}\n{%- set truncate_history_thinking = truncate_history_thinking if truncate_history_thinking is defined else True %}\n\n{#- Scan messages for VLM thinking toggles to override enable_thinking -#}\n{%- set toggle = namespace(enable=enable_thinking) %}\n{%- for m in messages %}\n {%- if m['role'] == 'user' or m['role'] == 'system' -%}\n {%- if m['content'] is string -%}\n {%- set c = m['content'] %}\n {%- if '/think' in c.replace('</think>', '') -%}\n {%- set toggle.enable = true -%}\n {%- elif '/no_think' in c -%}\n {%- set toggle.enable = false -%}\n {%- endif -%}\n {%- else -%}\n {%- for part in m['content'] -%}\n {%- if part['type'] == 'text' -%}\n {%- set c = part['text'] %}\n {%- if '/think' in c.replace('</think>', '') -%}\n {%- set toggle.enable = true -%}\n {%- elif '/no_think' in c -%}\n {%- set toggle.enable = false -%}\n {%- endif -%}\n {%- endif -%}\n {%- endfor -%}\n {%- endif -%}\n {%- endif -%}\n{%- endfor -%}\n{#- Prepare message iteration similar to LM template -#}\n{%- set ns = namespace(last_user_idx = -1) %}\n{%- set loop_messages = messages %}\n{%- for m in loop_messages %}\n {%- if m[\"role\"] == \"user\" %}\n {%- set ns.last_user_idx = loop.index0 %}\n {%- endif %}\n{%- endfor -%}\n\n{%- if messages[0][\"role\"] == \"system\" %}\n {%- set system_message = messages[0][\"content\"] %}\n {%- set loop_messages = messages[1:] %}\n{%- else %}\n {%- set system_message = \"\" %}\n {%- set loop_messages = messages %}\n{%- endif %}\n{%- if not tools is defined %}\n {%- set tools = [] %}\n{%- endif %}\n{#- Recompute last_user_idx relative to loop_messages after handling system -#}\n{%- set ns = namespace(last_user_idx = -1) %}\n{%- for m in loop_messages %}\n {%- if m[\"role\"] == \"user\" %}\n {%- set ns.last_user_idx = loop.index0 %}\n {%- endif %}\n{%- endfor -%}\n{#- System preamble with LM formatting, sanitize thinking toggles -#}\n{%- if system_message is defined %}\n {%- set sys_content = system_message | string %}\n {%- set sys_content = sys_content.replace('</think>', '<_end_think>').replace('/think', '').replace('/no_think', '').replace('<_end_think>', '</think>') %}\n {{- \"<|im_start|>system\\n\" + sys_content }}\n{%- else %}\n {%- if tools is iterable and tools | length > 0 %}\n {{- \"<|im_start|>system\\n\" }}\n {%- endif %}\n{%- endif %}\n{%- if tools is iterable and tools | length > 0 %}\n {%- if system_message is defined and system_message | length > 0 %}\n {{- \"\\n\\n\" }}\n {%- endif %}\n {{- \"# Tools\\n\\nYou have access to the following functions:\\n\\n\" }}\n {{- \"<tools>\" }}\n {%- for tool in tools %}\n {%- if tool.function is defined %}\n {%- set tool = tool.function %}\n {%- endif %}\n {{- \"\\n<function>\\n<name>\" ~ tool.name ~ \"</name>\" }}\n {%- if tool.description is defined %}\n {{- '\\n<description>' ~ (tool.description | trim) ~ '</description>' }}\n {%- endif %}\n {{- '\\n<parameters>' }}\n {%- if tool.parameters is defined and tool.parameters is mapping and tool.parameters.properties is defined and tool.parameters.properties is mapping %}\n {%- for param_name, param_fields in tool.parameters.properties|items %}\n {{- '\\n<parameter>' }}\n {{- '\\n<name>' ~ param_name ~ '</name>' }}\n {%- if param_fields.type is defined %}\n {{- '\\n<type>' ~ (param_fields.type | string) ~ '</type>' }}\n {%- endif %}\n {%- if param_fields.description is defined %}\n {{- '\\n<description>' ~ (param_fields.description | trim) ~ '</description>' }}\n {%- endif %}\n {%- if param_fields.enum is defined %}\n {{- '\\n<enum>' ~ (param_fields.enum | tojson ) ~ '</enum>' }}\n {%- endif %}\n {%- set handled_keys = ['name', 'type', 'description', 'enum'] %}\n {{- render_extra_keys(param_fields, handled_keys) }}\n {{- '\\n</parameter>' }}\n {%- endfor %}\n {%- endif %}\n {%- set handled_keys = ['type', 'properties', 'required'] %}\n {{- render_extra_keys(tool.parameters, handled_keys) }}\n {%- if tool.parameters is defined and tool.parameters.required is defined %}\n {{- '\\n<required>' ~ (tool.parameters.required | tojson ) ~ '</required>' }}\n {%- endif %}\n {{- '\\n</parameters>' }}\n {%- set handled_keys = ['type', 'name', 'description', 'parameters'] %}\n {{- render_extra_keys(tool, handled_keys) }}\n {{- '\\n</function>' }}\n {%- endfor %}\n {{- \"\\n</tools>\" }}\n\n {{- '\\n\\nIf you choose to call a function ONLY reply in the following format with NO suffix:\\n\\n<tool_call>\\n<function=example_function_name>\\n<parameter=example_parameter_1>\\nvalue_1\\n</parameter>\\n<parameter=example_parameter_2>\\nThis is the value for the second parameter\\nthat can span\\nmultiple lines\\n</parameter>\\n</function>\\n</tool_call>\\n\\n<IMPORTANT>\\nReminder:\\n- Function calls MUST follow the specified format: an inner <function=...></function> block must be nested within <tool_call></tool_call> XML tags\\n- Required parameters MUST be specified\\n- You may provide optional reasoning for your function call in natural language BEFORE the function call, but NOT after\\n- If there is no function call available, answer the question like normal with your current knowledge and do not tell the user about function calls\\n</IMPORTANT>' }}\n{%- endif -%}\n{%- if system_message is defined %}\n {{- '<|im_end|>\\n' }}\n{%- else %}\n {%- if tools is iterable and tools | length > 0 %}\n {{- '<|im_end|>\\n' }}\n {%- endif %}\n{%- endif -%}\n{#- Iterate conversation -#}\n{%- for message in loop_messages %}\n {%- if message.role == \"assistant\" %}\n {#- Use LM assistant handling -#}\n {%- if message.reasoning_content is defined and message.reasoning_content is string and message.reasoning_content | trim | length > 0 %}\n {%- set content = \"<think>\\n\" ~ message.reasoning_content ~ \"\\n</think>\\n\" ~ (message.content | default('', true)) %}\n {%- else %}\n {%- set content = message.content | default('', true) %}\n {%- if content is string -%}\n {%- if '<think>' not in content and '</think>' not in content -%}\n {%- set content = \"<think></think>\" ~ content -%}\n {%- endif -%}\n {%- else -%}\n {%- set content = content -%}\n {%- endif -%}\n {%- endif %}\n {%- if message.tool_calls is defined and message.tool_calls is iterable and message.tool_calls | length > 0 %}\n {{- '<|im_start|>assistant\\n' }}\n {%- set include_content = not (truncate_history_thinking and loop.index0 < ns.last_user_idx) %}\n {%- if content is string and content | trim | length > 0 %}\n {%- if include_content %}\n {{- (content | trim) ~ '\\n' -}}\n {%- else %}\n {%- set c = (content | string) %}\n {%- if '</think>' in c %}\n {%- set c = c.split('</think>')[-1] %}\n {%- elif '<think>' in c %}\n {%- set c = c.split('<think>')[0] %}\n {%- endif %}\n {%- set c = \"<think></think>\" ~ c | trim %}\n {%- if c | length > 0 %}\n {{- c ~ '\\n' -}}\n {%- endif %}\n {%- endif %}\n {%- else %}\n {{- \"<think></think>\" -}}\n {%- endif %}\n {%- for tool_call in message.tool_calls %}\n {%- if tool_call.function is defined %}\n {%- set tool_call = tool_call.function %}\n {%- endif %}\n {{- '<tool_call>\\n<function=' ~ tool_call.name ~ '>\\n' -}}\n {%- if tool_call.arguments is defined %}\n {%- for args_name, args_value in tool_call.arguments|items %}\n {{- '<parameter=' ~ args_name ~ '>\\n' -}}\n {%- set