BL
r/LocalLLaMA • 32일 전
로컬에서 Qwen 3.6, Gemma 4 구동 체감기
IMP 7/10
핵심 요약
작성자는 시간당 200달러를 받는 전문가가 수행하던 실무 작업을 로컬 LLM으로 대체하여 성공적으로 운영 중입니다. 특히 단일 RTX 3090 환경에서도 Qwen 3.6 27B 모델이 매우 빠르고 쾌적하게 돌아가는 점을 강조하며, 모델의 약점을 보완하는 시스템 구축이 핵심이라고 설명합니다.
번역된 본문
아니, 거의 그에 준하는 수준이라고 해야겠네요. 이 모델들은 정말 훌륭한 일꾼입니다. 저는 시간당 200달러를 받는 해당 분야의 숙련된 전문가가 직접 하던 실무 작업들을 이 모델들을 활용해 실제 업무 환경에서 실행하고 있습니다. 물론 핵심은 이 모델들의 약점을 보완하는 시스템을 구축하는 것이며, 저는 이미 몇 년 전 초창기 모델들이 나왔을 때부터 LLM 시스템을 구축해 전문가 수준의 업무를 수행해 왔습니다(누스 헤르메스 2 미스트랄(Nous Hermes 2 Mistral)에게 박수를!).
하지만 그래도 정말 훌륭합니다. 특히 눈후나(noonghunna)의 RTX 3090 클럽 덕분에, 단일 3090 그래픽 카드 하나로도 Qwen 3.6 27B 모델을 정말 빠르게 날아다니게 할 수 있다는 점이 가장 인상적입니다.
원문 보기 (영어)
Well or pretty close to it, they are excellent work horses. I run them in real work scenarios doing some of the work I used to do myself as an skilled expert in my field, billing 200$ an hour. Ofc the key is building a system around their weaknesses, and I've had already LLM systems doing expert work years ago when first ones came (shout out nous hermes 2 mistral!).
But yeah pretty neat, especially noonghunnas club 3090 and you can have 3.6 27B fly on a single 3090.
관련 소식