#경량화

텐센트 오프라인 AI 번역 모델 공개

텐센트가 구글 번역보다 뛰어난 성능을 발휘하면서도 스마트폰에서 완벽하게 오프라인으로 구동되는 초소형 AI 번역 모델을 오픈소스로 공개했습니다. 극단적인 압축 기술(1.25비트 양자화)을 통해 3.3GB 크기의 모델을 440MB로 줄이면서도 성능 저하 없이 상용 서비스나 더 큰 모델들과 맞먹는 번역 품질을 달성했습니다.

언슬로스, 동적 GGUF 및 양자화 2.0 버전 공개

AI 모델 경량화 및 파인튜닝을 돕는 Unsloth가 'Dynamic GGUF + Quants'의 새로운 2.0 버전을 발표했습니다. 이번 업데이트는 업계 최고 수준(SOTA)의 양자화 성능과 향상된 정확도를 제공하는 것이 특징입니다. 총 88개의 모델 파일이 추가되었으며, 로컬 환경에서 대규모 언어 모델을 효율적으로 구동하려는 실무자들에게 매우 유용한 업데이트입니다.