#모델 경량화

러시아 수학자들이 '말 없는 AI 통신' 기술 개발

러시아 스타트업 모스틱(Mostik)이 AI 모델들이 텍스트를 생성하지 않고 가중치의 수학적 값만으로 서로 소통하는 기술을 개발했다. 이를 통해 대형 모델의 능력을 소형 모델에 효율적으로 전달할 수 있으며, 중국 오픈 소스 모델 GLM과 Qwen을 결합해 비용 20분의 1로 중간 수준 성능을 달성했다. 이 기술이 확산되면 오픈 소스 모델의 가치가 높아져 폐쇄형 프런티어 모델과의 경쟁력이 커질 전망이다.

로컬 기기용 초경량 이미지 생성 모델

PrismML이 노트북과 스마트폰 같은 로컬 기기에서 고품질 이미지 생성을 가능하게 하는 40억 파라미터(4B) 모델 'Bonsai Image 4B'를 공개했습니다. 이 모델은 가중치를 1비트(1-bit) 또는 삼진법(Ternary) 형태로 압축하여, 기존 풀 정밀도(FP16) 모델 대비 메모리 사용량을 약 6~8배 획기적으로 줄였습니다. 특히 이 파라미터 클래스의 이미지 모델 중 최초로 아이폰에서 직접 구동될 수 있어, 온디바이스 AI 생성 기술의 새로운 지평을 열었다는 데 큰 의미가 있습니다.