스마트폰, PC, Wi-Fi, 클라우드 연결 없이 순정 게임보이 컬러(GBC) 기기 내에서만 트랜스포머 언어 모델을 실행하는 데 성공한 프로젝트입니다. 부동소수점 연산 대신 고정소수점(INT8) 방식으로 변환된 가중치를 활용하며, KV 캐시는 카트리지 SRAM에 저장하여 작은 RAM 용량을 극복했습니다. 속도가 극도로 느리고 수학적 양자화로 인해 출력은 알아보기 힘들지만, 외부 서버 없이 엣지 디바이스에서 AI 모델을 순수 구동해냈다는 점에서 기술적 의의가 큽니다.
1980년대 1MHz 프로세서를 탑재한 레트로 컴퓨터 '코모도어 64(C64)'에서 ChatGPT와 동일한 트랜스포머 아키텍처 기반의 LLM이 구동되는 프로젝트가 공개되었습니다. 약 2만 5천개의 Int8 파라미터를 사용하며 소프트맥스(Softmax) 연산을 최적화하여 제한된 하드웨어에서도 실질적인 어텐션(Attention) 가중치를 계산해 내는 것이 핵심 기술입니다. 사용자가 직접 데이터를 학습시켜 3.5인치 플로피 디스크로 빌드하여 실제 하드웨어나 에뮬레이터에서 실행해 볼 수 있는 오픈소스 프로젝트입니다.
Liquid AI가 4천5백만(450M) 파라미터 크기의 초소형 비전-언어 모델(VLM)인 'LFM2.5-VL-450M'을 공개했습니다. 이 모델은 객체 위치를 특정하는 바운딩 박스(Bounding Box) 예측, 한국어 등 8개국어 지원, 강화된 명령어 준수 기능을 지원합니다. 클라우드 의존도를 낮춰 스마트폰이나 로봇 등 자원이 제한된 엣지 디바이스에서 250ms 미만의 저지연 추론이 가능하다는 점이 가장 큰 의의입니다.