BL
MarkTechPost • 9일 전
눈축스 AI, 학습 불필요한 저비트 어텐션 커널 'VC-Attention' 공개
IMP 6/10
핵심 요약
눈축스(Nunchux) AI가 영상 확산 트랜스포머(DiT)를 가속화하는 학습 없이 사용 가능한 저비트 어텐션 커널 'VC-Attention'을 공개했습니다. 이 기술은 밸류(value) 양자화 오류와 느린 소프트맥스 단계라는 두 가지 문제를 동시에 해결합니다. 별도 재학습 없이 기존 모델에 적용할 수 있다는 점에서 영상 생성 추론 속도 최적화에 실용적인 의미가 큽니다.
번역된 본문
눈축스(Nunchux) AI가 영상 확산 트랜스포머(Diffusion Transformers, DiT)를 위해 설계된 학습 불필요(training-free) 저비트(low-bit) 어텐션 커널 'VC-Attention'을 공개했습니다. 이 커널은 두 가지 문제를 동시에 해결합니다: 밸류(value) 양자화 오류와 느린 소프트맥스(softmax) 단계입니다.
왜 어텐션이 영상 생성의 병목인가 영상 DiT는 하나의 클립을 시공간(spatiotemporal) 토큰의 단일 시퀀스로 펼친 뒤, 모든 레이어에서 전체 셀프 어텐션(full self-attention)을 수행합니다. […]
이 글 '눈축스 AI, 학습 불필요한 저비트 어텐션 커널 VC-Attention으로 영상 확산 트랜스포머 가속화'는 MarkTechPost에 처음 게재되었습니다.
원문 보기 (영어)
Nunchux AI has released VC-Attention, a training-free low-bit attention kernel built for video Diffusion Transformers (DiTs). It targets 2 problems at once: value quantization error and a slow softmax stage. Why Attention is the Video Bottleneck Video DiTs flatten a clip into 1 sequence of spatiotemporal tokens and run full self-attention at every layer. A […]
The post Nunchux AI Introduces VC-Attention: A Training-Free Low-Bit Attention Kernel That Speeds Up Video Diffusion Transformers appeared first on MarkTechPost.