#오토인코더

다항식 오토인코더, 트랜스포머 임베딩 압축에서 PCA 능가

트랜스포머 임베딩 압축 시 기존 선형 방식인 PCA가 놓치는 비선형적 특성을 포착하기 위해 '다항식 오토인코더(Poly-AE)' 기법이 제안되었습니다. 복잡한 학습 과정 없이 단순한 수학적 계산만으로 적용할 수 있으며, 동일한 메모리 예산에서 기존 PCA 대비 검색 품질(NDCG)을 최대 4.4%p 가까이 끌어올렸습니다. 이는 정보 검색 시스템에서 저장 공간을 획기적으로 줄이면서도 성능 저하를 최소화할 수 있는 매우 실용적인 접근법입니다.