#임베딩

트랜스포머, 시각적으로 이해하기

트랜스포머(Transformer)는 2017년 논문 'Attention is All You Need'로 소개된 신경망 구조로, GPT·Llama·Gemini 등 주요 생성형 AI 모델의 기반이 되는 핵심 기술입니다. 이 글은 토크나이징, 임베딩, 셀프 어텐션, MLP 등 트랜스포머의 핵심 구성요소를 GPT-2(small) 모델 예시로 시각적으로 설명합니다.

퍼플렉시티, GPU 임베딩 스택 공개

퍼플렉시티 엔지니어링 팀이 자체 임베딩 모델 pplx-embed를 GPU 위에서 저비용으로 서빙하는 인프라를 상세히 공개했습니다. AI 검색 제품의 검색 품질은 임베딩 모델의 성능과 이를 인덱스 전체에 저렴하게 실행할 수 있는지에 달려 있다는 설명입니다.