소행성 채굴 스타트업 AstroForge가 자체 개발한 트랜스포머 기반 자율 제어 스택 'Solo'를 탑재한 우주선을 2027년 Stoke Space의 첫 로켓에 발사할 계획이다. 대형 지상 통신망 구축에 수억 달러를 쓰는 대신 우주선 스스로 문제를 해결하는 온보드 AI로 비용을 절감하려는 전략으로, 신경망 기반 우주선 자율 제어라는 이례적 도전이 주목된다.
트랜스포머(Transformer)는 2017년 논문 'Attention is All You Need'로 소개된 신경망 구조로, GPT·Llama·Gemini 등 주요 생성형 AI 모델의 기반이 되는 핵심 기술입니다. 이 글은 토크나이징, 임베딩, 셀프 어텐션, MLP 등 트랜스포머의 핵심 구성요소를 GPT-2(small) 모델 예시로 시각적으로 설명합니다.
Anthropic이 2021년 발표한 연구로, 트랜스포머 언어 모델의 내부 동작을 역설계(리버스 엔지니어링)하기 위한 수학적 프레임워크를 제시했습니다. 연구진은 2층 이하의 어텐션 전용 소형 모델을 분석해 '인덕션 헤드(induction head)'라는 특정 어텐션 헤드가 문맥 내 학습(in-context learning)을 설명한다는 것을 발견했습니다. 이는 AI 모델의 안전성 문제를 체계적으로 이해하고 예측하기 위한 기계적 해석 가능성(mechanistic interpretability) 연구의 초석이 되는 중요한 성과입니다.
해커뉴스에 트랜스포머 기반 LLM의 어텐션 가중치를 시각화하는 웹 도구가 공개되었습니다. 생성된 토큰에 마우스를 올리면 어떤 이전 토큰이 생성에 영향을 미쳤는지 확인할 수 있어, LLM이 복사-붙여넣기에 강한 이유를 직관적으로 이해할 수 있습니다. Transformers.js를 활용해 브라우저에서 동작하며, ONNX 모델을 수정해 내부 어텐션 값을 노출시킨 것이 기술적 포인트입니다.
한 연구자가 RTX 5090 하나로 1.5시간 만에 소형 트랜스포머를 처음부터 학습시켜 ARC-AGI 벤치마크에서 많은 대형 LLM과 동등하거나 그 이상의 성적(44%)을 달성했습니다. 테스트 시점에 퍼즐별로 모델을 직접 학습하는 메타러닝 접근법으로, 샘플 효율성(sample efficiency) 한계를 탐구하는 연구입니다. 코드는 오픈소스로 공개되어 저비용으로 누구나 재현·후속 연구가 가능하다는 점이 의미 있습니다.
캐나다 성우 피터 컬런이 85세 나이로 로스앤젤레스 자택에서 별세했습니다. 그는 '트랜스포머'의 옵티머스 프라임과 '곰돌이 푸'의 이요르 목소리로 수십 년간 사랑받았으며, 마이클 베이 감독의 실사 영화 시리즈에서도 옵티머스 프라임 역을 이어갔습니다.
한 개발자가 1억 2,500만 파라미터 트랜스포머를 학습시켜 피아노 연주를 실시간으로 자동완성하는 앱 'RollTab'을 무료 공개했습니다. iPhone 15에서 초당 약 108개의 노트를 생성하며, MIDI 표현 방식 최적화, 학습 데이터 정제, DPO 후속 학습이 성능 향상의 핵심이었다고 합니다. 온디바이스에서 실시간 음악 생성을 구현한 사례로 모바일 AI 응용에 참고할 만합니다.
외부 의존성 없이 libc만으로 단일 C 파일에 GPT의 순전파, 역전파, Adam 옵티마이저, 샘플링을 모두 구현한 'microGPT-C'가 공개되었습니다. 약 3.2만 개의 이름 데이터를 몇 초 만에 학습해 새로운 이름을 생성하며, 애플 M5 Pro(NEON)에서 초당 약 1,017만 토큰, AMD 라이젠 5 5600H(AVX2)에서 초당 약 693만 토큰의 추론 속도를 기록했습니다. 학습이 아닌 일반화를 통해 파라미터 5배짜리 트라이그램 모델을 능가한다는 점이 인상적입니다.
구글의 트랜스포머(Transformer) 도입 9년 만에 한계에 부딪힌 현재 LLM 구조의 대안이 되는 4가지 혁신 기술을 점검합니다. 또한 민간 기업의 약진으로 연구 환경이 변화하는 가운데 AI 학계가 맞이한 새로운 현실과 주요 기술·정치·비즈니스 이슈를 총망라했습니다.
현재 대형 언어 모델(LLM)의 핵심 기술인 트랜스포머(Transformer)가 데이터 처리량이 늘어남에 따라 연산 비용과 전력 소모를 급증시키는 병목 현상을 겪고 있습니다. 이에 따라 스파스 어텐션(Sparse Attention) 등 트랜스포머의 근본적 한계를 극복하고 모델을 더 빠르고 효율적으로 만들려는 신생 기업들의 새로운 시도가 주목받고 있습니다.
주어진 작업(동작)에 맞춰 로봇의 물리적 구조(embodiment)와 제어기를 자동으로 최적화 설계하는 '트랜스포머 트랜스포머(Transformer Transformer)' 모델이 소개되었습니다. 이 모델은 로봇의 모든 관절과 모터를 통합된 토큰(RoboTokens)으로 표현하여 단일 네트워크에서 로봇 생성, 평가, 제어를 모두 수행할 수 있게 만들어, 로봇 공학 및 코디자인 연구의 패러다임을 전환하는 중요한 연구입니다.
최첨단 AI 모델조차 아기가 세상을 인식하고 학습하는 방식에는 미치지 못한다는 연구 결과가 나왔습니다. 스탠퍼드 대학교, 메타(Meta), 도쿄 대학교 등의 연구진은 아기의 시점에서 촬영된 영상으로 AI를 테스트하는 'EgoBabyVLM' 챌린지를 통해 이를 입증했습니다. 엄청난 데이터에 의존하는 현재 AI의 한계를 극복하고 물리적 환경을 자연스럽게 학습하는 로봇 등을 개발하기 위해 아기 뇌의 학습 방식을 연구하는 것이 매우 중요합니다.
큐타이(Kyutai)는 오디오를 다중 악기 MIDI로 변환하는 오픈 웨이트 디코더 전용 트랜스포머 모델인 'MuScriptor'를 공개했습니다. 이 모델은 실제 녹음본과 대규모 합성 MIDI 데이터를 학습하여 복잡하게 믹스된 다중 악기 연주를 정확하게 악보(MIDI)로 전사할 수 있습니다. 관련 벤치마크, 악기 조절 기능, 대화형 데모까지 제공되어 오디오 및 음악 AI 실무자들에게 매우 유용한 오픈소스 도구입니다.
대형 언어 모델(LLM)의 강화학습(RL) 시 모델의 모든 파라미터를 업데이트하는 대신, 단일 트랜스포머 계층(레이어)만 학습해도 전체 학습 효과의 대부분을 달성하거나 능가할 수 있다는 연구 결과입니다. 수학적 추론 및 코딩 등 다양한 작업에서 실험한 결과, 학습 효과는 모델 중간 부분의 특정 계층에 집중되어 있는 것으로 나타났습니다. 이는 막대한 컴퓨팅 자원이 소모되는 기존의 전체 파라미터 강화학습 방식의 효율성을 크게 뒤집을 수 있는 중요한 발견입니다.
인간의 언어는 내면의 의식과 생각을 표현하기 위해 나오는 부산물이지만, LLM은 거대한 수학적 모델을 기반으로 다음 단어를 예측할 뿐 그 내면에 의식이나 근본적 아이디어가 존재하지 않습니다. 이러한 인간과 AI의 태생적인 차이를 이해하는 것이 기술 발전 방향과 AI 활용 시대를 통찰하는 핵심입니다. 과거 초창기 컴퓨터가 그랬듯 AI 역시 빠르게 효율화되어 누구나 강력한 도구를 활용하는 빌더가 되는 시대로 나아가고 있습니다.
특정 파일의 패턴을 완벽하게 외우도록 오버피팅(Overfitting)된 900KB 크기의 트랜스포머 모델과 산술 부호화(Arithmetic coding)를 결합해 개별 파일을 압축하는 실험 결과가 공유되었습니다. 이 방식을 통해 반복적인 패턴이 많은 100MB 크기의 뉴욕 택시 CSV 데이터를 약 7MB 수준까지 극한으로 압축할 수 있었으며, AI를 활용한 새로운 데이터 압축 기법의 가능성을 보여줍니다.
오늘날 AI 산업의 핵심 기술인 트랜스포머, 사전 학습, 잔차 학습(Residual Learning) 등의 개념이 모두 1991년 뮌헨 공과대학의 위르겐 슈미트후버(Jürgen Schmidhuber) 연구실에서 단 몇 달 만에 발표되었습니다. 이 요약은 현대 심층 학습(Deep Learning) 및 대형 언어 모델(LLM)의 진정한 역사적 기원을 추적하는 데 중요한 통찰을 제공합니다. 현대 AI를 지탱하는 기반 기술들이 어떻게 30년 전에 이미 탄생했는지 보여주는 의미 있는 글입니다.
AI 스타트업 Subquadratic이 대형 언어 모델(LLM)의 연산량과 비용을 획기적으로 줄이는 새로운 아키텍처 'SubQ'를 공개했습니다. 기존 Transformer(트랜스포머) 구조의 비효율성을 극복하여 매우 빠른 처리 속도와 낮은 전력 소모를 자랑하며, 제3자 평가를 통해 그 성능이 입증되었습니다. 이는 AI 모델 구축 방식을 근본적으로 바꿀 수 있는 중요한 기술적 도약으로 평가됩니다.
본 글은 GPU 환경에서 빠르고 메모리 효율적인 트랜스포머 모델 구현을 돕는 실용적인 툴킷인 xFormers의 활용법을 다룹니다. 패킹된 시퀀스(Packed Sequences), GQA, ALiBi, SwiGLU 등 다양한 최신 최적화 기법을 표준 구현과 비교 검증하며, 이를 결합해 학습 가능한 GPT 스타일 모델을 구축하는 과정을 보여줍니다. AI 실무자들에게 대규모 언어 모델(LLM) 학습 및 추론 시 발생하는 병목 현상을 해결하고 컴퓨팅 리소스를 최적화하는 데 매우 중요한 가이드를 제공합니다.
최근 트랜스포머 기반 대형 언어 모델(LLM)은 문맥 길이가 길어질수록 어텐션 메커니즘의 연산 효율이 급격히 떨어지는 한계를 보입니다. 이를 해결하기 위해 본 논문은 인간의 '수면'과 유사한 통합 메커니즘을 제안하여, 모델이 최근 문맥을 영구적인 빠른 가중치(fast weights)로 변환하고 기존의 키-값 캐시를 초기화하는 방식을 도입했습니다. 기존 모델들이 실패한 복잡한 수학적 추론 작업에서도 이 방법론이 뛰어난 성능 향상을 보여주며, 깊은 추론이 필요한 문제일수록 효과가 극대화된다는 점이 핵심적인 성과입니다.
본 튜토리얼은 OpenMythos를 활용해 구글 코랩(Colab) 환경에서 엔드투엔드로 작동하는 고급 '순환 깊이 트랜스포머(Recurrent-Depth Transformer)' 워크플로우를 구축하는 과정을 다룹니다. 특히 MLA와 GQA 모델 변형을 생성하고 파라미터 수를 비교하며, 스펙트럼 반경(Spectral Radius)을 통해 순환 주입 행렬의 안정성을 검증하는 실무적 접근이 포함되어 있어 모델 아키텍처 설계에 중요한 참고자료가 됩니다.
AI 모델 학습 시 흔히 발생하는 메모리 병목 현상을 해결하기 위해, 개별적으로 처리되던 연산들을 하나의 GPU 커널(GEMM Epilogue)로 통합하여 성능을 극대화하는 새로운 추상화 기법인 CODA를 제안합니다. 이 방식은 데이터 이동을 최소화하면서도 프레임워크 수준의 생산성과 하드웨어 수준의 극적인 효율성을 동시에 달성할 수 있도록 돕습니다.
대규모 언어 모델(LLM)이 토큰을 생성하는 핵심 원리인 '자기회귀 다음 토큰 예측'과 추론 속도를 획기적으로 높이는 'KV 캐시' 최적화 기법을 설명합니다. 이 과정을 통해 모델이 텍스트를 벡터로 변환하여 디코더 블록을 거치고 다음 단어를 예측하며, 이후 반복적인 연산을 줄여 긴 문장을 빠르게 생성할 수 있게 되는 원리를 이해할 수 있습니다.
이 워크숍은 허깅페이스 등의 블랙박스 라이브러리 없이, 순수 파이토치만으로 GPT 모델을 밑바닥부터 직접 코딩하고 학습시키는 실습 중심 가이드입니다. 약 1,000만 개(10M) 파라미터 규모의 경량 모델을 노트북에서 한 시간 만에 학습시킬 수 있도록 안내합니다. AI 입문자부터 실무자까지 트랜스포머(Transformer)의 근본적인 작동 원리를 완벽히 이해하고 싶은 개발자에게 매우 유용한 자료입니다.
본 논문은 개념을 표현하는 트랜스포머의 표현력을 '간결성(Succinctness)'이라는 척도로 측정할 것을 제안합니다. 연구진은 트랜스포머가 유한 오토마타나 선형 시제 논리(LTL) 공식 같은 전통적 방식들보다 훨씬 더 적은 용량으로 형식 언어를 표현할 수 있음을 수학적으로 증명했습니다. 그러나 이러한 높은 표현력으로 인해 트랜스포머의 특정 속성을 검증하거나 증명하는 작업은 EXPSPACE-완전(EXPSPACE-complete) 문제로, 계산적으로 매우 다루기 어렵다는 한계도 함께 확인했습니다.
언뜻 보기에 전혀 다른 분야인 인공신경망과 대칭키 암호화 알고리즘이, 기저에 깔린 구조와 작동 방식이 매우 유사하다는 흥미로운 분석입니다. 두 분야 모두 순차적 및 병렬적 시퀀스 처리 방식, 선형과 비선형 레이어의 교차 반복, 그리고 행과 열을 교차 혼합(Mixing)하여 성능을 극대화하는 구조를 공유합니다. 이는 두 분야가 서로 아이디어를 베낀 것이 아니라, 약한 정확성 요구사항과 하드웨어 최적화라는 동일한 근본적 문제 해결 과정에서 자연스럽게 수렴 진화했기 때문입니다.
1980년대 1MHz 프로세서를 탑재한 레트로 컴퓨터 '코모도어 64(C64)'에서 ChatGPT와 동일한 트랜스포머 아키텍처 기반의 LLM이 구동되는 프로젝트가 공개되었습니다. 약 2만 5천개의 Int8 파라미터를 사용하며 소프트맥스(Softmax) 연산을 최적화하여 제한된 하드웨어에서도 실질적인 어텐션(Attention) 가중치를 계산해 내는 것이 핵심 기술입니다. 사용자가 직접 데이터를 학습시켜 3.5인치 플로피 디스크로 빌드하여 실제 하드웨어나 에뮬레이터에서 실행해 볼 수 있는 오픈소스 프로젝트입니다.
1989년 Macintosh SE/30의 하이퍼카드(HyperCard) 환경에서 트랜스포머 신경망을 온전히 구현한 'MacMind' 프로젝트가 공개되었습니다. 1,216개의 파라미터를 가진 이 모델은 현대 LLM과 완전히 동일한 수학적 원리(셀프 어텐션, 역전파 등)를 사용하여 빠른 푸리에 변환(FFT)의 초기 단계인 비트 역순 정렬을 스스로 학습합니다. 이 프로젝트는 거대 AI 모델의 작동 방식이 마법이 아니라 이해 가능한 수학임을 시각적으로 증명하며 AI의 기본 원리 교육에 큰 가치를 지닙니다.
기존 트랜스포머 모델의 MLP 디코더를 새로운 기하학적 구조인 'K-Splanifolds'로 교체하여 1,800만 파라미터(18M) 모델을 학습시키는 실험 결과를 공유했습니다. 5B(50억) 개의 토큰을 학습하는 동안 디코더 계층이 어떻게 발전하는지 시각화하여 보여주며, 놀랍게도 손실(loss)이 잘 감소하고 있어 학습 정체기에 도달할 때까지 훈련을 이어갈 계획입니다.
해커뉴스에 약 900만 개의 파라미터를 가진 초소형 언어 모델인 'GuppyLM'이 공개되었습니다. 이 프로젝트는 누구나 Colab 환경에서 5분 만에 데이터 생성부터 토크나이저, 모델 아키텍처, 학습 및 추론까지 전 과정을 직접 경험하며 LLM의 원리를 쉽게 이해할 수 있도록 제작되었습니다. 복잡한 기법 없이 가장 기본적인 트랜스포머 아키텍처(Vanilla Transformer)만을 사용해 대형 모델들이 가진 블랙박스 같은 느낌을 해소하는 데 초점을 맞췄습니다.