#llm-아키텍처

OpenArch – 최신 LLM 아키텍처의 PyTorch 구현 모음

OpenArch는 Sebastian Raschka의 LLM 아키텍처 갤러리에 수록된 모델들을 원 논문과 config.json 파일 기반으로 순수 PyTorch로 직접 구현한 오픈소스 저장소입니다. GPT-2부터 DeepSeek R1, Kimi K2, GLM 4.5 등 15개 이상 모델을 아키텍처별 하나의 읽기 쉬운 파일로 제공하며, 어텐션 방식(MHA/GQA/MLA), 정규화, 위치 인코딩, MoE 라우팅 등 구조적 차이를 나란히 비교할 수 있게 합니다. 속도나 배포 최적화보다 학습과 명확성을 목표로 하는 리소스로, 기여자도 모집 중입니다.