인터넷 연결 문제에 대비하고자 macOS 환경에서 완전히 로컬로 구동되는 코딩 에이전트 환경을 구축한 후기를 공유합니다. Apple Silicon(M1 Max) 환경에서 llama.cpp와 Gemma 4 모델, 그리고 다중 토큰 예측(MTP) 기술을 활용해 실사용 가능한 수준의 높은 추론 속도를 달성했습니다. 특히 Apple 전용 프레임워크인 MLX보다 llama.cpp와 MTP 조합이 더 빠른 속도를 보여준다는 흥미로운 벤치마크 결과를 포함하고 있습니다.
이 글은 썬더볼트 eGPU를 통해 M4 맥북 에어에 데스크톱용 GPU인 엔비디아 RTX 5090을 연결해 게임과 AI 추론을 구동하는 실험을 다룹니다. 애플 실리콘의 한계를 우회하기 위해 macOS 호스트 위에서 64비트 ARM 아키텍처 기반의 Linux 가상 머신(VM)을 구성하고 PCI 패스스루(Passthrough) 기술을 적용하여 엔비디아 GPU를 할당하는 기술적 과정을 상세히 설명합니다. 이는 얇은 노트북에서도 외부 GPU를 통해 고성능 그래픽 및 AI 연산이 가능함을 증명하는 흥미로운 엔지니어링 사례입니다.
본 글은 Apple Silicon 환경에서 Swift를 사용하여 외부 프레임워크 없이 대규모 언어 모델(LLM)을 학습시키기 위한 행렬 곱셈 코드를 처음부터 직접 작성하고 극한으로 최적화하는 과정을 다룹니다. 저자는 Andrej Karpathy의 'llm.c' 프로젝트를 Swift로 포팅하고, CPU, SIMD, AMX, GPU 등 Apple Silicon의 다양한 연산 유닛을 활용해 기존 C언어 구현체보다 빠르게 만드는 실험을 진행합니다. 이를 통해 Swift 환경에서 ML 연산을 최적화하는 핵심 기법과 Apple 기기의 하드웨어적 성능 한계를 체감할 수 있는 귀중한 인사이트를 제공합니다.