이 논문은 실제 배포 환경에서 사용자가 제공하는 정보나 교정 내용을 프롬프트가 아닌 모델 가중치에 직접 학습시키는 '무한 매개변수 LLM(Infinite-Parameter LLM)' 아키텍처를 제안합니다. 작은 하이퍼네트워크(hypernetwork)가 런타임 데이터를 저순위(low-rank) 가중치 변조로 변환하고, 생성기의 잠재 코드에 대한 베이지안 신념을 온라인으로 갱신해 세션 동안 가중치를 지속적으로 재도출합니다. 이를 통해 저장 공간은 고정된 채 사실상 무한한 가중치를 활용할 수 있으며, 컨텍스트 창을 절약하고 세션 간 지속되며, 컨텍스트 내 학습보다 더 나은 일반화가 가능함을 평가 프로토콜로 검증합니다.
현대 AI 에이전트 스택의 3개 계층(하네스, 프레임워크, MCP)을 실무자 관점에서 정리한 글입니다. 각 계층이 에이전트의 반복 루프, 상태 관리, 도구 접근, 권한, 오류 복구 중 무엇을 담당하는지 검증된 출처와 함께 분석하며, 계층 간 기능 중복 문제도 다룹니다. 에이전트 아키텍처 설계 시 각 계층의 역할을 명확히 구분하는 데 중요한 가이드가 됩니다.
AI 에이전트 시스템은 모델(Model), 추론 서비스(Inference Service), 하네스(Harness) 세 층위로 구성되며, 흔히 혼용되는 '에이전트'와 '모델'은 엄연히 다른 개념이라는 용어 정리 글입니다. MCP나 Skills 같은 기능은 모델이 아니라 하네스 계층에 속하며, 같은 모델도 하네스에 따라 다르게 동작한다는 점을 Claude Desktop, Cursor 등 실제 사례로 설명합니다.
최근 LLM 사용자들이 프롬프트를 통해 출력물을 사람이 읽기 편하고 친근하게 만들려는 시도가 유행하지만, 이는 정보 손실을 초래하는 잘못된 접근법입니다. 에이전트 간의 통신이나 작업 수행 과정에서는 기계가 처리하기 좋은 고밀도의 원시 상태를 유지하다가, 최종적으로 사용자에게 전달하는 마지막 단계에서만 요약하고 사람이 읽기 좋은 형태로 렌더링해야 합니다.
저자는 LLM을 단순히 자연어를 코드로 번역하는 '컴파일러'의 연장선으로 보는 시각을 반박합니다. 클로드와 같은 AI 모델은 전통적인 컴파일러처럼 단일 계층에 머무는 것이 아니라, 기획, 아키텍처, 코딩 등 전체 스택을 아우르며 수직적으로 작업하고 의사결정을 내릴 수 있다는 점에서 훨씬 더 진일보한 도구라고 설명합니다.
AI 에이전트가 이전 대화를 기억하지 못하는 한계를 극복하기 위해 일래스틱서치(Elasticsearch) 기반의 영구 기억 아키텍처를 제안합니다. 인지과학에 기반한 3가지 기억 유형(에피소드, 의미, 절차)을 분리하여 저장하고, 하이브리드 검색과 RRF, 재정렬(reranker) 기법을 적용해 0.89라는 높은 회상율(Recall)을 달성했습니다. 컨텍스트 창의 비용과 망각 현식을 해결할 수 있는 실질적인 장기 기억 시스템 구현 가이드입니다.
언뜻 보기에 전혀 다른 분야인 인공신경망과 대칭키 암호화 알고리즘이, 기저에 깔린 구조와 작동 방식이 매우 유사하다는 흥미로운 분석입니다. 두 분야 모두 순차적 및 병렬적 시퀀스 처리 방식, 선형과 비선형 레이어의 교차 반복, 그리고 행과 열을 교차 혼합(Mixing)하여 성능을 극대화하는 구조를 공유합니다. 이는 두 분야가 서로 아이디어를 베낀 것이 아니라, 약한 정확성 요구사항과 하드웨어 최적화라는 동일한 근본적 문제 해결 과정에서 자연스럽게 수렴 진화했기 때문입니다.
대규모 언어 모델(LLM) 서비스를 위한 새로운 분산 아키텍처인 'Prefill-as-a-Service(PrfaaS)'를 제안하는 연구 논문입니다. 최신 하이브리드 어텐션 모델을 활용하여 KVCache 크기를 획기적으로 줄이고, 이를 일반 이더넷 망을 통해 다른 데이터센터로 전송하여 연산 부하를 분산시킵니다. 이를 통해 이기종 GPU 클러스터를 유연하게 확장할 수 있으며, 실험 결과 기존 방식 대비 최대 54% 높은 서비스 처리량을 달성하여 대규모 AI 인프라 운영에 매우 중요한 의미를 갖습니다.
해커 뉴스 등에서 벌어지는 '리틀 엔디안의 승리'나 '구식 아키텍처 무용론'과 같이 소프트웨어 이식성을 깎아내리는 적대적 분위기를 비판하는 글입니다. 저자는 다양한 아키텍처(Alpha, MIPS, SPARC 등)가 여전히 교육적, 상업적 가치가 있으며, 실제로 구형 환경에서 리눅스 커널의 보안 취약점이 발견되기도 했음을 사례로 듭니다. 빅 엔디안과 리틀 엔디안 모두 건강한 컴퓨팅 생태계를 위해 필수적이며, 소프트웨어 이식성을 높이는 노력은 단순한 취미가 아닌 실제 문제를 해결하는 중요한 과정임을 강조합니다.