캐나다 AI 기업 코히어(Cohere)가 자사의 가장 강력한 언어 모델인 '커맨드 A+(Command A+)'를 아파치 2.0 라이선스로 오픈소스화 했습니다. 이 MoE(Mixture-of-Experts) 모델은 총 2,180억 개의 파라미터 중 250억 개를 활성화하여 단 두 대의 엔비디아 H100 GPU에서도 구동 가능한 효율성을 자랑합니다. 에이전트 벤치마크 및 코딩 테스트에서 이전 모델 대비 비약적인 성능 향상을 기록했으며, 기업의 실무 워크플로우 최적화를 위해 설계되었습니다.
기존 단일 에이전트 자가 대전(Self-Play) 방식의 한계를 극복하고 LLM의 추론 능력을 향상시키는 새로운 강화학습 프레임워크인 PopuLoRA를 소개합니다. 이 프레임워크는 모델 스스로 쉬운 문제로 수렴하는 현상을 방지하기 위해, 학습 과정에서 서로 경쟁하며 진화하는 교사(문제 생성) 모델과 학생(문제 해결) 모델 집단을 공동으로 훈련합니다. 이를 통해 모델이 지속적으로 더 어렵고 복잡한 과제에 도전하게 만들어 훈련 데이터가 고갈되거나 난이도가 정체하는 문제를 해결합니다.
TLA+의 복잡한 문법이 LLM(대형 언어 모델) 시대를 맞아 진입 장벽이 크게 낮아졌습니다. 이제 엔지니어는 시스템과 '올바름(Correctness)'을 정의하는 것에 집중하고, 실제 모델 검사(Model Checking) 코드는 프롬프트로 쉽게 생성해 복잡한 분산 시스템이나 알고리즘을 검증할 수 있습니다. 본문은 고전적인 콩 시뮬레이션 문제를 통해 TLA+의 기본 개념과 상태 변환 논리를 설명합니다.
대형언어모델(LLM)의 장기 기억 및 에이전트 시스템에서 과거 정보를 효율적으로 재사용하기 위한 경량 메모리 메커니즘인 δ-Mem(델타-맴)이 제안되었습니다. 이 기술은 고정된 크기의 8x8 온라인 메모리 상태 행렬만 사용해 기존 모델의 성능을 평균 1.10배, 메모리 집약적 벤치마크에서는 최대 1.31배 향상시켰습니다. 전체 파인튜닝이나 모델 교체 없이 어텐션(Attention) 연산에 저위상 보정을 적용하는 방식으로 효율적인 메모리 활용을 입증했다는 점에서 실무적 가치가 높습니다.
이 튜토리얼은 강력한 TRL 라이브러리 생태계를 활용하여 대형 언어 모델(LLM)을 후처리하는 전체 과정을 코드와 함께 안내합니다. 가벼운 베이스 모델을 시작으로 SFT, 보상 모델링(RM), DPO, GRPO 등 4가지 핵심 기법을 점진적으로 적용하며 모델의 정렬(alignment) 파이프라인을 구축하는 방법을 다룹니다. LoRA와 같은 효율적인 기법을 사용하여 구글 코랩(Colab) T4 GPU 같은 제한된 하드웨어 환경에서도 실습할 수 있도록 구성되어 있다는 점이 특징입니다.