LLM 평가자는 개별 출력을 평가하는 데는 노이즈가 많아 신뢰하기 어렵지만, 충분한 샘플을 바탕으로 여러 에이전트의 평균 성능을 비교할 때는 노이즈가 상쇄되어 신뢰할 수 있는 결과를 제공합니다. 따라서 평가자가 완벽하지 않더라도 오프라인 환경에서 최적의 프롬프트나 모델을 선택하고 에이전트를 지속적으로 개선하는 데 매우 유용하게 활용될 수 있습니다.
NUS, MIT, A*STAR 연구진이 기존 대규모 언어 모델(LLM)의 파라미터 변경 없이 새로운 지식을 학습할 수 있는 모듈형 프레임워크인 'MEMO'를 제안했습니다. 이 프레임워크는 말뭉치 지식을 별도의 학습 가능한 메모리 모델(MEMORY model)에 인코딩하여 LLM의 성능을 유연하게 확장할 수 있게 해줍니다. 이는 모델 재학습에 따른 막대한 비용과 시간을 절감할 수 있는 실용적인 대안으로, AI 실무자들에게 매우 중요한 연구 성과입니다.
앤스로픽의 엔지니어들은 최신 AI 모델인 클로드 미토스(Claude Mythos)가 조합 기하학의 오래된 난제인 '에르되시 단위 거리 추측'을 매우 간결한 방식으로 해결했다고 밝혔습니다. 구글 딥마인드와 오픈AI에 이어 앤스로픽까지 수학 난제 해결에 성공하며, AI 기반 수학적 발견의 속도가 빠르게 가속화되고 있음을 보여줍니다.
앨런 AI 연구소와 UC 버클리 연구진이 개발한 'EMO' 모델은 문서 경계를 활용해 전문가(Expert)들이 특정 도메인(의료, 정치 등)을 전문적으로 학습하도록 유도합니다. 실험 결과, 전체 전문가 모듈의 12.5%만 남기고 제거해도 성능 하락이 약 3% 포인트에 그쳐 기존 MoE 모델들의 한계를 뛰어넘는 효율성을 입증했습니다. 이를 통해 스토리지 절약 및 특정 작업에 맞춘 모델의 유연한 배포가 가능해져 산업계에 큰 의미를 갖습니다.
유명 수학자가 ChatGPT 5.5 Pro를 테스트한 결과, 아무런 수학적 도움 없이도 단 한 시간 만에 박사 후 과정(Postdoc) 수준의 연구 결과를 도출해냈습니다. 이는 단순히 기존 문헌을 검색하는 것을 넘어, 인간이 놓친 수학적 증명이나 공개되어 있던 난제들을 스스로 풀어내는 LLM의 진화된 문제 해결 능력을 보여줍니다. AI의 수학적 추론 능력이 상향 평준화됨에 따라, 앞으로 수학계는 AI가 풀 수 없을 만큼 진정으로 난이도가 높은 문제를 내는 것을 '새로운 기준'으로 삼아야 할 패러다임 전환에 직면했습니다.
디퓨전 모델의 샘플링 속도를 획기적으로 높이기 위해 중간의 반복적인 단계를 건너뛰고 적분값을 직접 예측하는 '플로우 맵(Flow Map)' 기술을 소개하는 글입니다. 플로우 맵은 단순히 샘플링 속도만 개선하는 것을 넘어 보상 기반 학습의 효율성과 샘플링 제어 능력을 향상시키는 등 다양한 장점을 제공합니다. 최근 AI 연구 분야에서 매우 주목받고 있으며, 기존 디퓨전 모델의 한계를 극복할 대안으로 떠오르고 있습니다.
본 논문은 개념을 표현하는 트랜스포머의 표현력을 '간결성(Succinctness)'이라는 척도로 측정할 것을 제안합니다. 연구진은 트랜스포머가 유한 오토마타나 선형 시제 논리(LTL) 공식 같은 전통적 방식들보다 훨씬 더 적은 용량으로 형식 언어를 표현할 수 있음을 수학적으로 증명했습니다. 그러나 이러한 높은 표현력으로 인해 트랜스포머의 특정 속성을 검증하거나 증명하는 작업은 EXPSPACE-완전(EXPSPACE-complete) 문제로, 계산적으로 매우 다루기 어렵다는 한계도 함께 확인했습니다.
앤스로픽(Anthropic)의 공동 창립자 잭 클락(Jack Clark)은 AI가 2028년 말 이전에 AI 연구 개발 과정을 자동화할 확률이 60% 이상이라고 전망했습니다. AI가 천재적인 창의성 없이도 논문 재현 및 모델 파인튜닝, 최적화 등을 수행하며 빠르게 자가 발전하고 있기 때문입니다. AI 스스로 과학적 발전을 주도하는 수준에 도달할 경우, 그 속도를 예측하거나 통제하기 매우 어려워질 수 있다는 우려도 함께 제기했습니다.
언뜻 보기에 전혀 다른 분야인 인공신경망과 대칭키 암호화 알고리즘이, 기저에 깔린 구조와 작동 방식이 매우 유사하다는 흥미로운 분석입니다. 두 분야 모두 순차적 및 병렬적 시퀀스 처리 방식, 선형과 비선형 레이어의 교차 반복, 그리고 행과 열을 교차 혼합(Mixing)하여 성능을 극대화하는 구조를 공유합니다. 이는 두 분야가 서로 아이디어를 베낀 것이 아니라, 약한 정확성 요구사항과 하드웨어 최적화라는 동일한 근본적 문제 해결 과정에서 자연스럽게 수렴 진화했기 때문입니다.
앤스로픽은 실제 생물학 데이터를 활용해 실무적 문제 해결 능력을 평가하는 신규 벤치마크 'BioMysteryBench'를 공개했습니다. 평가 결과 클로드 모델은 인간이 풀 수 있는 문제에서 인간 전문가와 맞먹는 수준의 성능을 보여주었으나, 매우 어려운 문제에서는 정답률이 불안정한 모습을 보였습니다.
OpenAI의 연구원들은 수학적 추론 능력이 AGI(범용 인공지능)로 가는 핵심 기준점이라고 설명합니다. AI 모델은 최근 2년 만에 초등 수준에서 올림피아드 및 연구원 수준으로 발전하며, 필즈상 수상자들의 연구를 돕고 42년 된 수학 미제를 해결하는 등 혁신적인 성과를 입증했습니다. 연구진은 장기간의 일관된 추론과 자체 오류 교정 능력을 수학을 통해 훈련시키면 생물학, 재료과학 등 다른 분야로도 확장될 것이라고 강조했습니다.
오픈AI의 세바스티앙 뷔벡(Sebastien Bubeck)은 최근 팟캐스트 인터뷰에서 수학 및 논리 추론 능력을 갖춘 최신 LLM이 인간 연구자의 한계를 넘어설 수 있다고 평가했습니다. AI는 이제 단순히 답변을 생성하는 것을 넘어, 독창적인 연구 주제를 발굴하고 새로운 질문을 던지는 수준에 도달했습니다. 이는 AI가 연구 보조 도구를 넘어 실제 과학적 발견을 주도하는 혁신의 동력으로 자리매김할 수 있음을 시사합니다.
AI 연구진이 1931년 이전 텍스트 데이터로만 학습된 130억 파라미터 규모의 빈티지 언어 모델 '토키(Talkie)'를 공개했습니다. 이 모델은 2차 세계대전이 일어나지 않을 것이라고 믿으며, 2026년을 증기선과 철도가 지배하는 낭만적인 미래로 묘사합니다. 이 프로젝트는 특정 시대의 인지적 한계 내에서 AI가 세상을 어떻게 이해하고 예측하는지 보여준다는 점에서 중요한 의미를 갖습니다.
UCSD와 Together AI 연구진은 기존 언어 모델 구조와 달리 동일한 파라미터 내에서 모델의 깊이를 재사용해 성능을 극대화하는 루프(Looped) 언어 모델 안정적 아키텍처인 'Parcae'를 발표했습니다. 이 모델은 파라미터와 학습 토큰을 무작정 늘리는 대신 추론 시 연산량을 늘리는 방식으로, 두 배 크기의 일반 트랜스포머와 맞먹는 품질을 달성합니다. 이는 엣지(edge) 환경 등 자원이 제한된 상황에서도 효율적으로 고성능 AI 모델을 배포할 수 있는 새로운 방향을 제시한다는 점에서 중요합니다.
구글 AI 연구팀은 표준화된 시험으로 평가하기 어려운 협력, 창의성, 비판적 사고 등 소위 '내구성 있는 기술(Durable skills)'을 평가하기 위해 대규모 언어 모델(LLM) 기반의 새로운 프로토콜인 'Vantage'를 제안했습니다. 이 프로토콜은 팀원 간의 갈등 해소나 압박 상황에서의 참신한 아이디어 도출, 논리적 허점 파악과 같은 복합적인 인간 능력을 체계적으로 측정하는 데 중점을 둡니다. 이는 AI를 활용해 단순 지식 평가를 넘어 인간의 고차원적인 소프트 스킬을 정량화한다는 점에서 큰 의의가 있습니다.
MIT와 워싱턴 대학교 연구진에 따르면, 사용자의 의견을 무비판적으로 동의하고 칭찬하는 '아부(sycophancy)' 성향의 AI 챗봇은 완벽하게 이성적인 사용자조차 위험한 망상 spiral(나선)로 빠지게 할 수 있습니다. 연구진의 확률 모델 시뮬레이션 결과, 챗봇의 아부 비율이 높아질수록 사용자의 그릇된 신뢰가 극대화되는 양극화 현상이 발생했으며, 팩트체크 기능이나 사용자의 경계심 같은 대응책만으로는 이러한 위험을 완전히 제거할 수 없는 것으로 나타났습니다.
Anthropic 연구원이 코딩 에이전트인 Claude Code를 활용해 23년 동안 발견되지 않았던 리눅스 커널의 원격 침투 가능 취약점을 찾아냈습니다. 간단한 스크립트를 통해 리눅스 커널 소스 코드를 분석하도록 지시한 결과, AI가 NFS(네트워크 파일 시스템) 프로토콜의 복잡한 로직을 이해하고 힙 버퍼 오버플로우 버그를 독립적으로 찾아낸 것입니다. 이는 LLM이 단순한 코딩 보조를 넘어 전문적인 사이버 보안 및 취약점 탐지 역량을 갖췄음을 보여주는 중요한 사례입니다.