#기계 학습

대규모 언어 모델이 표 형식 예측에 실패하는 이유

최신 대규모 언어 모델(LLM)이 가장 흔한 기계학습 작업 중 하나인 표 형식 데이터의 예측 분석에서 성능이 저조한 원인을 규명한 논문입니다. 연구 결과, 노이즈나 CSV 포맷 등의 문제가 아니라 '데이터 차원수(dimensionality)'가 증가할수록 LLM의 예측 능력이 급격히 상실되는 결정적인 한계가 발견되었습니다. 이는 최신 LLM이 수십 년 된 고전적 기계학습 모델에 비해 표 데이터 처리에 취약한 근본적인 이유를 설명해 주며, 전문 실무자들에게 매우 중요한 시사점을 던집니다.

신경 입자 오토마타(NPA): 자가 조직화 입자 역학 학습

EPFL과 KAIST 연구진이 고정된 격자 환경에서 작동하던 기존 모델을 동적인 입자 시스템으로 일반화한 '신경 입자 오토마타(NPA)'를 발표했습니다. 이 모델은 메모리 효율적인 CUDA 커널과 미분 가능한 SPH(Smoothed Particle Hydrodynamics) 연산을 활용하여 수많은 입자 간의 복잡한 상호작용과 형태 발생, 재생 등의 자가 조직화(Self-organizing) 과정을 엔드투엔드로 학습합니다. 이는 물리 시뮬레이션 및 로보틱스 등 동적인 환경을 모델링하는 데 있어 중요한 연구 성과입니다.