이 논문은 연속 벡터로 정보를 표현하는 신경망의 내부 표현이 실제로는 암묵적으로 기호 구조(symbolic structure)를 구현한다고 주장합니다. 연구진은 다양한 신경망의 벡터 표현을 폐쇄형 수식으로 근사해도 네트워크의 행동이 거의 변하지 않음을 보였으며, 이 근사를 통해 LLM의 행동을 정밀하게 제어할 수도 있었습니다. 이는 기호 기반 지능 관점과 현대 벡터 기반 AI를 조화시킬 수 있는 잠재적 통찰을 제공합니다.
한 개발자가 해커뉴스(Hacker News)를 통해 SQL 쿼리만으로 신경망(Neural Network)을 구현한 프로젝트를 공유했습니다. 이 프로젝트는 파이썬의 다차원 배열 라이브러리인 Xarray와 SQL을 결합하여, 복잡한 딥러닝 프레임워크 없이도 데이터베이스 엔진 위에서 모델 학습이 가능함을 보여줍니다. 데이터 기반의 전통적인 SQL 환경에서도 머신러닝 파이프라인을 통합할 수 있다는 점에서 기술적 의의가 있습니다.
EPFL과 KAIST 연구진이 고정된 격자 환경에서 작동하던 기존 모델을 동적인 입자 시스템으로 일반화한 '신경 입자 오토마타(NPA)'를 발표했습니다. 이 모델은 메모리 효율적인 CUDA 커널과 미분 가능한 SPH(Smoothed Particle Hydrodynamics) 연산을 활용하여 수많은 입자 간의 복잡한 상호작용과 형태 발생, 재생 등의 자가 조직화(Self-organizing) 과정을 엔드투엔드로 학습합니다. 이는 물리 시뮬레이션 및 로보틱스 등 동적인 환경을 모델링하는 데 있어 중요한 연구 성과입니다.
마이크로소프트 연구원은 전략 게임인 에이지 오브 엠파이어 2 내에서 디지털 염소를 활용해 기초적인 신경망(LLM)을 구현했습니다. 이를 통해 현재 우리가 LLM의 성능을 과도하게 의인화하고 있다는 점을 날카롭게 비판하며, 인터페이스의 차이가 인공지능에 대한 잘못된 인식을 만든다고 지적합니다.
마이크로소프트 연구원이 '에이지 오브 엠파이어 2' 맵 에디터 내에서 염소를 활용해 실제 작동하는 신경망을 구현했습니다. 이는 언어 모델(LLM)에 인간과 같은 감정이나 자아가 있다고 가정하는 현재의 AI 연구 트렌드를 비판하기 위한 일종의 사고 실험입니다. 연구자는 AI가 인간처럼 보이는 것은 단지 포장(UI와 언어)의 결과일 뿐이며, 이러한 의인화 오류가 최근 AI 논문의 절반 이상에서 나타나고 있다고 지적합니다.
해커뉴스(Hacker News)에 생물학적 원리에서 영감을 받은 '신경 세포 자동화(NCA)'를 활용해 저해상도의 한계를 극복하고 실시간으로 고해상도 결과물을 생성하는 연구가 공개되었습니다. 이 모델은 저해상도 격자에서 작동하는 NCA와 가벼운 암시적 디코더(LPPN)를 결합하여, 기존의 심각한 메모리 및 연산량 문제를 해결하면서도 자체 조직화 능력을 완벽하게 유지합니다. 이를 통해 2D/3D 그래픽 및 메시(Mesh) 환경에서 효율적이고 고품질의 텍스처 및 형태 생성이 가능해진 점이 핵심입니다.
스탠퍼드 대학의 연구진이 고전적 통계학의 직관을 깨는 딥러닝의 '양성 과적합(Benign Overfitting)' 현상을 설명하려 시도합니다. 모델이 파라미터를 무한정 늘려 개별 데이터를 완벽히 암기함에도 불구하고, 실제로는 훌륭한 일반화 성능을 보여주는 현상의 배경을 짚어냅니다. 단순한 경험적 방법론을 넘어, 왜 딥러닝 모델이 테스트 환경에서도 우수한 성능을 내는지 그 이론적 기반을 다지는 중요한 글입니다.
제이미 사이먼(Jamie Simon) 등 14명의 연구진은 딥러닝의 훈련 과정, 가중치, 성능 등을 설명하는 과학적 이론이 등장하고 있음을 주장합니다. 이 논문은 기계 학습 역학(learning mechanics)이라는 새로운 관점을 통해 다섯 가지 주요 연구 흐름을 통합하며, 기존의 '블랙박스'로 여겨지던 신경망의 작동 원리를 수학적, 역학적으로 규명할 수 있는 기반을 마련했다는 점에서 학계와 실무 양쪽에 큰 의의를 갖습니다.
본 글은 대형 언어 모델(LLM)이 고도로 추상화된 프로그래밍 언어의 코드를 생성할 때 발생하는 타입 불일치 문제를 지적하며, 타입 검사를 학습 후 처리하는 기존 방식의 한계를 분석합니다. 오류 발생 시 재시도하거나 매 토큰마다 타입을 강제하는 제약 디코딩 방식은 비효율적이거나 근본적인 해결책이 되지 못합니다. 따라서 모델의 가중치를 업데이트하여 근본적으로 타입이 지정된 출력을 생성하도록 LLM 구조를 재설계해야 한다고 강조합니다.
1989년 Macintosh SE/30의 하이퍼카드(HyperCard) 환경에서 트랜스포머 신경망을 온전히 구현한 'MacMind' 프로젝트가 공개되었습니다. 1,216개의 파라미터를 가진 이 모델은 현대 LLM과 완전히 동일한 수학적 원리(셀프 어텐션, 역전파 등)를 사용하여 빠른 푸리에 변환(FFT)의 초기 단계인 비트 역순 정렬을 스스로 학습합니다. 이 프로젝트는 거대 AI 모델의 작동 방식이 마법이 아니라 이해 가능한 수학임을 시각적으로 증명하며 AI의 기본 원리 교육에 큰 가치를 지닙니다.
이 글은 신경망 학습 과정에서 학습 데이터(Training Example)를 벡터 장(Vector Field)으로 간주하고, 두 데이터의 학습 순서를 바꿨을 때 파라미터에 미치는 영향을 수학적으로 계산하는 방법을 설명합니다. 미분 기하학의 '리 브래킷(Lie Bracket)' 개념을 적용해 데이터의 순서 의존성을 정량화하며, 이를 실제 합성곱 신경망(ConvNet) 학습에 적용한 실험 결과를 보여줍니다.