#기하학

알고리즘을 엮는 예술

이 강연은 끈 figures(string figures)를 알고리즘 예술로 탐구하며, 땋기 군(braid groups) 이론을 새롭게 적용해 끈 알고리즘을 분석합니다. 수학적 기호 체계의 역할을 논의하고, 폐쇄된 땋기(closed braids) 이론으로 모든 끈 figure를 생성하는 원리를 설명합니다. 실제 끈을 사용한 실습을 통해 수학과 알고리즘의 직관적 이해를 돕는 것이 핵심입니다.

5B 토큰 학습 중 내 LLM 디코더 블록의 변화 과정

기존 트랜스포머 모델의 MLP 디코더를 새로운 기하학적 구조인 'K-Splanifolds'로 교체하여 1,800만 파라미터(18M) 모델을 학습시키는 실험 결과를 공유했습니다. 5B(50억) 개의 토큰을 학습하는 동안 디코더 계층이 어떻게 발전하는지 시각화하여 보여주며, 놀랍게도 손실(loss)이 잘 감소하고 있어 학습 정체기에 도달할 때까지 훈련을 이어갈 계획입니다.