BL
MarkTechPost • 13일 전
파리 뇌 연결체를 결합한 LLM, 대조 실험에서 효과 없음 판명
IMP 4/10
핵심 요약
Fly Language Model(FLM)은 초파리 수컷 뇌 연결체(MaleCNS)의 166,700개 뉴런과 2,560만 개 연결을 토큰 임베딩으로 구동해 동결된 LFM2.5-1.2B-Instruct 모델에 소규모 학습 보정을 추가했습니다. 학습 파라미터는 278,528개에 불과하지만, 논문 자체의 대조 실험에서 그래프 없이 파라미터만 맞춘 모델이 모든 시드에서 오히려 더 나은 성능을 보였습니다.
번역된 본문
Fly Language Model(FLM)은 초파리 수컷 중추신경계 연결체(MaleCNS)의 유지된 166,700개 뉴런과 2,560만 개 에지(연결)를 토큰 임베딩으로 구동하고, 동결(frozen)된 LFM2.5-1.2B-Instruct 백본에 작은 학습된 보정값을 추가합니다. 실제로 학습되는 파라미터는 278,528개뿐입니다. 함께 공개된 프리프린트는 토큰당 0.0222 nat의 성능 향상을 보고하지만, 그래프 없이 파라미터 수만 맞춘 대조군이 모든 시드에서 오히려 약간 더 나은 성능을 보였습니다. 본 글에서는 아키텍처, 네 가지 대조 실험, 토큰당 0.6의 메모리 한계, MIT 라이선스 코드를 로컬에서 실행하는 방법을 상세히 다룹니다.
원문 보기 (영어)
The Fly Language Model (FLM) drives all 166,700 retained neurons and 25.6 million edges of the MaleCNS fruit fly connectome with token embeddings, then adds a small learned correction to a frozen LFM2.5-1.2B-Instruct backbone. Only 278,528 parameters train. The accompanying preprint reports a 0.0222 nat per token improvement over the backbone, but a parameter-matched control without the graph does slightly better in every seed. We break down the architecture, the four controls, the 0.6 per token memory bound, and what it takes to run the MIT-licensed code locally.
The post Fly Language Model (FLM) Wires the Full Fruit Fly Connectome Into a Frozen 1.2B LLM, and Its Own Controls Show the Wiring Does Not Help appeared first on MarkTechPost.