BL
r/LocalLLaMA • 45일 전
LLM 디코더 블록의 학습 과정 변화 영상
IMP 3/10
핵심 요약
자체 LLM 모델을 학습(fine-tuning)시키는 동안 디코더 블록(decoder block) 내부 가중치나 데이터가 시각적으로 어떻게 변화하는지를 담은 영상을 공유했습니다. 기존에 화제가 되었던 정적 이미지 게시글에 이어, 사용자들의 요청에 따라 변화 과정을 한눈에 볼 수 있도록 동영상으로 제작된 것입니다. 레딧의 영상 압축 문제로 인해 화질이 저하되어, X(옛 트위터)에 업로드된 원본 영상 링크를 함께 제공하고 있습니다.
번역된 본문
이 글은 이전에 큰 화제를 모았던 저의 게시물에 대한 후속편입니다: https://www.reddit.com/r/LocalLLaMA/comments/1sivm24/heres_how_my_llms_decoder_block_changed_while/
해당 데이터를 영상으로 만들어달라는 요청이 많아서 이렇게 제작해 보았습니다. 즐겁게 감상해 주세요!
수정: 레딧(Reddit)에서 강한 압축을 적용해 화질이 너무 뭉개진 것 같네요. 제 X(옛 트위터) 계정에 올린 영상이 화질이 더 낫다면 알려주세요: https://x.com/curvedinf/status/2044521120250966099
원문 보기 (영어)
This is in response to my popular post: [https://www.reddit.com/r/LocalLLaMA/comments/1sivm24/heres\_how\_my\_llms\_decoder\_block\_changed\_while/](https://www.reddit.com/r/LocalLLaMA/comments/1sivm24/heres_how_my_llms_decoder_block_changed_while/)
It was requested that I make a video of this data, so here it is. Enjoy!
Edit: I see that reddit nuked it with compression. Let me know if my X post is any better: [https://x.com/curvedinf/status/2044521120250966099](https://x.com/curvedinf/status/2044521120250966099)