BL
MarkTechPost • 18일 전
큐타이, 다중 악기 MIDI 변환 트랜스포머 'MuScriptor' 공개
IMP 7/10
핵심 요약
큐타이(Kyutai)는 오디오를 다중 악기 MIDI로 변환하는 오픈 웨이트 디코더 전용 트랜스포머 모델인 'MuScriptor'를 공개했습니다. 이 모델은 실제 녹음본과 대규모 합성 MIDI 데이터를 학습하여 복잡하게 믹스된 다중 악기 연주를 정확하게 악보(MIDI)로 전사할 수 있습니다. 관련 벤치마크, 악기 조절 기능, 대화형 데모까지 제공되어 오디오 및 음악 AI 실무자들에게 매우 유용한 오픈소스 도구입니다.
번역된 본문
MuScriptor는 큐타이(Kyutai)와 미렐로(Mirelo)가 개발한 오픈 웨이트(open-weight) 기반의 디코더 전용 트랜스포머(Transformer) 모델입니다. 이 모델은 17만 개의 실제 녹음본과 145만 개의 합성 MIDI 데이터를 바탕으로 학습되었으며, 완전한 다중 악기 믹스 오디오를 MIDI 파일로 전사(변환)하는 기능을 수행합니다.
이 글에서는 3단계로 구성된 처리 파이프라인, YourMT3+와의 벤치마크 성능 비교, 악기 조건 부여(instrument conditioning) 방식, 그리고 설정 방법을 다루며, 직접 조작해 볼 수 있는 인터랙티브 설명 데모도 함께 제공합니다.
'큐타이, 다중 악기 음악을 MIDI로 전사하는 오픈 웨이트 디코더 전용 트랜스포머 MuScriptor 공개'라는 제목의 이 글은 MarkTechPost를 통해 가장 먼저 게재되었습니다.
원문 보기 (영어)
MuScriptor is an open-weight, decoder-only Transformer from Kyutai and Mirelo. Trained on 170k real recordings plus 1.45M synthetic MIDIs, it transcribes full multi-instrument mixes into MIDI. The article covers its three-stage pipeline, benchmarks against YourMT3+, instrument conditioning, and setup, with an interactive explainer demo.
The post Kyutai Releases MuScriptor: An Open-Weight Decoder-Only Transformer for Multi-Instrument Music Transcription to MIDI appeared first on MarkTechPost.