오가니제이션에서 자율형 AI 에이전트가 예산 내에서 뮤직비디오를 직접 제작하는 실험을 진행했습니다. 뮤직비디오 생성, ffmpeg 편집, 최종 컷 조립까지 모든 과정을 모델이 자율적으로 수행했습니다. Claude Fable 5와 GPT-5.6 Sol 모델의 작업 방식, 비용 효율성, 도구 활용 방식의 차이를 비교한 실무자 관점의 중요한 벤치마크 결과입니다.
번역된 본문
모든 게시물 우리는 딱 한 가지 작업을 수행하는 작은 자율형 에이전트 하네스를 구축했습니다. 모델에게 노래, 엄격한 달러 예산, 도구 세트를 전달한 뒤, 방해하지 않고 모델 스스로 전체 뮤직비디오를 제작하게 두는 것입니다. 이 모델은 어떤 비디오 생성 모델이 있는지 조사하고, 클립을 생성하며, 자신이 만든 영상을 검토하고, ffmpeg로 편집한 후 최종 컷을 조립합니다. 지난 빌드오프를 본 몇몇 독자들이 모델 간의 도구 사용 방식이 실제로 어떻게 다른지 보고 싶다고 했습니다. 그래서 우리는 각 모델이 무엇을 조사하고, 무엇을 생성하며, 어떻게 편집할지 스스로 결정하는 개방형 장기 과제를 최고 수준의 프론티어 모델들에게 주었습니다. 모든 도구 호출을 기록했으므로 각 모델이 정확히 어떻게 작동했는지 확인할 수 있습니다(전체 기록은 아래 참조). Claude Fable 5와 GPT-5.6 Sol 두 모델을 각각 25달러와 100달러 예산으로 실행하여 총 4회 테스트했습니다. 매 실행마다 동일한 노래(브루노 마스와 마크 론슨의 "Uptown Funk"), 간단한 텍스트 설명, 타임스탬프가 찍힌 가사가 제공되었습니다. 설정 각 모델은 6가지 도구를 사용하여 자율적 도구 호출 루프를 실행했습니다. plan: 사고용 도구(비용 발생 없음, 동작 없음). web_search: 생성 모델과 API를 조사하고 뮤직비디오 정보를 가져옵니다(필요한 경우). get_budget: 남은 예산을 확인합니다. generate_image 및 generate_video: 예산을 소비하는 유일한 도구입니다. 모델은 FAL이나 Replicate의 어떤 모델이든 선택하고 자체 매개변수를 전달할 수 있습니다. run_command: ffmpeg/ffprobe를 사용할 수 있는 로컬 셸로, 오디오 분석, 클립 잘라내기 및 연결, 최종 비디오 믹싱에 사용됩니다. 예산이 0에 도달하면 유료 생성은 거부되지만, 모델은 계속 편집할 수 있습니다. 모든 모델 메시지, 도구 호출, 요금 및 오류가 기록되었습니다. 전체 하네스는 github.com/hershalb/music-video-arena 에 오픈소스로 공개되어 있으므로 직접 실행할 수 있습니다. 4개의 비디오 아래의 각 클립은 모델이 직접 조립한 최종 output.mp4로, 원본 노래가 믹싱된 전체 길이입니다. Claude Fable 5 · $25 GPT-5.6 Sol · $25 Claude Fable 5 · $100 GPT-5.6 Sol · $100 숫자 4번의 실행 모두 스스로 완료되었으며(단계나 시간 제한에 도달한 것은 없음), 원본 노래가 믹싱된 유효한 전체 길이의 비디오를 모두 생성했습니다. 모델 예산 ↕ 실제 소요 시간 ↕ 단계 ↕ 이미지 ↕ 비디오 ↕ 실패한 호출 ↕ 생성 비용 ↕ 출력 해상도 ↕ Claude Fable 5 $25 39분 10초 25 0 54 1 $24.30 1280x720 GPT-5.6 Sol $25 42분 52초 38 61 46 10 $23.18 1280x720 GPT-5.6 Sol $100 49분 39초 34 0 70 2 $36.57 1280x720 Claude Fable 5 $100 38분 56초 28 0 80 0 $48.60 1920x1080 "생성 비용"은 예산 상한이 적용되는 FAL의 종량제 비용입니다. 25달러 예산에서는 두 모델 모두 거의 예산을 소진했습니다. 100달러 예산에서는 각각 36.57달러(Sol)와 48.60달러(Fable)를 지출했으므로, 예산이 많을수록 더 많은 영상을 생성했습니다. 여기에는 모델 자체를 실행하는 비용은 포함되지 않으며, 이는 아래에 추가로 계산했습니다. 완성된 비디오까지의 시간 각 모델이 구축한 방식 모델이 직접 도구를 선택하게 하자, 각기 다른 방식을 보였습니다. 4번의 실행 중 3번은 순수한 텍스트-투-비디오(text-to-video) 방식을 사용했습니다. 오직 25달러 예산의 GPT-5.6 Sol만이 이미지-투-비디오 파이프라인(먼저 정지 이미지를 생성한 후 애니메이션화)을 사용했습니다. 100달러 예산의 GPT-5.6 Sol은 단일 실행에서 세 가지 다른 비디오 모델을 혼합하여 사용했습니다. 실행 이미지 모델 비디오 모델 접근 방식 Fable 5 · $25 없음 Wan 2.5 t2v (초당 $0.05) 텍스트-투-비디오 전용 Sol · $25 FLUX schnell (이미지당 $0.003) Wan 2.2-5b i2v (초당 $0.10) 키프레임 후 이미지-투-비디오 Sol · $100 없음 Wan 2.5 (초당 $0.05), Veo 3.1 Lite (초당 $0.10), Hailuo 2.3 Standard (비디오당 $0.28) 텍스트-투-비디오, 모델 혼합 Fable 5 · $100 없음 Seedance 1.0 Pro t2v (1080p 기준 초당 약 $0.12) 텍스트-투-비디오 전용 가격은 FAL에 명시된 요금이며, 특별한 언급이 없는 한 출력 비디오 1초당 가격입니다. Hailuo 2.3 Standard는 비디오당 가격이 책정되며(6초 클립당 약 $0.28), Seedance 1.0 Pro는 토큰 가격 책정입니다(5초 1080p 클립당 약 $0.62, 위에는 초당 유효 요금으로 표시). 실행당 생성된 개별 클립 수는 46개에서 80개 사이였습니다. 도구 사용량 각 실행이 도구 호출을 어떻게 사용했는지(여기에는 실패한 생성 호출을 포함한 시도 횟수가 포함됩니다). Claude Fable 5 · $25 GPT-5.6 Sol · $25 Claude Fable 5 · $100 GPT-5.6 Sol · $100 각 실행의 전체 기록, 모든 계획, 도구 호출 및 명령어 내용입니다.
All posts We built a small agentic harness with one job: hand a model a song, a hard dollar budget, and a set of tools, then get out of the way and let it produce a full music video on its own. The model researches which video models exist, generates clips, watches its own footage, edits with ffmpeg, and assembles a final cut. A few readers of our last build-off said they wanted to see how tool use actually varies between models, so we gave frontier-level models an open-ended, long-horizon task where each model decides on its own what to research, what to generate, and how to edit. We log every tool call, so you can see exactly how each one worked (full transcripts below). We ran two models, Claude Fable 5 and GPT-5.6 Sol , each at two budgets ($25 and $100), for four runs total. Every run got the same song (Bruno Mars and Mark Ronson's "Uptown Funk"), a short text description, and a time-stamped lyric transcript. The setup Each model ran an autonomous tool-calling loop with six tools: plan : a tool for thinking (no cost, no action). web_search : to research generation models and their APIs and fetch information about music videos (if needed). get_budget : to check the remaining budget. generate_image and generate_video : the only tools that spend budget. The model can pick any FAL or Replicate model and pass its own parameters. run_command : a local shell with ffmpeg/ffprobe available, used to analyze audio, cut and concatenate clips, and mux the final video. Once the budget hits zero, paid generation is refused, but the model can keep editing. Every model message, tool call, charge, and error was logged. The whole harness is open source at github.com/hershalb/music-video-arena , so you can run it yourself. The four videos Each clip below is the model's final, self-assembled output.mp4, full length with the original song muxed in. Claude Fable 5 · $25 GPT-5.6 Sol · $25 Claude Fable 5 · $100 GPT-5.6 Sol · $100 The numbers All four runs finished on their own (none hit a step or time limit) and all four produced a valid, full-length video with the original song muxed in. Model Budget ↕ Wall-clock ↕ Steps ↕ Images ↕ Videos ↕ Failed calls ↕ Generation spend ↕ Output ↕ Claude Fable 5 $25 39m10s 25 0 54 1 $24.30 1280x720 GPT-5.6 Sol $25 42m52s 38 61 46 10 $23.18 1280x720 GPT-5.6 Sol $100 49m39s 34 0 70 2 $36.57 1280x720 Claude Fable 5 $100 38m56s 28 0 80 0 $48.60 1920x1080 "Generation spend" is the metered FAL cost, which is what the budget caps. At $25 both models nearly exhausted it. At $100 they spent $36.57 (Sol) and $48.60 (Fable), so more budget did translate into more footage. It does not include the cost of running the model itself, which we add below. Time to finished video What each model built with Left to choose their own tools, the models diverged. Three of the four runs went pure text-to-video. Only GPT-5.6 Sol at $25 used an image-to-video pipeline (generating stills first, then animating them). GPT-5.6 Sol at $100 mixed three different video models in a single run. Run Image model Video model(s) Approach Fable 5 · $25 none Wan 2.5 t2v ($0.05/s) Text-to-video only Sol · $25 FLUX schnell ($0.003/img) Wan 2.2-5b i2v ($0.10/s) Keyframe, then image-to-video Sol · $100 none Wan 2.5 ($0.05/s), Veo 3.1 Lite ($0.10/s), Hailuo 2.3 Standard ($0.28/video) Text-to-video, mixed models Fable 5 · $100 none Seedance 1.0 Pro t2v (~$0.12/s at 1080p) Text-to-video only Prices are FAL's listed rates, shown per second of output video unless noted. Hailuo 2.3 Standard is priced per video (about $0.28 per 6s clip), and Seedance 1.0 Pro is token-priced (~$0.62 per 5s 1080p clip, shown above as its effective per-second rate). Distinct clips generated per run ranged from 46 to 80. Tool usage How each run spent its tool calls (this counts attempts, including failed generation calls). Claude Fable 5 · $25 GPT-5.6 Sol · $25 Claude Fable 5 · $100 GPT-5.6 Sol · $100 Each run's full transcript, every plan, tool call, and command, is here: Fable 5 · $25 , Sol · $25 , Sol · $100 , Fable 5 · $100 . Errors along the way "Failed calls" are generation requests that returned an error (mostly transient network failures to the provider). They were not charged, but the model spent steps retrying them. Token usage Run Input tokens Output tokens Reasoning Cached input Fable 5 · $25 1,476,900 44,341 n/a 0 Sol · $25 2,956,270 33,220 9,656 2,558,029 Sol · $100 2,097,572 31,715 12,330 1,819,050 Fable 5 · $100 2,264,610 48,029 n/a 0 Total cost per run The budget only meters generation (FAL) spend. Adding the LLM token cost for Claude Fable 5 ($10 / $50 per 1M input/output) and GPT-5.6 Sol ($5 / $30), gives the total cost of each run. Run Generation spend LLM token cost Total cost Fable 5 · $25 $24.30 $16.99 $41.29 Sol · $25 $23.18 $4.27 $27.45 Sol · $100 $36.57 $3.25 $39.82 Fable 5 · $100 $48.60 $25.05 $73.65 For Claude Fable 5, the tokens alone ran $16.99 to $25.05, about 30-40% of each run's total. GPT-5.6 Sol's token cost stayed near $3-4 despite similar token volume. Method notes Same inputs for all four runs: song, a short text description, and a time-stamped lyric transcript. Each model chose its own generation models on FAL and did its own ffmpeg editing. Wall-clock time includes the model's own retries and any waiting on provider queues. Generation spend is a best-effort estimate from a per-model price table. Try it yourself The arena is open source: github.com/hershalb/music-video-arena . Point it at your own song and budget, swap in whichever models you want to pit against each other, and see what they build. Issues and PRs welcome, we would love feedback on the setup. Our take None of the music videos were great, but watching how the models got there was pretty interesting and does show where gaps still clearly exist for frontier-level models. A few things notes: Character and story consistency was a struggle for all four. Recurring characters drift between shots, and none of the videos hold a coherent storyline from start to finish. The models take lyrics very literally. "Make a dragon wanna retire, man" gets you an actual dragon on screen. It's interesting for a few shots, but got a little weird after a while. Tempo matching is weak. The cuts land on the beat (they all ran the ffmpeg beat detection), but the motion inside the clips, dancing, camera moves, rarely matches the song's tempo, so it often feels a little off. An example line "gotta kiss myself I'm so pretty", shows the main character making a kissing motion way too slowly. GPT-5.6 Sol at $25 was the most inventive editor. It overlaid text and animated still images with video effects, techniques none of the other runs tried. The rest mostly just stitched generated clips together. GPT 5.6 Sol $100 also tried multiple video models instead of just sticking with one like Fable did. Nobody really iterated on the edit. Once clips existed, the models concatenated and muxed, but rarely went back to re-cut or add effects, and none seriously probed their own clips to confirm they were any good. GPT-5.6 Sol's $100 run shipped some genuinely low-quality AI clips, while Claude Fable 5 happened to pick a model with more coherent output. Some of this is probably a model limitation, but the lack of self-review is notable. Neither model touched Replicate. Both FAL and Replicate keys were available, but all four runs used FAL exclusively. Claude Fable 5 was the pricier pick. It cost more per run (and the most overall, at $73.65) despite finishing faster than GPT-5.6 Sol. Subjectively, we slightly preferred the Fable $100 video, though none blew us away. $100 was probably too much budget. Neither model wanted to spend near the cap, and both kept their step counts modest. With that headroom they could have, for example, generated consistent character images up front and animated from those, but neither chose to. We'll see if models can improve on more subjective/stylistic task