Krea 2 공개: 창의적 탐색을 강화한 12B 오픈웨이트 이미지 모델
Krea 2는 단순히 완성도 높은 기본 스타일을 넘어, 사용자가 다양한 미적 스타일과 분위기를 폭넓게 탐색할 수 있도록 설계된 120억 개 매개변수(12B) 규모의 최신 오픈웨이트 이미지 생성 모델입니다. 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처와 다단계 학습 파이프라인을 통해 표현력과 제어력을 극대화했으며, 관대한 라이선스로 가중치를 공개해 실무자들이 자유롭게 활용할 수 있다는 점에서 중요합니다.
원문 제목: Krea 2: SOTA 오픈웨이트 12B 이미지 모델 소스: 해커뉴스(hackernews) 본문: 연구: Krea 2 기술 보고서
이 기술 보고서에서는 폭넓은 미적 다양성과 사용자의 창의적 제어를 모두 위해 설계된 파운데이션 모델 시리즈인 Krea 2를 소개합니다. 우리는 다음을 다룹니다: (1) 데이터 큐레이션 원칙, (2) 모델 아키텍처, (3) 다단계 학습 파이프라인, (4) 분산 인프라, (5) 향후 연구 방향.
Sangwu Lee, Erwann Millon, Le Zhuo, Matthew Newton, Andrei Filatov, Abhinay Devarinti, Elea Zhong, Avram Djordjevic, Gabriel Menezes, Will Beddow, Titus Ebbecke, Mihai Petrescu, Owen Fahey, Gian Saß, Felix Gil, Victor Perez · 2026년 6월 23일 · 58분 분량 릴리스 페이지 | 공식 웹사이트 | 허깅페이스(Hugging Face) 가중치 및 라이선스 | 깃허브(GitHub) 코드 및 라이선스 해당 모델 가중치와 추론 코드는 관대한(제한이 적은) 라이선스로 공개됩니다.
들어가며 지난 몇 년간 이미지 생성 기술은 괄목할 만한 발전을 이루었습니다. 확산(Diffusion) 및 플로우 매칭(Flow-matching) 모델은 고해상도 이미지를 생성하고, 선명하고 사실적인 결과물과 안정적인 구조를 만들어내며, 조밀한 텍스트를 렌더링하고, 폭넓은 세계 지식을 인코딩하며, 사용자 프롬프트를 정교하게 따를 수 있게 되었습니다. 이러한 발전은 확장 가능한 트랜스포머 아키텍처, 개선된 캡셔닝 및 텍스트 인코더, 더 나은 잠재 표현(latent representations), 그리고 파이프라인화된 사후 학습(post-training) 기법 등 여러 상호작용하는 요소들에 의해 주도되었습니다.
하지만 업계가 이러한 기능들의 신뢰성에 최적화를 거듭함에 따라, 많은 시스템이 좁은 범위의 획일화된 기본 미학으로 수렴하는 현상을 보였습니다. 이들은 훌륭한 상용 도구일 수 있지만, 창의적 탐색의 도구로서는 효율성이 떨어집니다. 사용자들은 종종 단순히 세련된 기본값 하나를 받기보다는 스타일, 분위기, 구도, 시각적 방향성 등을 다양하게 탐색해야 하기 때문입니다.
이러한 한계를 극복하기 위해, 우리는 창의적 탐색에 초점을 맞춘 파운데이션 모델 시리즈인 Krea 2를 발표합니다. Krea 2 모델은 이미지 생성이 탐구적인 매개체여야 한다는 믿음을 바탕으로 제작되었습니다. 즉, 다양한 미학을 아우를 만큼 표현력이 풍부하면서도, 크리에이터가 이를 능숙하게 탐색할 수 있도록 제어할 수 있어야 합니다. 우리는 폭넓은 세계 지식과 다양한 스타일을 포괄하는 포괄적인 사전 학습 데이터셋을 구축하기 위해 대규모 데이터 인프라와 분산 학습 프레임워크를 처음부터 새로 구축했습니다.
이 인프라를 활용하여 우리는 사전 학습, 중간 학습, 감독 미세조정(SFT), 선호도 최적화, 강화학습(RL)에 이르는 다단계 파이프라인을 통해 표현력이 풍부한 모델을 학습시켰으며, 각 단계는 모델의 출력 분포를 점진적으로 세밀하게 다듬도록 설계되었습니다. 우리는 철저한 제거 실험(ablation)을 통해 간결하면서도 뛰어난 성능의 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 개발했습니다. 이 모델은 iREPA, 개선된 VAE, 그리고 Qwen3-VL을 포함하여 수렴을 가속화하는 여러 구성 요소를 통합했습니다. 또한 그룹화 쿼리 어텐션(Grouped-query attention, GQA), 시그모이드 게이트 어텐션(sigmoid-gated attention), 가벼운 타임스텝 변조(lightweight timestep modulation), 그리고 텍스트 인코더 특징을 위한 다층 특징 집계(multilayer feature aggregation) 등 훈련 안정성과 효율성을 높이는 여러 아키텍처 개선 사항을 통합했습니다.
강력한 기반 모델은 사용자가 자신이 원하는 결과물을 신뢰할 수 있게 도출할 수 있을 때만 의미가 있습니다. 학습 과정에서 모델은 이미지를 시각적으로 조밀하고 디테일하게 묘사하는 풍부하고 정교하게 제작된 캡션으로부터 학습합니다. 하지만 실제 환경에서 사용자의 입력은 종종 더 짧고 모호하며, 제각각의 다른 표현 습관에 따라 달라집니다. 어떤 사용자는 자연어로 장면을 묘사하는 반면, 다른 사용자는 분위기, 스타일 또는 참조 이미지를 통해 의도를 전달합니다. 이로 인해 모델이 학습한 조건부 공간(conditioning space)과 실제 추론 시점에 표현되는 창의적 의도 사이에 격차가 발생합니다.
이러한 격차를 줄이기 위해, 우리는 텍스트와 이미지 입력 모두에서 Krea 2를 더욱 탐색적이고 사용자가 원하는 방향으로 조종(steerable)할 수 있게 만드는 두 가지 시스템, 즉 프롬프트 확장기(prompt expander)와 스타일 참조 시스템(style-reference system)을 구축했습니다. 프롬프트 확장기는 사용자의 의도를 덮어쓰지 않으면서 단순하거나 불충분한 사용자 프롬프트를 더 풍부한 시각적 방향으로 매핑합니다. 이는 오픈소스 대형 언어 모델(LLM) 기반에서 2단계 SFT 및 RL 파이프라인을 통해 학습되며, 단순히 이미지 품질을 향상시키는 것뿐만 아니라 [창의적 탐색을 장려하는 것을 목표로 합니다.]