메뉴
HN
Hacker News 35일 전

Krea 2 공개: 창의적 탐색을 강화한 12B 오픈웨이트 이미지 모델

IMP
8/10
핵심 요약

Krea 2는 단순히 완성도 높은 기본 스타일을 넘어, 사용자가 다양한 미적 스타일과 분위기를 폭넓게 탐색할 수 있도록 설계된 120억 개 매개변수(12B) 규모의 최신 오픈웨이트 이미지 생성 모델입니다. 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처와 다단계 학습 파이프라인을 통해 표현력과 제어력을 극대화했으며, 관대한 라이선스로 가중치를 공개해 실무자들이 자유롭게 활용할 수 있다는 점에서 중요합니다.

번역된 본문

원문 제목: Krea 2: SOTA 오픈웨이트 12B 이미지 모델 소스: 해커뉴스(hackernews) 본문: 연구: Krea 2 기술 보고서

이 기술 보고서에서는 폭넓은 미적 다양성과 사용자의 창의적 제어를 모두 위해 설계된 파운데이션 모델 시리즈인 Krea 2를 소개합니다. 우리는 다음을 다룹니다: (1) 데이터 큐레이션 원칙, (2) 모델 아키텍처, (3) 다단계 학습 파이프라인, (4) 분산 인프라, (5) 향후 연구 방향.

Sangwu Lee, Erwann Millon, Le Zhuo, Matthew Newton, Andrei Filatov, Abhinay Devarinti, Elea Zhong, Avram Djordjevic, Gabriel Menezes, Will Beddow, Titus Ebbecke, Mihai Petrescu, Owen Fahey, Gian Saß, Felix Gil, Victor Perez · 2026년 6월 23일 · 58분 분량 릴리스 페이지 | 공식 웹사이트 | 허깅페이스(Hugging Face) 가중치 및 라이선스 | 깃허브(GitHub) 코드 및 라이선스 해당 모델 가중치와 추론 코드는 관대한(제한이 적은) 라이선스로 공개됩니다.

들어가며 지난 몇 년간 이미지 생성 기술은 괄목할 만한 발전을 이루었습니다. 확산(Diffusion) 및 플로우 매칭(Flow-matching) 모델은 고해상도 이미지를 생성하고, 선명하고 사실적인 결과물과 안정적인 구조를 만들어내며, 조밀한 텍스트를 렌더링하고, 폭넓은 세계 지식을 인코딩하며, 사용자 프롬프트를 정교하게 따를 수 있게 되었습니다. 이러한 발전은 확장 가능한 트랜스포머 아키텍처, 개선된 캡셔닝 및 텍스트 인코더, 더 나은 잠재 표현(latent representations), 그리고 파이프라인화된 사후 학습(post-training) 기법 등 여러 상호작용하는 요소들에 의해 주도되었습니다.

하지만 업계가 이러한 기능들의 신뢰성에 최적화를 거듭함에 따라, 많은 시스템이 좁은 범위의 획일화된 기본 미학으로 수렴하는 현상을 보였습니다. 이들은 훌륭한 상용 도구일 수 있지만, 창의적 탐색의 도구로서는 효율성이 떨어집니다. 사용자들은 종종 단순히 세련된 기본값 하나를 받기보다는 스타일, 분위기, 구도, 시각적 방향성 등을 다양하게 탐색해야 하기 때문입니다.

이러한 한계를 극복하기 위해, 우리는 창의적 탐색에 초점을 맞춘 파운데이션 모델 시리즈인 Krea 2를 발표합니다. Krea 2 모델은 이미지 생성이 탐구적인 매개체여야 한다는 믿음을 바탕으로 제작되었습니다. 즉, 다양한 미학을 아우를 만큼 표현력이 풍부하면서도, 크리에이터가 이를 능숙하게 탐색할 수 있도록 제어할 수 있어야 합니다. 우리는 폭넓은 세계 지식과 다양한 스타일을 포괄하는 포괄적인 사전 학습 데이터셋을 구축하기 위해 대규모 데이터 인프라와 분산 학습 프레임워크를 처음부터 새로 구축했습니다.

이 인프라를 활용하여 우리는 사전 학습, 중간 학습, 감독 미세조정(SFT), 선호도 최적화, 강화학습(RL)에 이르는 다단계 파이프라인을 통해 표현력이 풍부한 모델을 학습시켰으며, 각 단계는 모델의 출력 분포를 점진적으로 세밀하게 다듬도록 설계되었습니다. 우리는 철저한 제거 실험(ablation)을 통해 간결하면서도 뛰어난 성능의 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 개발했습니다. 이 모델은 iREPA, 개선된 VAE, 그리고 Qwen3-VL을 포함하여 수렴을 가속화하는 여러 구성 요소를 통합했습니다. 또한 그룹화 쿼리 어텐션(Grouped-query attention, GQA), 시그모이드 게이트 어텐션(sigmoid-gated attention), 가벼운 타임스텝 변조(lightweight timestep modulation), 그리고 텍스트 인코더 특징을 위한 다층 특징 집계(multilayer feature aggregation) 등 훈련 안정성과 효율성을 높이는 여러 아키텍처 개선 사항을 통합했습니다.

강력한 기반 모델은 사용자가 자신이 원하는 결과물을 신뢰할 수 있게 도출할 수 있을 때만 의미가 있습니다. 학습 과정에서 모델은 이미지를 시각적으로 조밀하고 디테일하게 묘사하는 풍부하고 정교하게 제작된 캡션으로부터 학습합니다. 하지만 실제 환경에서 사용자의 입력은 종종 더 짧고 모호하며, 제각각의 다른 표현 습관에 따라 달라집니다. 어떤 사용자는 자연어로 장면을 묘사하는 반면, 다른 사용자는 분위기, 스타일 또는 참조 이미지를 통해 의도를 전달합니다. 이로 인해 모델이 학습한 조건부 공간(conditioning space)과 실제 추론 시점에 표현되는 창의적 의도 사이에 격차가 발생합니다.

이러한 격차를 줄이기 위해, 우리는 텍스트와 이미지 입력 모두에서 Krea 2를 더욱 탐색적이고 사용자가 원하는 방향으로 조종(steerable)할 수 있게 만드는 두 가지 시스템, 즉 프롬프트 확장기(prompt expander)와 스타일 참조 시스템(style-reference system)을 구축했습니다. 프롬프트 확장기는 사용자의 의도를 덮어쓰지 않으면서 단순하거나 불충분한 사용자 프롬프트를 더 풍부한 시각적 방향으로 매핑합니다. 이는 오픈소스 대형 언어 모델(LLM) 기반에서 2단계 SFT 및 RL 파이프라인을 통해 학습되며, 단순히 이미지 품질을 향상시키는 것뿐만 아니라 [창의적 탐색을 장려하는 것을 목표로 합니다.]

원문 보기
원문 보기 (영어)
research Krea 2 Technical Report In this technical report we introduce Krea 2: a series of foundation models designed for both wide aesthetic diversity and user creative control. We present: (1) our principles for data curation; (2) the model architectures; (3) our multi-stage training pipeline; (4) our distributed infrastructure; and (5) future work. Sangwu Lee, Erwann Millon, Le Zhuo, Matthew Newton, Andrei Filatov, Abhinay Devarinti, Elea Zhong, Avram Djordjevic, Gabriel Menezes, Will Beddow, Titus Ebbecke, Mihai Petrescu, Owen Fahey, Gian Saß, Felix Gil, Victor Perez · June 23, 2026 · 58 min read Release page Official website Hugging Face Weights & license GitHub Code & license The model weights and inference are released under a permissive license . Introduction Over the past few years, image generation has seen remarkable progress. Diffusion and flow-matching models can generate high-resolution images, produce sharp photorealism and stable structure, render dense text, encode broad world knowledge, and follow user prompts in precise detail. These improvements have been driven by several interacting factors including scalable transformers architectures, improved captioning and text encoders, better latent representations, and pipelined post-training techniques. Yet as the field has optimized for reliability on these capabilities, many systems have converged toward a narrow set of default aesthetics. While effective production tools, this makes them less effective as engines for creative exploration, where users often need to search across styles, moods, compositions and visual directions rather than receive a single polished default. To address these limitations, we present Krea 2 , a series of foundation models focused on creative exploration. Krea 2’s models are built on the belief that image generation should be an exploratory medium: expressive enough to span many aesthetics, and controllable enough for creators to navigate them. We built a large-scale data infrastructure and distributed training framework from scratch to curate a comprehensive pretraining dataset with broad world knowledge and style coverage. Using this infrastructure, we train expressive models through a multi-stage pipeline spanning pretraining, midtraining, supervised finetuning (SFT), preference optimization, and reinforcement learning (RL), with each stage designed to progressively refine the model’s output distribution. We develop a simple yet performant diffusion transformer (DiT) architecture through thorough ablations. Our model incorporates several components that accelerate convergence , including iREPA , improved VAEs , and Qwen3-VL . We also integrate several architectural improvements, including grouped-query attention (GQA) , sigmoid-gated attention , lightweight timestep modulation , and multilayer feature aggregation for text-encoder features, which together improve training stability and efficiency. A strong base model is only useful if users can reliably reach the parts of its distribution they care about. In training, the model learns from rich, carefully constructed captions that describe images with dense visual detail. In practice, user inputs are often shorter, more ambiguous, and shaped by many different habits of expression. Some users describe a scene in natural language; others gesture toward a mood, a style, or a reference image. This creates a gap between the model’s learned conditioning space and the way creative intent is expressed at inference time. To reduce this gap, we build two systems that make Krea 2 more exploratory and steerable from both text and image inputs: a prompt expander and a style-reference system. The prompt expander maps simple or underspecified user prompts into richer visual directions without overwriting the user’s intent. It is trained through a two-stage SFT and RL pipeline on top of open-source LLMs, where the objective is not only to improve image quality, but also to encourage creative variation and controllable exploration. Complementing this textual interface, the style-reference system lets users express visual intent through images when words are insufficient. It allows users to inject the style or mood of one or more reference images with minimal content leakage, while providing fine-grained control over style strength and weighted style mixing. Together, these components define Krea 2 as a foundation model for exploratory generation. Instead of optimizing only for a single polished default, Krea 2 is designed to expose a broad visual space and give users practical ways to move through it, using both text and image-based control. Krea 2 is among the top 10 models on the the Artificial Analysis leaderboard for text-to-image, and scores 2nd place among models from independent labs. Krea 2 serves as a comprehensive baseline and enables a creative generative experience while maintaining competitive performance. Data Data Curation Principles Before detailing our data pipeline, it is important to establish what constitutes a good data mix for our purpose. A good mix does not consist solely of “high quality” images. Diversity and broad domain coverage are essential given our objective of building an expressive, stylistically diverse model. We argue that conventional model-based filtering, which uses aesthetic-score and image-quality-assessment (IQA) models, introduces implicit biases. For example, such methods may classify a blurry image as low quality, even though motion blur or softness can be a deliberate artistic choice. Furthermore, we argue that as long as a caption accurately describes its image, even an undesirable image may be helpful in downstream use cases: because the model precisely understands the undesired behavior, such samples can later be used to steer generations away from that distribution. For these reasons, we build the pretraining dataset by filtering out only: Duplicated samples and over-represented concepts. Samples for which VLMs consistently fail to capture important aspects of the image. Samples that induce undesired biases and artifacts. Samples with high visual complexity that is too difficult to model reliably at low resolution. AI-generated samples These conditions shape a pretraining dataset with broad coverage while avoiding poor text-to-image alignment and artifacts. Importantly, we use no AI-generated images in our pretraining mix. Synthetic data and distillation can be an effective shortcut for acquiring model capabilities. However we find that even a small proportion of AI-generated images introduces biases into the model’s output distribution, as synthetic images tend to be easier to learn, which effectively imposes an upper bound on model quality. We therefore designed in-house classifiers to filter such images out. Captioning We employ a multi-stage approach to produce captions. First, we run an OCR model on each target image to extract any visible text. In the second stage, we provide both the OCR results and any available metadata (camera settings, known entities, and so on) to the captioning model, which produces an enriched caption that incorporates world knowledge alongside the extracted text. General captioning pipeline Once a context-rich, long-form natural-language caption is obtained, we use a cheaper LLM to reformat it into a variety of lengths and formats, exposing the model to a range of prompt styles. Empirically, we find that training on long prompts provides dense supervision, yielding faster convergence and lower training loss. For many downstream and applied use cases, however, performance on short and medium-length prompts remains important. We therefore train predominantly on long captions while ensuring the model is exposed to short and medium-length prompts throughout training. Our overall training pipeline and data stages Pretraining Data Pretraining data spans 256px, 512px, and 1024px resolution stages. Progressively scaling the resoluti