ERNIE-Image 技术报告深度解读：DPO 对齐训练、美学评估与数据管线

百度 ERNIE-Image 团队于 2026 年 5 月在 arXiv 上发布了完整的技术报告（arXiv:2605.25347），详细揭示了这款 8B 参数开源文生图模型背后的训练策略、美学评估体系和数据管线设计。本文将深入解读这些核心技术细节，帮助开发者和研究人员理解 ERNIE-Image 如何在仅有 8B 参数的情况下，达到接近闭源旗舰模型的性能水平。

一、为什么这份技术报告值得关注？

在 AI 图像生成领域，技术报告通常是最有价值的信息来源之一。Midjourney、DALL-E 等闭源模型从不公开训练细节，而 ERNIE-Image 选择了完全透明——从数据构建、预训练策略到对齐优化，全部开源。

这份报告的核心贡献可以概括为三点：

DPO for Flow Matching：首次将 Direct Preference Optimization 适配到 Flow Matching 框架中，用于扩散模型的对齐训练
ERNIE-Image-Aes 美学评估模型：SRCC 0.7445，远超 LAION AES（0.2944）等传统方案
Swiss-Tournament 人类标注系统：用瑞士轮赛制替代 Likert 评分，解决了分数漂移问题

二、架构概览：8B 参数的精巧设计

┌─────────────────────────────────────────┐
│              ERNIE-Image                 │
├────────────┬────────────┬───────────────┤
│  Ministral │   DiT      │  FLUX.2 VAE   │
│     -3     │   8B       │              │
│  (3B) Text │ Transformer│  Latent      │
│  Encoder   │            │  Autoencoder │
└─────┬──────┴─────┬──────┴──────┬───────┘
      │            │             │
┌─────▼──────┐ ┌──▼──────┐ ┌────▼───────┐
│ Ministral3 │ │ Flow    │ │ Autoencoder │
│ ForCausalLM│ │ Match   │ │ KL Flux 2   │
│ Prompt     │ │ Euler   │ │ (161 MB)    │
│ Enhancer   │ │ Scheduler│             │
│ (PE)       │ │         │              │
└────────────┘ └─────────┘ └────────────┘

ERNIE-Image 的核心组件：

组件	型号	参数量	作用
DiT Transformer	ErnieImageTransformer2DModel	~15 GB	扩散主干网络
文本编码器	Ministral-3	3B / 7.2 GB	文本编码
Prompt Enhancer	Ministral3ForCausalLM	3B / 7.2 GB	自动 prompt 增强
VAE	AutoencoderKLFlux2	161 MB	潜空间编解码
总计		~8B	~29.5 GB

设计亮点：选用 Ministral-3（3B）作为文本编码器而非更大的 LLM，显著降低了推理时的内存占用，同时保持了长/复杂指令的理解能力。这体现了"小模型 + 好数据"的设计哲学。

三、预训练数据管线：自底向上的精细构建

ERNIE-Image 的预训练数据管线是整个项目的核心创新之一。报告揭示了四个关键阶段：

3.1 细粒度分类体系

传统扩散模型通常使用粗略的分类标签（如"风景"、"人物"）。ERNIE-Image 构建了一个 10,000 个细粒度视觉类别的分类体系：

├── Photography
│   ├── Portrait
│   │   ├── Studio Portrait
│   │   ├── Environmental Portrait
│   │   └── Candid Portrait
│   ├── Landscape
│   │   ├── Mountain Landscape
│   │   └── Coastal Landscape
│   └── ...
├── Illustration
│   ├── Anime/Manga
│   ├── Watercolor
│   └── ...
└── Graphic Design
    ├── Poster
    ├── Infographic
    └── ...

这种细粒度分类有两个关键作用：

保留长尾概念：避免主导类别（如"人像"）在训练中占比过大
支持分层采样：按类别质量和数量进行加权采样

3.2 VLM 自动标注

ERNIE-Image 团队微调了一个强大的视觉语言模型（Qwen3）作为标注器，专门提取图片中的结构化描述和文本内容：

# VLM 标注示例
输入图片: [产品海报，包含文字 "夏季大促 50% OFF"]
VLM 输出: "A summer sale poster with bold red text reading '夏季大促 50% OFF',
          featuring a minimalist design with product images and price tags."

这一步对文字渲染能力至关重要——模型需要"看到"图片中的文字是什么，才能学会生成正确的文字。

3.3 美学评分过滤

每张图片都通过 ERNIE-Image-Aes 模型进行质量评分。采样策略为：

$$\text{类别权重} = \text{类别图片数} \times \text{类别平均美学分数}$$

这意味着高质量类别获得更多训练样本，低质量类别被自然稀释。

3.4 分辨率课程学习

预训练采用三阶段渐进式分辨率提升：

Stage 1: 256×256 → 学习基本构图和色彩
Stage 2: 512×512 → 学习细节和纹理
Stage 3: 1024×1024 → 学习精细特征和文字渲染

关键细节：训练中使用多样化的纵横比，而不仅仅是正方形，这显著提升了海报、横幅等非正方形场景的生成质量。

四、DPO for Flow Matching：扩散模型的对齐训练

这是本报告最重要的技术创新之一。传统的 DPO（Direct Preference Optimization）主要用于 LLM 的对齐训练，ERNIE-Image 团队首次将其扩展到 Flow Matching 框架。

4.1 为什么需要 DPO？

预训练让模型"能生成"，但未必"生成得好"。DPO 的目标是让模型输出更符合人类审美偏好：

减少畸形手指、多余肢体
提升色彩和谐度
改善构图平衡

4.2 技术实现

在 Flow Matching 框架下，DPO 的核心思想是用 L2 velocity reconstruction error 替代传统的对比学习损失：

# 简化版 DPO for Flow Matching
def dpo_loss(v_chosen, v_rejected, v_ref):
    """
    v_chosen: 人类偏好的生成的 velocity field
    v_rejected: 人类不偏好的 velocity field
    v_ref: 参考模型的 velocity field（用于防止 reward hacking）
    """
    chosen_error = l2_loss(v_chosen, v_ref)
    rejected_error = l2_loss(v_rejected, v_ref)
    loss = -log_sigmoid(beta * (rejected_error - chosen_error))
    return loss

报告中特别提到使用了 Anchor Losses 来防止 reward hacking（奖励黑客）和 representation collapse（表示崩溃）——这是大规模 DPO 训练中的经典问题。

4.3 SFT 阶段：K2.5 VLM 重写 Prompt

在 DPO 之前，ERNIE-Image 先进行了 SFT（Supervised Fine-Tuning），使用 K2.5 VLM 将原始 caption 重写为多种风格的用户 prompt：

原始 caption: "A red sports car parked on a mountain road at sunset"
重写为:

关键词风格: "red sports car, mountain road, sunset, dynamic angle"
自然语言: "A sleek red sports car parked on a winding mountain road

during golden hour, with dramatic clouds in the background"
指令风格: "Generate a photorealistic image of a red sports car on a

mountain road at sunset, cinematic lighting, 8K quality"

这种多样化的 prompt 格式训练显著提升了模型对真实用户输入的鲁棒性。

五、MT-DMD：多教师蒸馏让 Turbo 仅需 8 步

ERNIE-Image-Turbo 的 8 步生成能力来源于 Multi-Teacher Distillation (MT-DMD) 技术。

5.1 单教师蒸馏的局限

传统的知识蒸馏使用一个"教师模型"来指导"学生模型"。但在扩散模型中，不同扩散步骤可能需要不同的能力：

早期步骤（t=50→30）：需要整体构图和布局能力
中期步骤（t=30→15）：需要纹理和细节能力
后期步骤（t=15→1）：需要文字渲染和边缘锐化能力

单个教师模型很难在所有阶段都表现出色。

5.2 MT-DMD 的解决方案

MT-DMD 使用领域专家委员会，不同扩散步骤动态路由到最合适的教师：

┌──────────────────────────────────────┐
│         Student Model (Turbo)        │
│           8 Inference Steps          │
└──────────┬────────────┬──────────────┘
           │            │
    ┌──────▼──────┐ ┌───▼────────────┐
    │ Teacher A   │ │ Teacher B      │
    │ (Layout)    │ │ (Texture)      │
    │ Steps 50-30 │ │ Steps 30-15    │
    └─────────────┘ └────────────────┘
           │
    ┌──────▼────────────┐
    │ Teacher C         │
    │ (Text/Edge)       │
    │ Steps 15-1        │
    └───────────────────┘

这种设计让 ERNIE-Image-Turbo 在仅用 8 步的情况下，仍能保持与 50 步 Base 版本相当的美学质量。

六、ERNIE-Image-Aes：美学评估模型的突破

6.1 为什么需要自建美学模型？

现有的美学评分模型（LAION AES、ArtiMuse、UniPercept）存在明显的偏差：

模型	SRCC	PLCC	主要偏差
LAION AES	0.2944	0.3138	过度偏好 AI 生成内容
ArtiMuse	0.4277	0.4704	过度偏好黑白照片和快照
UniPercept	0.4533	0.4748	同上
ERNIE-Image-Aes	0.7445	0.7598	最小偏差

ERNIE-Image-Aes 的 SRCC（Spearman Rank Correlation Coefficient）从 0.45 提升到 0.74，这是一个质的飞跃，意味着其评分与人类偏好的一致性大幅提升。

6.2 Swiss-Tournament 标注系统

传统美学标注使用 Likert 评分（1-5 分），存在严重的分数漂移问题——不同标注者、不同时间段的评分标准不一致。ERNIE-Image 采用了瑞士轮赛制：

Round 1: 图片A vs 图片B → 胜者进入下一轮
Round 2: 胜者 vs 另一张图片 → 胜者继续
...
最终排名: 根据胜场数确定美学等级 1-10

这种方法的优点：

相对比较更可靠：人类更擅长比较而非绝对评分
分数漂移自动消除：同一图片在不同轮次的比较中保持一致性
计算效率高：相比 ELO 排名，瑞士轮需要的比较次数更少

6.3 ERIA-1K 基准

ERIA-1K 是 ERNIE-Image 团队构建的人类标注基准，包含 1,000 张反映真实世界分布的图片：

类别	占比
摄影	49.28%
插画/动漫	23.16%
图形设计	11.14%
混合网页	10.44%
胶片摄影	5.42%
产品/收藏品	0.56%

关键设计：不局限于专业摄影，涵盖了真实世界中常见的各类图像，使评估结果更具工业实用性。

七、性能基准：8B 参数的实际表现

7.1 人类评估（内部测试集）

模型	总分	空间	世界知识	物理	美学	风格	创造力	知识
Nano Banana 2.0 (闭源)	5.39	95.54	98.51	95.24	91.37	90.77	67.86	99.40
ERNIE-Image (开源)	5.07	89.88	94.05	92.56	83.04	84.82	62.80	95.24
Seedream 5.0 (闭源)	5.03	90.48	97.32	91.96	80.65	81.55	61.01	97.02

关键结论：ERNIE-Image 是目前最接近闭源旗舰系统的开源模型，总分仅落后 Nano Banana 2.0 约 0.32 分。

7.2 量化基准

GenEval（通用合成）：0.89 总体得分（开源最高）
LongText-Bench（文字渲染）：0.973（w/ PE），英文 0.980，中文 0.966
OneIG-Bench（语义/风格对齐）：0.575（EN），0.554（ZH），开源领先

八、总结：ERNIE-Image 的技术启示

ERNIE-Image 技术报告传达了一个清晰的信息：数据质量和训练策略比单纯的参数规模更重要。

8B 参数足够强大：通过精细的数据管线和对齐训练，8B 模型可以接近更大的闭源系统
DPO for Diffusion 是可行的：首次证明 DPO 在 Flow Matching 框架下的有效性
美学评估需要自建：通用美学模型存在严重偏差，自建评估模型是提升生成质量的关键
多教师蒸馏优于单教师：不同扩散步骤需要不同能力，动态路由显著提升蒸馏效率

对于开发者和研究人员来说，ERNIE-Image 的开源代码和详细技术报告为构建高质量的扩散模型提供了一个完整的参考实现。

延伸阅读：

原始技术报告：arXiv:2605.25347

HuggingFace 模型页：baidu/ERNIE-Image

GitHub 仓库：baidu/ernie-image

相关：EI-034 SGLang 生产部署指南、EI-028 NVFP4 量化部署指南