ERNIE-Image

ERNIE-Image 多分辨率训练管线与宽高比课程学习深度解析

Jun 17, 2026

ERNIE-Image 多分辨率训练管线与宽高比课程学习深度解析

在 AI 图像生成领域，大多数人关注的是模型的参数量——8B、12B、80B——但真正决定输出质量的往往是那些"看不见"的训练细节。模型是如何学习的？从什么分辨率开始？宽高比如何变化？数据如何筛选？

ERNIE-Image 的技术报告（arXiv 2605.25347）首次公开了百度在训练管线上的完整设计：三阶段分辨率课程学习、十万级视觉分类体系、Qwen3 VLM 自动标注、以及 ERNIE-Image-Aes 美学评分驱动的数据过滤。这些设计选择背后，是一个核心理念——精准的数据管线比盲目的参数堆砌更有效。

本文将深入解读 ERNIE-Image 的训练管线，揭示为什么一个 8B 参数的模型能在多个基准上挑战参数量数倍于自己的竞品。

为什么分辨率课程学习很重要？

想象一下教一个学生画画。你是该让他直接从 8K 画布开始，还是先从速写本上的小构图练起？

大多数开源模型采用"一步到位"的训练策略——直接以目标分辨率（如 1024×1024）训练。这种方法简单直接，但存在两个问题：

  1. 优化效率低：大分辨率意味着更大的计算图和更长的梯度传播路径，早期训练收敛慢
  2. 语义学习缺失：模型在细节层面耗费了大量计算资源，却可能没有充分学习"画什么"

ERNIE-Image 采用了三阶段分辨率课程学习（Resolution Curriculum Learning），让模型"从小到大"逐步掌握图像生成能力。

三阶段分辨率课程学习

阶段一：256×256 — 快速语义学习

训练初期，模型在 256×256 的低分辨率下进行训练。这个阶段的目标不是生成精美图像，而是：

  • 建立语义映射：学习"猫"、"森林"、"日落"等概念与视觉表征的对应关系
  • 快速收敛：小分辨率意味着更少的计算量，模型可以在短时间内看到大量数据
  • 学习构图基础：物体在画面中的位置关系、前景/背景区分

技术细节：

  • 批量大小可以更大（相同显存下）
  • 梯度更新频率更高
  • 学习率可以较高

类比：这就像速写——快速捕捉画面的大致轮廓和语义内容，不追求细节精度。

阶段二：512×512 — 细节细化

模型在掌握基本语义后，升级到 512×512。这个阶段：

  • 细化纹理和材质：毛发的质感、金属的反光、水面的波纹
  • 学习中级构图：多物体场景的空间关系、透视关系
  • 色彩和光照一致性：不同区域的光影协调

这个阶段是"从概念到质感"的过渡。模型开始理解：同样是"猫"，布偶猫和狸花猫的纹理差异是什么。

阶段三：1024×1024 — 精细输出

最终阶段以目标分辨率训练，模型：

  • 像素级精度：文字渲染的笔画细节、人脸特征的微调
  • 全局一致性：确保整张图像的风格、光照、色彩统一
  • 复杂场景处理：多物体、多层次、多光照的复杂构图

类比：这是从速写走向精细插画的过程——在已有构图基础上，一笔一笔地填充细节。

三阶段的优势

维度 一步到位 (1024) 三阶段课程学习
早期收敛速度 慢（计算量大） 快（小分辨率快速迭代）
语义学习深度 浅（细节干扰） 深（先学语义后学细节）
优化稳定性 较低（大梯度波动） 较高（渐进式优化）
最终质量 依赖大量数据 数据利用率高

ERNIE-Image 的技术报告指出，这种课程学习方法使得模型在相同数据量下实现了更好的优化效果。8B 参数 + 高效管线 = 超越 12B+ 模型的基准表现。

宽高比多样性：不只是正方形

大多数文生图模型默认以正方形（1:1）训练。ERNIE-Image 在训练过程中引入了多种宽高比：

宽高比 比例 适用场景
1:1 正方形 头像、图标、产品图
3:4 竖长方形 手机壁纸、社交媒体竖版
4:3 横长方形 传统摄影、PPT 配图
16:9 宽屏 风景照、视频封面
2:3 竖长条 杂志封面、电商详情页
9:16 竖屏 短视频封面、Story 格式

为什么宽高比多样性重要？

  1. 防止过拟合正方形：如果只在 1:1 上训练，模型对非正方形的构图能力会显著下降
  2. 提升布局灵活性：不同宽高比要求不同的构图策略——宽屏强调水平延伸，竖屏强调垂直层次
  3. 贴近实际使用：用户需要的不总是正方形——海报、横幅、手机壁纸都有特定的宽高比要求

ERNIE-Image 在实际生成中也支持多种宽高比输出，这意味着你在 API 调用或本地部署时可以直接指定目标比例，无需后期裁剪。

数据管线：从原始图像到训练样本

训练管线的核心在于如何将海量原始图像转化为高质量的训练数据。ERNIE-Image 采用了一套完整的五阶段管线：

阶段 1：细粒度分类 — 10,000 视觉类别

传统方法通常将图像分为几十到几百个大类（如"人物"、"风景"、"动物"）。ERNIE-Image 走得更远：

  • 10,000 个细粒度类别：不是"猫"，而是"布偶猫"、"英短蓝猫"、"狸花猫"等
  • 长尾概念保留：防止主流类别（如"人物"）压倒稀有类别（如"建筑细节"）
  • 类别平衡采样：每个类别在训练中的出现频率经过精心调整

阶段 2：Qwen3 VLM 自动标注

人工标注 10,000 个类别的图像不现实。ERNIE-Image 团队微调了 Qwen3（一个强大的多模态语言模型）作为自动标注引擎：

  • 结构化描述提取：不只是"这是一只猫"，而是"一只橙色的狸花猫坐在绿色的沙发上，看向窗外，午后的阳光照在它的毛发上"
  • 文字内容识别：对于包含文字的图像，标注具体的文字内容（如广告牌上的标语）
  • 多语言标注：支持中文、英文、日文的多语言描述生成

阶段 3：ERNEI-Image-Aes 美学评分

不是所有图像都适合训练。ERNIE-Image-Aes（一个 8B 参数的视觉语言模型）对每张图像进行美学评分：

  • SRCC: 0.7445 / PLCC: 0.7598（在 ERIA-1K 基准上）
  • 消除系统性偏见：不会过度偏好 AI 生成图像、黑白照片或随意快照
  • 数据过滤：低于特定美学阈值的图像被排除

这相当于为训练数据设置了一个"质量门槛"——只有美学评分高的图像才能进入训练集。

阶段 4：分层采样

类间采样（Inter-category）：

  • 平衡语料库大小和综合美学质量
  • 大类不过度采样，小类不过度忽略

类内采样（Intra-category）：

  • 同一类别中，质量更高的实例更频繁被采样
  • 质量由 ERNIE-Image-Aes 评分决定

阶段 5：SFT 领域精调

在预训练完成后，模型进入 SFT（有监督微调）阶段，针对高需求领域进行精调：

  • 目标领域：海报设计、游戏美术、人像摄影、产品摄影
  • K2.5 VLM 重写 Caption：将技术性的描述重写为自然的用户风格
    • 关键词式："赛博朋克，霓虹灯，雨夜，未来都市"
    • 自然语言式："雨夜中的未来都市，霓虹灯在水洼中反射出五彩斑斓的光芒"
    • 指令式："请生成一张赛博朋克风格的夜景图，要求有霓虹灯和雨水效果"

DPO 对齐训练：让模型更懂"好坏"

DPO（直接偏好优化）是 ERNIE-Image 训练管线中的关键一步。但 ERNIE-Image 的 DPO 不是简单照搬 LLM 的方法，而是针对 Flow Matching（流匹配）范式进行了重新设计。

Flow Matching DPO 的核心公式

传统 DPO 比较两个输出的奖励差异。ERNIE-Image 将其重构为速度场 L2 重建误差：

Diff_policy = ||v_pol(x_win) - v_win||² - ||v_pol(x_lose) - v_lose||²

其中：

  • v_pol 是策略模型预测的速度场
  • x_win / x_lose 分别是偏好正样本和负样本
  • v_win / v_lose 是真实速度场

锚点损失：防止奖励作弊

纯 DPO 训练可能导致"奖励作弊"——模型学会只优化奖励分数而忽略真实质量。ERNIE-Image 引入了锚点损失：

L_total = L_DPO + λ_win * E[L_policy_win] + λ_lose * E[L_policy_lose]

参数：β=0.05, λ_win=0.35, λ_lose=0.15

这确保模型在优化偏好的同时，仍然保持良好的重建能力——不会为了追求"好看"而丢失细节。

MT-DMD 多教师蒸馏：Turbo 模型的秘密

ERNIE-Image Turbo（8 步生成）的核心技术是 MT-DMD（Multi-Teacher Distribution Matching Distillation）。

单教师蒸馏的问题

传统知识蒸馏用一个教师模型指导一个学生模型。但在图像生成中，不同领域需要不同的专业知识——一个"文本渲染专家"和一个"风景渲染专家"的关注点完全不同。

MT-DMD 解决方案

MT-DMD 使用一个领域专家委员会 {E_1, ..., E_K}：

  • 文本专家：优化文字渲染和 OCR 准确性
  • 艺术专家：优化色彩搭配和构图美感
  • 布局专家：优化多元素排版的空间关系
  • 人像专家：优化面部特征和表情自然度

这些专家通过动态路由流形 W进行加权——根据当前生成的潜在状态、噪声尺度和语义条件，自动选择最相关的专家指导。

实际效果

MT-DMD 使得 ERNIE-Image Turbo 在仅 8 步推理的情况下，保持了接近 50 步标准版的质量。这意味着：

  • 6 倍+ 速度提升：从 ~15 秒到 ~2-3 秒
  • 质量损失极小：在大多数场景下肉眼难以区分
  • 成本降低：API 调用价格相同但速度更快

对开发者和研究者的启示

ERNIE-Image 的训练管线设计揭示了几个重要的工程原则：

1. 数据质量 > 数据数量

  • 10,000 细粒度分类 + 美学评分过滤 = 高质量训练集
  • 比单纯堆数据量更有效

2. 课程学习 > 一步到位

  • 三阶段分辨率渐进 = 更高效的优化
  • 类比人类学习：先学轮廓，再学细节

3. 多教师 > 单教师

  • 不同领域需要不同专业知识
  • 动态路由实现无缝交接

4. 锚点约束 > 纯奖励优化

  • 防止奖励作弊
  • 保持重建质量和偏好优化之间的平衡

如何在本地复现这些技巧？

虽然你无法完全复现百度的训练管线，但以下技巧可以在你的项目中应用：

分辨率课程学习（简化版）

# 先用小分辨率训练几轮，再升级到目标分辨率
# Diffusers 示例
pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image")

Step 1: 512x512 快速迭代


for i in range(100):

image = pipe(prompt, height=512, width=512).images[0]


Step 2: 1024x1024 精细出图


image = pipe(prompt, height=1024, width=1024).images[0]

多宽高比训练（推理时）

# ERNIE-Image 原生支持多种宽高比
sizes = [(1024, 1024), (768, 1024), (1024, 768), (1280, 720)]
for h, w in sizes:
    image = pipe(prompt, height=h, width=w).images[0]
    image.save(f"output_{h}x{w}.png")

美学评分过滤

# 使用 ERNIE-Image-Aes 对生成结果进行评分
from ernie_image_aes import AesModel

aes = AesModel.from_pretrained("baidu/ERNIE-Image-Aes")

score = aes.score(image)

if score > 0.7:  # 只保留高质量结果

image.save("high_quality.png")

总结

ERNIE-Image 的训练管线设计体现了百度在 AI 图像生成领域的工程深度。从三阶段分辨率课程学习到十万级细粒度分类，从 Qwen3 VLM 自动标注到 MT-DMD 多教师蒸馏，每一个设计选择都服务于一个目标：用更少的参数实现更好的质量。

核心要点：

  1. 分辨率课程学习让模型先学语义再学细节
  2. 宽高比多样性防止过拟合正方形，提升布局灵活性
  3. 美学评分过滤确保训练数据的高质量
  4. DPO 锚点损失防止奖励作弊，保持重建质量
  5. MT-DMD 多教师蒸馏使得 Turbo 模型在 8 步内达到接近 50 步的质量

对于研究者和开发者来说，ERNIE-Image 的训练管线提供了一个有价值的参考——在资源有限的情况下，精准的数据管线和训练策略比盲目的参数堆砌更有效。

延伸阅读：

ERNIE-Image Team