ERNIE-Image 8B 开源发布:参数效率与多语言文字渲染能力评测
百度文心大模型团队近日开源了 ERNIE-Image,这是一款8B 参数的单流 DiT(Diffusion Transformer)文生图模型。尽管参数量在开源模型中仅处中游,但凭借出色的训练质量和提示词增强机制,ERNIE-Image 在文字渲染、复杂指令遵循、结构化生成等关键指标上表现优异,部分场景下效果逼近 NanoBanana 2.0、Seedream 4.5 等顶级商业模型。
核心定位与架构
| 特性 | 说明 |
|---|---|
| 模型名称 | ERNIE-Image (8B参数) & ERNIE-Image Turbo |
| 架构 | 单流 DiT (Diffusion Transformer) + 潜在扩散 LDM 框架 |
| 硬件门槛 | 仅需 24GB VRAM 即可部署,Turbo版支持 8步推理 生成高保真图像 |
| 核心定位 | 消费级显卡友好,在指令遵循、文字渲染、结构化生成上全面领先开源模型 |
核心特性
小模型,强性能
ERNIE-Image 在主流评测中登顶开源第一,参数效率极高。GenEval(组合生成)得分 0.8856,LongTextBench(长文本渲染)得分 0.9733,均位居前列。
精准文字渲染
高密度/长文本/版式敏感任务稳定,支持中英多语言,适合海报、信息图、UI类图像。在 OneIG-ZH(中文开放域)测试中得分 0.5543,逼近闭源顶尖水平。
复杂指令跟随
精准理解多主体关系、细节约束与知识密集型 Prompt,在处理含多个对象、空间关系和复杂构图的场景时表现稳定。
结构化生成突出
海报、漫画分镜、故事板、多面板布局逻辑保持极佳,是其在视觉创作领域的独特优势。
多元风格覆盖
写实摄影、动漫二次元、胶片、超现实主义、剪影、老照片、电影感等,均能良好表达。
评测表现(Benchmark)
| 基准测试 | 开源排名 | 得分 | 核心优势 |
|---|---|---|---|
| GenEval (组合生成) | 第1名 | 0.8856 | 全面领先开源模型 |
| OneIG-ZH (中文开放域) | 第2名 | 0.5543 | 逼近闭源顶尖水平 |
| LongTextBench (长文本渲染) | 第2名 | 0.9733 | 中英文长文本渲染核心优势 |
| OneIG-EN (英文开放域) | 第3名 | 0.5750 | 多语言生成竞争力强 |
提示词增强器(Prompt Enhancer)
机制:内置 3B 参数轻量级 Prompt Enhancer(PE),基于 Ministral 微调,自动将简短输入扩展为详细、结构化的 Prompt,不改变用户意图,但大幅提升模型潜力发挥。
为什么需要 PE? 用户通常输入简短句子,但模型对短提示会进行字面解读,导致布局混乱、文本错误、缺乏叙事连贯性。
最佳场景:海报、动漫、网页布局、游戏截图等结构化视觉任务。使用外部更强 LLM(如 Gemini)作为 PE 可以进一步提升效果。
推理部署
1. Diffusers(HuggingFace)
import torch
from diffusers import ErnieImagePipeline
pipe = ErnieImagePipeline.from_pretrained(
"Baidu/ERNIE-Image-Turbo",
torch_dtype=torch.bfloat16,
).to("cuda")
image = pipe(
prompt="这是一张呈现城市街道场景的摄影作品...",
height=1264,
width=848,
num_inference_steps=8,
guidance_scale=1.0,
use_pe=True
).images[0]
image.save("output.png")
2. SGLang(API 服务)
git clone https://github.com/sgl-project/sglang.git
sglang serve --model-path baidu/ERNIE-Image-Turbo
3. DiffSynth-Studio(低显存优化)
优势:自动显存管理,最低 3GB VRAM 即可运行。
LoRA 微调训练
支持通过 DiffSynth-Studio 进行文生图 LoRA 训练与验证,详细训练命令和验证流程参见官方文档。
核心结论
ERNIE-Image 证明了 8B 参数模型可以在文字渲染、复杂指令跟随、结构化生成和多元风格表达上与更大规模模型竞争,同时保持消费级硬件可部署的实用性。
开源的 ERNIE-Image 与 Turbo 版本为研究、开发与创意应用提供了高效、低门槛、高可控的基础工具,特别适合对文字精度与版面结构有强要求的商业化场景。