ERNIE-Image 8B 开源发布:参数效率与多语言文字渲染能力评测

Apr 30, 2026

ERNIE-Image 8B 开源发布:参数效率与多语言文字渲染能力评测

百度文心大模型团队近日开源了 ERNIE-Image,这是一款8B 参数的单流 DiT(Diffusion Transformer)文生图模型。尽管参数量在开源模型中仅处中游,但凭借出色的训练质量和提示词增强机制,ERNIE-Image 在文字渲染、复杂指令遵循、结构化生成等关键指标上表现优异,部分场景下效果逼近 NanoBanana 2.0、Seedream 4.5 等顶级商业模型。

核心定位与架构

特性 说明
模型名称 ERNIE-Image (8B参数) & ERNIE-Image Turbo
架构 单流 DiT (Diffusion Transformer) + 潜在扩散 LDM 框架
硬件门槛 仅需 24GB VRAM 即可部署,Turbo版支持 8步推理 生成高保真图像
核心定位 消费级显卡友好,在指令遵循、文字渲染、结构化生成上全面领先开源模型

核心特性

小模型,强性能

ERNIE-Image 在主流评测中登顶开源第一,参数效率极高。GenEval(组合生成)得分 0.8856,LongTextBench(长文本渲染)得分 0.9733,均位居前列。

精准文字渲染

高密度/长文本/版式敏感任务稳定,支持中英多语言,适合海报、信息图、UI类图像。在 OneIG-ZH(中文开放域)测试中得分 0.5543,逼近闭源顶尖水平。

复杂指令跟随

精准理解多主体关系、细节约束与知识密集型 Prompt,在处理含多个对象、空间关系和复杂构图的场景时表现稳定。

结构化生成突出

海报、漫画分镜、故事板、多面板布局逻辑保持极佳,是其在视觉创作领域的独特优势。

多元风格覆盖

写实摄影、动漫二次元、胶片、超现实主义、剪影、老照片、电影感等,均能良好表达。

评测表现(Benchmark)

基准测试 开源排名 得分 核心优势
GenEval (组合生成) 第1名 0.8856 全面领先开源模型
OneIG-ZH (中文开放域) 第2名 0.5543 逼近闭源顶尖水平
LongTextBench (长文本渲染) 第2名 0.9733 中英文长文本渲染核心优势
OneIG-EN (英文开放域) 第3名 0.5750 多语言生成竞争力强

提示词增强器(Prompt Enhancer)

机制:内置 3B 参数轻量级 Prompt Enhancer(PE),基于 Ministral 微调,自动将简短输入扩展为详细、结构化的 Prompt,不改变用户意图,但大幅提升模型潜力发挥。

为什么需要 PE? 用户通常输入简短句子,但模型对短提示会进行字面解读,导致布局混乱、文本错误、缺乏叙事连贯性。

最佳场景:海报、动漫、网页布局、游戏截图等结构化视觉任务。使用外部更强 LLM(如 Gemini)作为 PE 可以进一步提升效果。

推理部署

1. Diffusers(HuggingFace)

import torch
from diffusers import ErnieImagePipeline

pipe = ErnieImagePipeline.from_pretrained(
    "Baidu/ERNIE-Image-Turbo",
    torch_dtype=torch.bfloat16,
).to("cuda")

image = pipe(
    prompt="这是一张呈现城市街道场景的摄影作品...",
    height=1264,
    width=848,
    num_inference_steps=8,
    guidance_scale=1.0,
    use_pe=True
).images[0]
image.save("output.png")

2. SGLang(API 服务)

git clone https://github.com/sgl-project/sglang.git
sglang serve --model-path baidu/ERNIE-Image-Turbo

3. DiffSynth-Studio(低显存优化)

优势:自动显存管理,最低 3GB VRAM 即可运行。

LoRA 微调训练

支持通过 DiffSynth-Studio 进行文生图 LoRA 训练与验证,详细训练命令和验证流程参见官方文档。

核心结论

ERNIE-Image 证明了 8B 参数模型可以在文字渲染、复杂指令跟随、结构化生成和多元风格表达上与更大规模模型竞争,同时保持消费级硬件可部署的实用性。

开源的 ERNIE-Image 与 Turbo 版本为研究、开发与创意应用提供了高效、低门槛、高可控的基础工具,特别适合对文字精度与版面结构有强要求的商业化场景。