ERNIE-Image

ERNIE-Image × ComfyUI 生态深度融合：从节点体系到自定义工作流构建的完整指南

jul 19, 2026

ERNIE-Image × ComfyUI 生态深度融合：从节点体系到自定义工作流构建的完整指南

自从 2026 年 4 月 15 日百度开源 ERNIE-Image 以来，这个 8B 参数的 Diffusion Transformer 不仅是技术报告中的 Benchmark 数字，更在 ComfyUI 生态中迅速落地——Comfy-Org 在发布当天就完成了模型打包和模板工作流适配，社区创作者在 YouTube 上贡献了数十个教程视频，RunComfy、fal.ai、Replicate 等平台也相继接入。三个月的积累，ERNIE-Image 在 ComfyUI 上的生态已从"能不能跑"进化到"怎样跑得更好"。

但很多用户仍然在几个关键问题上卡住：四个模型文件（diffusion、text encoder、PE、VAE）各自的作用是什么？Base 和 Turbo 的工作流模板有什么区别？GGUF 量化和 NVFP4 哪种更适合自己的显卡？如何把 ERNIE-Image 接入已有的 ControlNet 或 IP-Adapter 工作流？这篇文章从节点体系出发，搭建一个完整的 ComfyUI 实战知识框架。

节点架构

ERNIE-Image 在 ComfyUI 中的节点体系由四个核心组件构成，它们的协作方式是理解整个模型行为的关键。

扩散模型（Diffusion Model）：ErnieImageTransformer2DModel，约 15GB。这是最核心的组件，负责实际的图像生成——通过 50 步（Base）或 8 步（Turbo）去噪过程，从随机噪声还原出目标图像。它基于单流 DiT 架构，所有注意力计算都在这个模块中完成。

文本编码器（Text Encoder）：Mistral3Model，约 7.2GB。ERNIE-Image 没有使用常见的 CLIP/T5 文本编码器，而是基于 Mistral3——一个 7B 参数的纯文本 LLM。这意味着它天然支持长文本理解和复杂指令跟随，但同时也带来了更高的显存开销。

Prompt Enhancer（PE）：Ministral3ForCausalLM，约 7.2GB。这是 ERNIE-Image 最独特的组件——一个 3B 参数的专用模型，可以将简短输入自动扩展为详细的中文描述。注意 PE 是一个可选项，可以在工作流中关闭以节省显存或保留原始提示词控制。

VAE（变分自编码器）：AutoencoderKLFlux2，仅 161MB。ERNIE-Image 复用 FLUX.2 的 VAE，这意味着它继承了 FLUX VAE 的高保真潜空间——但同时也在解码阶段对细节和质量有一定依赖。

四者合计约 29.5GB（BF16 精度），这是以全精度加载时的完整体积。量化后可以大幅压缩。

Base 与 Turbo 差异

ERNIE-Image 提供了两个模型版本，它们在 ComfyUI 中有各自独立的工作流模板。

ERNIE-Image（Base）：SFT 模型，50 步推理。优势在于通用能力和指令跟随的准确性——在复杂场景构图、多物体生成、文字渲染等方面表现更稳定。适合需要精细控制、质量优先的场景，如商业海报、漫画分镜。

ERNIE-Image-Turbo：经过 DMD（Distribution Matching Distillation）和 RL 优化，仅需 8 步推理。速度和美学质量显著提升，但指令跟随的精确度略低于 Base。适合批量生成、快速原型设计和需要高频迭代的工作流。

在 ComfyUI 中切换两者的方式很简单：在 Load Diffusion Model 节点中选择对应的 safetensors 文件，然后加载对应的工作流 JSON。两个版本的节点体系完全一致，只是采样步数和推荐的 CFG Scale 不同。

特性 Base Turbo
推理步数 50 8
相对速度 1x ~6x
指令跟随 更强 较好
美学质量 高 更高
显存占用 ~18GB ~18GB
推荐 CFG 5.0 1.0

模板工作流拆解

ComfyUI 官方为 ERNIE-Image 提供了独立的模板工作流，位于模板库的 "Ernie Image Turbo: Text to Image" 和 "Ernie Image: Text to Image"。

标准工作流的节点链接逻辑如下：

  1. Checkpoint Loader → 加载 diffusion model + text encoder
  2. CLIP Text Encode → 输入提示词（支持中英文）
  3. Prompt Enhancer (optional) → 自动扩展提示词
  4. KSampler → 控制采样参数（步数、CFG、采样器）
  5. VAE Decode → 将潜空间解码回像素图像
  6. Preview Image / Save Image → 预览和保存

关键参数设置：

  • Base：steps=50, cfg=5.0, sampler=DPM++ 2M Karras
  • Turbo：steps=8, cfg=1.0, sampler=DPM++ 2M Karras
  • 分辨率：默认 1024×1024，可调为 1024×768、768×1024 等
  • PE：默认启用，可在 Load PE Model 节点中切换

模板工作流的最大价值在于它为新手提供了一个立即可用的起点——下载模型放入指定目录、加载工作流 JSON、输入提示词即可开始生成。

上手指南

从零开始搭建 ERNIE-Image ComfyUI 工作流需要以下步骤。

第一步：下载模型文件。从 HuggingFace 的 Comfy-Org/ERNIE-Image 仓库下载四个文件，放入 ComfyUI 的 models 目录：

ComfyUI/models/
├── diffusion_models/ernie-image-turbo.safetensors
├── text_encoders/ernie-image-te.safetensors
├── ernie-image/ernie-image-pe.safetensors
└── vae/ernie-image-vae.safetensors

第二步：更新 ComfyUI 到最新版本。ERNIE-Image 需要 ComfyUI v0.3.20+。建议使用桌面客户端或从 GitHub 拉取最新代码。

第三步：加载工作流。从 ComfyUI 模板库选择对应的 ERNIE-Image 模板，或从官方文档下载 workflow JSON 文件直接拖入。

第四步：测试生成。用简单提示词测试管线是否正常工作：

"一只黑白相间的中华田园犬，高清摄影"

如果启用 PE，模型会自动扩展为详细描述。

第五步：显存优化。如果出现 OOM（24GB 以下显卡）：

  • 关闭 Prompt Enhancer（不加载 PE 节点）
  • 降低分辨率到 768×768
  • 使用 enable_model_cpu_offload() 或在 ComfyUI 中启用分步加载

GGUF 量化工作流

Unsloth 团队为 ERNIE-Image 提供了完整的 GGUF 量化版本，将模型体积从 29.5GB 压缩至 8-16GB，让 16GB 甚至 12GB 显存的显卡也能流畅运行。

GGUF 工作流与标准工作流的区别在于模型加载节点：使用 Unsloth GGUF Loader 替代 Checkpoint Loader。采样器和 VAE 节点保持不变。

量化等级对比：

量化等级 模型体积 最低显存 质量损失
Q4_K_M ~9GB 12GB 极低
Q4_K_XL ~11GB 14GB 几乎无损
Q5_K_M ~12GB 16GB 可忽略
Q8_0 ~16GB 20GB 无损
F16 ~29.5GB 24GB+ 无

Unsloth Dynamic 2.0 方法在 Q4_K_XL 级别实现了 99.9% 的 KL 散度保持率，意味着在视觉质量上几乎不可感知的差异。

低显存部署方案

对于显存有限的用户（12-16GB），除了 GGUF 量化外还有多种优化手段。

方案一：PE 卸载。Prompt Enhancer 占用约 8GB 显存（BF16），卸载后可以将可用显存释放给扩散模型。对于提示词控制能力强的用户，这是一个零成本优化。

方案二：分辨率降级。从 1024×1024 降至 768×768，显存占用可降低约 40%。生成后再通过 ESRGAN 或 ComfyUI 的 Upscale Image 节点放大。

方案三：CPU offload。对于 12GB 以下显卡，使用 enable_model_cpu_offload() 逐层加载——一次只将一个子模型加载到 GPU，其余驻留 CPU。这会降低生成速度，但确保了即使 6GB 显存也能运行。

方案四：SGLang 服务化部署。如果工作流需要频繁生成，考虑使用 SGLang 起 ERNIE-Image 推理服务，ComfyUI 通过 HTTP API 调用。这适合多用户共享场景。

高级组合技术

ERNIE-Image 在 ComfyUI 中不仅是一个独立的文本到图像管线，还可以与其他节点组合实现更复杂的效果。

ControlNet 集成：虽然 ERNIE-Image 目前没有官方 ControlNet，但可以通过 ComfyUI 的 ControlNet 节点导入其他模型的 ControlNet 权重。实验性支持包括 Canny 边缘检测和 Depth 深度图控制——注意这些不是官方训练的适配器，需要调低 ControlNet 权重。

IP-Adapter 风格迁移：通过 ComfyUI 的 IP-Adapter 加载器节点，可以将参考图像的风格迁移到 ERNIE-Image 生成结果中。建议先纯文本生成，再将结果作为参考图像的 IP-Adapter 输入。

图生视频管线：ERNIE-Image 生成图像后，连接到 Wan 2.6 Image-to-Video 节点，实现从文本→图像→视频的完整管线。

批量处理：使用 ComfyUI 的 Batch Prompt 节点或 Queue Prompt 功能，可以批量输入提示词列表，自动化多图像生成。对于电商场景，建议结合 ImageMagick 或 Python 脚本做后处理。

社区资源生态

ERNIE-Image 的 ComfyUI 生态已经形成了丰富的资源网络。

模板与工作流：官方模板库提供 Base 和 Turbo 两个标准工作流。社区用户在 OpenArt、Civitai 等平台分享了数百个自定义工作流，覆盖动漫风格、漫画分镜、产品渲染等场景。

自定义节点：Pixaroma 开发了专为 ERNIE-Image 优化的自定义节点包，包括 Note 节点（富文本注释）、Resolution 节点（快速切换分辨率和长宽比）。这些节点可以显著改善工作流编辑体验。

Prompt 资源：ERNIEImagePrompt.com 是一个社区维护的提示词收藏站，按场景分类整理了数百条经过验证的高质量 ERNIE-Image 提示词。

云端运行：RunComfy、fal.ai 和 Replicate 都提供了 ERNIE-Image 的一键运行环境。其中 RunComfy 的 AI Toolkit 还支持 LoRA 云端训练。

常见问题排查

社区使用三个月来，一些常见问题已经积累了成熟的解决方案。

问题一：对角线波状伪影。部分用户反馈 ERNIE-Image 生成的图像边缘出现 45 度对角线波纹。这是 Turbo 模型在 8 步去噪过程中对高频细节处理不够充分导致的。解决方案：增加步数至 12-15 步，或在后期用轻量级去噪滤镜处理。

问题二：皮肤质感失真。在人像生成中，ERNIE-Image 可能出现"爬虫类"皮肤纹理。这源于模型在训练数据中对高频纹理的过度拟合。解决方案：在提示词中加入 "soft skin"、"smooth texture" 等引导词，或使用 CFG Scale 1.0（Turbo 模式）。

问题三：LoRA 训练效果不稳定。社区反馈 ERNIE-Image 的 LoRA 训练在角色一致性上表现不稳定，尤其是面部特征。推荐基线参数：rank 32、BF16、float8、AdamW8Bit、3000 步、1024 预览分辨率。关键是数据集设计——每张图像需要有高质量的 Caption，且 TE 建议启用。

问题四：模型加载失败。提示 "UNet model not found" 或 "Missing model keys"。原因是旧版 ComfyUI 不识别 ERNIE-Image 的模型结构。确保 ComfyUI 版本 ≥ 0.3.20，且模型文件放置在正确的子目录。

三个月的积累证明，ERNIE-Image 在 ComfyUI 上已经走过了"能不能跑"的阶段——现在的问题是"怎样跑得更好"。掌握节点体系、理解量化选项、善用社区资源，是充分发挥这个模型价值的关键。

ERNIE-Image Team