ERNIE-Image

CivitAI 原生 ERNIE-Image LoRA 训练完全指南：1000 Buzz 训练你的第一个自定义风格模型

Jul 27, 2026

CivitAI 原生 ERNIE-Image LoRA 训练完全指南：1000 Buzz 训练你的第一个自定义风格模型

发布日期：2026-07-27
作者：颜明
标签：CivitAI、LoRA、AI Toolkit、训练、ERNIE-Image、RunComfy

为什么 CivitAI 原生 LoRA 训练对你很重要

2026 年 7 月，CivitAI 的月度更新中宣布了一件事：ERNIE-Image 正式成为 CivitAI 原生 LoRA 训练平台的一员。这意味着你不需要配置本地 GPU、不需要折腾 Docker 容器、不需要下载 14GB 的模型权重——只需要一个 CivitAI 账号和 1000 Buzz（约 1 美元等值），就可以在云端训练你的第一个 ERNIE-Image LoRA。

在此之前，训练 ERNIE-Image LoRA 只有两种方式：本地部署 AI Toolkit（需要 24GB 显存以上的 GPU），或者使用 RunComfy 等第三方训练平台。CivitAI 的加入，让 LoRA 训练的门槛降到了历史最低。

更重要的是，CivitAI 上 ERNIE-Image LoRA 训练的价格是 1000 Buzz，0.45 Buzz/步——只有 Chroma 或 Qwen 的一半（2000 Buzz）。这使得 ERNIE-Image 成为 CivitAI 训练生态中性价比最高的模型。

快速上手：在 CivitAI 上训练你的第一个 LoRA

第一步：准备数据集

CivitAI 的 ERNIE-Image LoRA 训练需要准备一个 ZIP 压缩包，里面包含你的训练图片和一个可选的 caption 文件。对于新手，建议从 10-30 张图片开始。

图片要求：

  • 推荐分辨率：512×512 以上
  • 格式：PNG 或 JPG
  • 同一个人物/风格保持视觉一致性
  • 如果是角色 LoRA，需要多角度、多背景的图片

第二步：通过 Orchestration API 发起训练

CivitAI 的 ERNIE-Image 训练使用 AI Toolkit 引擎，通过 Orchestration API 调用：

POST https://orchestration.civitai.com/v2/consumer/workflows?wait=0
Authorization: Bearer <你的API Token>
Content-Type: application/json

{

"tags": ["training"],

"steps": [{

"$type": "training",

"priority": "normal",

"retries": 2,

"input": {

"engine": "ai-toolkit",

"ecosystem": "ernie",

"steps": 2000,

"lr": 0.0001,

"trainTextEncoder": false,

"lrScheduler": "cosine",

"optimizerType": "adamw8bit",

"networkDim": 32,

"networkAlpha": 32,

"trainingData": {

"type": "zip",

"sourceUrl": "https://你的训练数据压缩包URL.zip",

"count": 10

},

"samples": {

"prompts": [

"a portrait of TOK",

"TOK walking through a comic book city"

]

}

}

}]

}

第三步：使用训练好的 LoRA

训练完成后，CivitAI 会返回 LoRA 文件的下载链接。你可以：

  • 在 CivitAI 图生成中使用（选择 ERNIE-Image 模型 + 你的 LoRA）
  • 下载到本地，在 ComfyUI 中使用
  • 通过 Orchestration API 在生成图片时自动加载

深度理解：ERNIE-Image LoRA 与 FLUX/SD 的不同

ERNIE-Image 使用 Diffusion Transformer（DiT）架构，与 FLUX 共享相似的底层结构，这意味着两者在 LoRA 技术上高度兼容。但实际上，ERNIE-Image 的 LoRA 训练有它独特的个性。

文本渲染能力是最大差异点

ERNIE-Image 的文字渲染能力是目前开源模型中最强的之一。这意味着你可以训练出 专门生成带文字海报的 LoRA——这在 FLUX 或 SDXL 上几乎是做不到的。

提示词展开带来的特殊性

ERNIE-Image 内置的 Prompt Enhancer 会扩展用户的简短提示词。这意味着 LoRA 训练时，验证提示词需要写得足够具体。如果你只写 "a photo of TOK"，PE 可能会把它展开成完全不同的描述，导致验证结果不可控。

最佳实践：在验证提示词中加入足够的细节描述，或者在 PE 关闭的情况下测试。

架构差异带来精度要求

ERNIE-Image 是对指令遵循要求极高的模型。同样一张训练图，用 "a photo of a woman" 和 "a woman with red hair, wearing a blue jacket, standing in front of a coffee shop at sunset" 生成的结果完全不同。这意味着：

  • 训练数据的 caption 质量直接决定 LoRA 成败
  • 默认的通用 caption 往往不够用，建议使用每张图片独立的 caption

AI Toolkit 最佳参数设置

如果你选择在 RunComfy 或本地使用 AI Toolkit 训练，以下是经过社区验证的最优参数组合：

安全基线参数

参数 推荐值 说明
模型架构 ERNIE-Image 在 HuggingFace 上为 baidu/ERNIE-Image
线性秩 (Rank) 32 16 可能欠拟合，32 是稳定起点
优化器 AdamW8Bit 显存效率最高的选择
学习率 0.0001 社区验证的稳定值
训练步数 2000-3000 从 2000 开始，检查过拟合后再增加
学习率调度器 Cosine 比恒定学习率效果好 5-10%
精度 float8 24GB 显存可跑，效果损失可忽略
批量大小 1 显存有限时的安全选择
保存间隔 250 步 方便中途回溯选择最佳版本

分辨率策略

这是在 ERNIE-Image LoRA 训练中最容易被忽视但影响最大的设置。

目标 推荐分辨率组合 说明
测试/验证 256 快速验证训练是否正常
纯风格 LoRA 512 + 768 风格迁移不需要高分辨率
角色/产品/海报 LoRA 512 + 768 + 1024 文字渲染和边缘细节需要高分辨率
高质量最终版 512 + 768 + 1024 + 1280 基础验证通过后再加入

关键经验：跳过 1024 分辨率是 ERNIE-Image LoRA 训练中最常见的错误。没有 1024 分辨率，模型无法学到文字细节和结构布局。

数据集最佳实践

ERNIE-Image 是一个"精度型"LoRA 目标——不能随便扔图片进去就期待好结果。

Caption 策略：

  • 风格 LoRA：可以使用统一的默认 caption
  • 角色 LoRA：每张图片需要独立的详细 caption
  • 文字/设计 LoRA：不仅需要详细 caption，还需要在 caption 中描述文字位置和内容

翻转增强（Flip）：必须关闭。ERNIE-Image 对可读文字、结构化合成的能力太强，镜像翻转会污染数据集——特别是海报、包装、角色方向等不对称内容。

数据量建议：

  • 风格 LoRA：10-20 张图片就够了
  • 角色 LoRA：20-40 张，需要多角度
  • 产品/设计 LoRA：20-30 张，重点是视觉一致性

常见失败模式与修复

失败 1：训练了 1500 步但 LoRA 仍然很"通用"

这是最常见的失败模式。你的 LoRA 几乎没有学到任何新东西，生成的图片看起来就像基础模型直接生成的。

错误修复顺序：换优化器 → 打开高级开关 → 换 Turbo 模型

正确修复顺序：

  1. 检查 caption 质量——先把通用 caption 替换为每张图片的独立 caption
  2. 确保开启了 1024 分辨率
  3. 继续训练到 3000-4500 步
  4. 如果仍然欠拟合，尝试 rank 64

失败 2：角色身份漂移

训练的角色在测试时面部不一致，或者与基础模型的先验知识混合。

原因：数据集和提示词不够具体，模型倾向于回归到基础模型的先验分布。

修复方法：

  1. 增加训练数据的质量和多样性
  2. 使用更具体的 caption（描述面部特征、发型、着装）
  3. 添加一个小型正则化数据集（标记为 "Is Regularization"），启用 Differential Output Preservation

失败 3：训练后模型"出血"

训练后的 LoRA 应用到无关概念时，会产生不期望的风格迁移。

原因：过拟合（overfitting）——LoRA 学习了太多训练集的特征。

修复方法：

  1. 不要盲目增加步数
  2. 降低 rank（从 64 降到 32）
  3. 使用 dropout（caption dropout rate 0.05）
  4. 添加正则化数据集

三种训练方式对比

维度 CivitAI 原生 RunComfy 云端 本地训练
费用 1000 Buzz (≈$1) $0.5-2/小时 免费（电费另算）
GPU 需求 无 无 RTX 3090/5090, 24GB+
训练速度 中等（共享队列） 快（专用 GPU） 最快（本地硬件）
数据隐私 需上传到 CivitAI 需上传到 RunComfy 本地完全控制
灵活性 预设参数 参数可调 完全控制
上手难度 ⭐ ⭐⭐ ⭐⭐⭐⭐

选择建议：

  • 第一次尝试 → CivitAI（最低成本验证）
  • 需要快速迭代 → RunComfy（专用 GPU 更快）
  • 生产环境/隐私敏感 → 本地训练

从零到一：推荐的学习路径

如果你以前从未训练过 ERNIE-Image LoRA，我们推荐以下路径：

第一阶段：CivitAI 云端起步（1 天）

  1. 准备好 10-20 张风格统一的图片
  2. 使用 CivitAI Orchestration API 发起首次训练
  3. 在 CivitAI 平台上测试生成的 LoRA
  4. 重点是理解"什么样的数据集能产生好的结果"

第二阶段：RunComfy 参数调优（2-3 天）

  1. 将数据集扩展到 20-30 张
  2. 在 RunComfy 上尝试不同的 rank、步数和学习率
  3. 使用多分辨率策略（512+768+1024）
  4. 为每张图片编写独立的 caption

第三阶段：本地部署生产环境（1 周）

  1. 配置本地 AI Toolkit 环境（建议 RTX 5090）
  2. 建立标准化的训练流程
  3. 使用缓存和预计算加速训练
  4. 建立 LoRA 质量评估体系

社区展望

CivitAI 上目前已有 22+ 个 ERNIE-Image 相关模型和 LoRA，包括角色 LoRA、NVFP4 量化工作流、GGUF 工作流等。随着 CivitAI 原生训练通道的开放，可以预期：

  • LoRA 数量将快速增长：低门槛会带来更多社区贡献
  • 质量将快速分化：高质量的 caption 和数据集将成为核心竞争力
  • 专业化 LoRA 将出现：针对特定行业（电商、设计、出版）的垂直 LoRA

如果你已经训练出了有意思的 ERNIE-Image LoRA，欢迎在评论区分享你的经验和设置参数。

本文基于 2026 年 7 月公开可用的社区数据和官方文档编写。LoRA 训练技术和参数设置将随 CivitAI 和 AI Toolkit 的更新而变化。

ERNIE-Image Team