ERNIE-Image

ERNIE-Image LoRA 角色一致性训练完全指南：从数据集准备到 ComfyUI 部署

5月 26, 2026

ERNIE-Image LoRA 角色一致性训练完全指南：从数据集准备到 ComfyUI 部署

摘要：角色一致性是 AI 绘画的核心痛点。本文深入解析 ERNIE-Image LoRA 角色训练的完整工作流——从高质量数据集构建、训练参数调优到 ComfyUI 部署，让你的 AI 角色在不同场景、角度、表情下保持身份一致。

为什么角色 LoRA 是 AI 绘画的分水岭

在 AI 图像生成领域，**角色一致性（Character Consistency）**一直是最大的挑战之一。你是否经历过这样的场景：

  • 生成的角色第一张图很完美，第二张图完全变了样
  • 同一角色的不同表情、角度看起来像完全不同的两个人
  • 训练了 LoRA 后，角色特征被"吃掉"，生成的图千篇一律

ERNIE-Image 的 8B DiT 架构在 LoRA 训练方面表现突出。Reddit 用户反馈："Unlike Z-Image Turbo, ERNIE-Image seems to be really good for LoRA training"——这一评价在社区中引起了广泛共鸣。

一、角色 LoRA 训练核心概念

LoRA 是什么？

LoRA（Low-Rank Adaptation）是一种参数高效微调技术。它通过在预训练模型的注意力层中注入低秩矩阵，用极少的参数量（通常 1-10%）实现对特定风格或角色的适配。

ERNIE-Image LoRA 训练的优势：

  • 参数量适中：8B DiT 架构，既不会像 70B 模型那样训练成本过高，也不会像 3B 模型那样细节不足
  • 文字渲染能力保留：训练后角色 LoRA 不破坏 ERNIE-Image 的文字渲染能力
  • 结构化布局兼容：角色 LoRA 与 ERNIE-Image 的海报/信息图能力可以叠加使用

角色 LoRA vs IP-Adapter vs Reference-Only

方法 身份保持 灵活性 训练成本 最佳场景
角色 LoRA ⭐⭐⭐⭐⭐ ⭐⭐⭐ 中 固定角色，多场景复用
IP-Adapter ⭐⭐⭐ ⭐⭐⭐⭐⭐ 无需训练 临时角色参考
Reference-Only ⭐⭐ ⭐⭐⭐⭐ 无需训练 风格迁移为主

结论：如果你需要同一角色出现在 10+ 张不同场景的图中，角色 LoRA 是唯一可靠方案。

二、数据集准备——决定 LoRA 质量的 80%

黄金法则：15-30 张高质量图片

Reddit 社区共识："25-30 images should give you good results for lora training." 太少会欠拟合，太多容易过拟合。

数据集构建清单

必须包含的视角（每类至少 2-3 张）：

  1. 正面肖像 — 清晰面部，中性表情
  2. 侧面/3/4 侧脸 — 展示角色轮廓
  3. 全身照 — 展示身体比例、服装风格
  4. 不同表情 — 微笑、严肃、惊讶等
  5. 不同角度光线 — 自然光、室内光、背光

图片质量标准：

  • 分辨率 ≥ 512×512（推荐 768×768 或更高）
  • 无水印、无模糊、无过度滤镜
  • 角色在画面中占主要位置（至少 50% 画面）
  • 背景简单，避免复杂背景干扰训练

❌ 需要避免的图片：

  • 群体照（多个人物）
  • 极端角度（鸟瞰、仰视超过 45°）
  • 过度变形的图片（广角畸变等）
  • 不同角色的图片混入

Caption 生成策略

方法 1：通用描述 + 触发词

触发词: {mycharacter} a young woman, [详细的服装/特征描述], [场景描述], [光线描述]

示例：

{xiaohong} a young Asian woman with long black hair, wearing a red qipao, standing in a traditional Chinese garden, soft morning light

方法 2：分层描述（推荐）

触发词 + 角色固定特征 + 可变描述（场景、表情、服装变化）

这种方法的好处是训练后可以通过修改可变描述部分来控制输出，而角色固定特征始终保持一致。

三、训练参数详解

基础配置

参数 推荐值 说明
Learning Rate 1e-4 ~ 5e-5 角色 LoRA 建议偏小
Network Rank 32 ~ 64 角色需要更高 rank
Network Alpha 16 ~ 32 通常为 rank 的 1/2
Epochs 10 ~ 20 过多导致过拟合
Batch Size 1 ~ 4 取决于显存
Optimizer AdamW8bit 显存友好
Dataset Repeats 10 ~ 20 根据数据集大小调整
Resolution 512 或 768 与训练目标一致

ERNIE-Image 特定参数

# ERNIE-Image LoRA 训练配置示例
model: baidu/ERNIE-Image
base_model_revision: main
network_dim: 64
network_alpha: 32
learning_rate: 1e-4
lr_scheduler: cosine
lr_warmup_steps: 100
max_train_steps: 2000
mixed_precision: bf16
train_batch_size: 2
resolution: 768

过拟合检测

好的训练信号：

  • Loss 在前 1000 步快速下降，之后趋于平稳
  • 生成的角色特征逐渐清晰
  • 不同 prompt 生成的角色保持一致

过拟合信号：

  • Loss 继续下降但生质量下降
  • 生成的图片千篇一律
  • 角色特征"吃掉"了背景细节

解决方案：提前停止训练（early stopping），减少 epochs，增加正则化图片。

四、ComfyUI 部署工作流

ERNIE-Image + 角色 LoRA 基础工作流

[Load Checkpoint: ERNIE-Image Base]
       ↓
[Load LoRA: character_lora.safetensors] → weight: 0.8~1.0
       ↓
[CLIP Text Encode] → positive prompt
[CLIP Text Encode] → negative prompt
       ↓
[Empty Latent Image] → 768x768
       ↓
[Sampler] → DPM++ 2M Karras, 20-30 steps, CFG 5-7
       ↓
[VAE Decode]
       ↓
[Save Image]

进阶：角色 LoRA + ControlNet 组合

[角色 LoRA] → 保持角色身份
[ControlNet: OpenPose] → 控制角色姿势
[ControlNet: Canny] → 控制画面构图
→ 三者叠加，实现精确的角色控制

进阶：角色 LoRA + IP-Adapter 风格迁移

[角色 LoRA] → 角色身份一致
[IP-Adapter] → 参考特定画风
→ 角色不变，风格可变

五、常见陷阱与解决方案

陷阱 1：LoRA 权重过高

症状：角色特征过于强烈，画面僵硬

解决：降低 LoRA weight 到 0.6-0.8，或调整 CFG scale

陷阱 2：数据集不够多样

症状：角色只能在特定场景/角度下生成

解决：补充多角度、多表情的训练数据

陷阱 3：触发词污染

症状：不使用触发词时角色也能生成，说明模型记住了角色而非触发词

解决：确保每张训练图片都使用触发词，不使用角色真实名称

陷阱 4：过训练导致泛化能力下降

症状：生成的角色都长得一样

解决：减少训练步数，增加正则化图片（同类人物的不同角色图片）

六、实战案例：训练一个动漫角色 LoRA

数据集（20 张图片）

  • 正面肖像 × 5（不同表情）
  • 侧面/3/4 侧脸 × 4
  • 全身照 × 5（不同角度）
  • 半身照 × 3
  • 特写（眼部/手部）× 3

训练配置

network_dim: 64
network_alpha: 32
learning_rate: 1e-4
max_train_steps: 2500
epochs: 15

测试 Prompt

正面：{mycharacter} a beautiful anime girl, long silver hair, blue eyes, smiling, white dress, fantasy background, cinematic lighting

侧面：{mycharacter} side view, looking over shoulder, sunset lighting, long silver hair flowing in wind


全身：{mycharacter} full body, standing in a magical forest, glowing particles, dynamic pose, detailed fantasy outfit

七、ERNIE-Image 角色 LoRA vs 竞品对比

维度 ERNIE-Image Flux.2 Stable Diffusion XL
角色一致性 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐
文字渲染 ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐
训练成本 ⭐⭐⭐ ⭐⭐ ⭐⭐⭐⭐
社区资源 ⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐
商用许可 Apache 2.0 ✅ Apache 2.0 ✅ Open RAIL++

ERNIE-Image 的独特优势：角色 LoRA 训练后，仍然保留文字渲染能力。这意味着你可以生成带有角色名称的海报、信息图，这是其他模型难以做到的。

总结

角色一致性 LoRA 训练是 AI 绘画从"玩具"到"工具"的关键一步。ERNIE-Image 凭借其 8B DiT 架构和 Apache 2.0 开源许可，为角色 LoRA 训练提供了一个性价比极高的平台。

关键要点：

  1. 数据集质量 > 训练参数 — 15-30 张高质量、多角度的图片是基础
  2. 过拟合是最常见的陷阱 — 提前停止训练、增加正则化数据
  3. ComfyUI 工作流可以让训练成果快速落地
  4. ERNIE-Image 的文字渲染能力 + 角色 LoRA 是独特的组合优势

参考来源：Reddit r/StableDiffusion, r/ComfyUI, HuggingFace baidu/ERNIE-Image, dev.to LoRA 训练指南, RunDiffusion 角色一致性模板

ERNIE-Image Team