ERNIE-Image

ERNIE-Image 多 LoRA 融合完全指南：风格、角色与效果的组合艺术

Jul 29, 2026

ERNIE-Image 多 LoRA 融合完全指南：风格、角色与效果的组合艺术

发布日期：2026-07-29
标签：ERNIE-Image, LoRA Fusion, Multi-LoRA, ComfyUI, TIES, DARE, SLERP

从单 LoRA 到多 LoRA

2026 年 7 月，CivitAI 正式将 ERNIE-Image 纳入原生 LoRA 训练生态。不到一个月，社区已涌现数百个 LoRA 模型——从写实肖像到动漫风格，从品牌视觉到特定概念。训练 LoRA 的门槛已经降到 1000 Buzz（约 1 美元）和 30 张图片。

但真正的挑战不在训练，而在组合。

一张好图往往需要多个元素的精确控制：角色的长相、画面的氛围、特定的风格滤镜。单 LoRA 只能解决一个问题。而多 LoRA 组合——把风格 LoRA、角色 LoRA、效果 LoRA 叠加使用——才是释放 ERNIE-Image 完整潜力的关键。

这套技术说难不难，说简单也不简单。核心在于理解 ERNIE-Image 基于 DiT（Diffusion Transformer）的架构特点，以及 ComfyUI 中多 LoRA 的三种组合模式。

理解 LoRA 在 DiT 架构上的工作原理

ERNIE-Image 采用单流 DiT 架构，与 FLUX、SD3.5 共享相似的扩散 Transformer 设计。这意味着 LoRA 作用于模型内部的 Transformer 块（block），包括 self-attention、cross-attention 和 feed-forward 层。

每个 LoRA 本质上是一个轻量修正矩阵，作用于原始权重之上：

W' = W + α · BA

其中 A 和 B 是低秩矩阵，α 是缩放系数。多 LoRA 组合时，这些修正可以链式叠加，也可以线性合并。关键在于如何分配权重、避免冲突。

DiT 块级结构

ERNIE-Image 的 DiT 由多个 Transformer 块组成，每个块包含：

  • self-attention：图像的自身注意力机制（q, k, v 投影）
  • cross-attention：文本提示与图像的交叉注意力
  • feed-forward (MLP)：前馈网络（w1, w2, w3）

不同 LoRA 对不同类型的块有不同影响：风格 LoRA 更多影响 self-attention 和 MLP，角色 LoRA 更依赖 cross-attention 对 prompt 的响应。

多 LoRA 组合的三种模式

模式一：链式连接（最简单）

ComfyUI 原生支持的方式。将 Load LoRA 节点首尾相连：

Checkpoint → Load LoRA (风格) → Load LoRA (角色) → Load LoRA (效果) → Sampler

每个 LoRA 节点都有两个核心参数：

  • strength_model（-100 到 100）：控制视觉特征强度——细节、纹理、光照
  • strength_clip（-100 到 100）：控制 prompt/触发词响应强度

推荐起点：

LoRA 类型 strength_model strength_clip
角色 LoRA 0.8-1.0 0.6-0.8
风格 LoRA 0.7-0.9 0.7-0.9
概念 LoRA 0.6-0.8 0.8-1.0

权重分配策略：

  • 两 LoRA 组合：各设 0.5-0.6，平衡效果
  • 三 LoRA 及以上：主导 LoRA 设 0.8，辅助 LoRA 设 0.3-0.5
  • 角色 + 风格：角色 0.8-1.0，风格 0.5-0.7

链式连接的优点是简单直接，无需额外节点。缺点是当 LoRA 数量超过 3 个时，权重平衡变得困难，容易出现效果冲突。

模式二：线性合并（ModelMergeSimple）

ComfyUI 内置的 ModelMergeSimple 节点可以将多个 LoRA 的权重按比例合并为一个。与链式连接不同，合并方式不会使权重在多次传递中指数级衰减。

# 合并逻辑：将多个 LoRA 权重线性组合
merged_weight = w1 * LoRA_1 + w2 * LoRA_2 + w3 * LoRA_3
# 其中 w1 + w2 + w3 = 1.0

实用技巧：使用 Z-Image LoRA Merger 社区节点（兼容 ERNIE-Image），支持多种归一化模式：

  • normalize：按 target_strength² 归一化，保持比例
  • average：均分权重，简单但不精确
  • sqrt_scale：按 1/√n 缩放，数学上对独立效果更合理
  • linear_decay：主 LoRA 全权重，后续渐弱（1, 1/2, 1/3...）

模式三：高级合并算法（LoRA Power-Merger）

对于追求极致效果的用户，社区提供了 LoRA Power-Merger（ComfyUI 自定义节点），支持 8 种以上高级合并算法：

TIES-Merging（推荐）
来自论文《TIES-Merging: Resolving Interference When Merging Models》。核心思想：只保留各 LoRA 达成共识的参数变化，丢弃不一致的部分。

  • 参数：density 0.7-0.9（保留比例越高，各 LoRA 特征越完整）
  • 适用：风格差异较大的 LoRA 组合
  • 优势：减少冲突，保留各 LoRA 核心特征

DARE
来自论文《Language Models are Super Mario》。随机丢弃大部分 delta 参数，然后缩放剩余参数。

  • 参数：density 0.9（丢弃 90% 的 delta 参数）
  • 适用：同类型 LoRA（如两个角色 LoRA）
  • 优势：大幅减少冲突，适合同领域合并

SLERP（球面线性插值）
在球面上对权重进行插值，保持权重的几何结构。

  • 参数：t 0-1（0 偏向第一个 LoRA，1 偏向第二个）
  • 适用：仅两个 LoRA 的场景
  • 优势：过渡平滑，适合风格迁移

实战案例：创建专属肖像风格

场景设定

目标是生成一张具有特定艺术风格的角色肖像。我们需要组合：

  1. 一个写实角色 LoRA（控制面部特征）
  2. 一个水彩风格 LoRA（控制画面质感）
  3. 一个光影效果 LoRA（控制光照氛围）

步骤一：单独测试各 LoRA

在组合前，固定 seed 和 prompt，先分别测试每个 LoRA 单独作用的效果。记录每个 LoRA 的最佳强度范围。

统一参数：
  seed: 42
  prompt: "portrait of a woman, soft lighting, detailed face"
  steps: 50
  cfg: 4.0
  ERNIE-Image base model

测试要点：

  • 角色 LoRA 在 0.8 时面部特征最清晰
  • 水彩 LoRA 在 0.7 时纹理最佳，超过 0.9 时过饱和
  • 光影 LoRA 在 0.5 时效果明显而不失真

步骤二：链式组合

使用链式连接，按「角色 → 风格 → 效果」的顺序连接：

角色 LoRA strength_model=0.8, strength_clip=0.7
  → 水彩 LoRA strength_model=0.7, strength_clip=0.7
    → 光影 LoRA strength_model=0.5, strength_clip=0.6

步骤三：微调权重

如果某个特征过强（如水彩风格完全覆盖了角色特征），有两种调整方式：

  1. 降低该 LoRA 的 strength_model（0.7 → 0.5）
  2. 提高角色 LoRA 的 strength_clip（0.7 → 0.9）

经验法则：如果角色面部被风格化过度，优先调整 strength_clip 而非 strength_model。因为 strength_clip 控制的是 prompt 响应，提高它可以让角色触发词更有效地"穿透"风格层。

步骤四：合并优化（进阶）

如果链式连接效果已满意，但希望进一步提升一致性，可以尝试 TIES 合并：

  1. 使用 PM LoRA Power Stacker 加载三个 LoRA
  2. PM TIES 节点设置 density=0.8
  3. PM LoRA Merger 选择 TIES 方法
  4. 应用合并后的 LoRA 到模型

常见问题与解决方案

问题 1：LoRA 叠加后无效果

原因：最常见的原因是缺少触发词，或 strength_clip 不够高。

解决：

  • 确认 LoRA 需要触发词（查看模型卡）
  • 将 strength_clip 设为 0.8-1.0
  • 检查 LoRA 是否与当前 base model 兼容

问题 2：角色面部变形或特征流失

原因：辅助 LoRA 的强度过高，压制了角色 LoRA 的效果。

解决：

  • 将角色 LoRA 放在链首（最先加载）
  • 降低辅助 LoRA 的 strength_model（0.5 以下）
  • 尝试先单独运行角色 LoRA 确认效果，再逐步添加辅助 LoRA

问题 3：颜色过饱和或风格冲突

原因：两个 LoRA 同时影响了相同层的参数，产生叠加效应。

解决：

  • 使用 DARE 算法合并，丢弃冲突 delta 参数
  • 或使用 PM LoRA Modifier 块级控制，让不同 LoRA 作用于不同层
    • 风格 LoRA 限制在 attention 层
    • 角色 LoRA 限制在 MLP 层

问题 4：链式连接后效果衰减

原因：链式连接的本质是"套娃"——每个 LoRA 对已修正过的权重再次修正，远端的 LoRA 效果被逐渐稀释。

解决：

  • 使用 ModelMergeSimple 替代链式连接
  • 或使用 LoRA Power-Merger 的 SLERP 方法确保一致性
  • 限制 LoRA 数量不超过 4 个

ERNIE-Image DiT 特有的注意事项

与 SDXL/SD1.5 的差异

ERNIE-Image 的 DiT 架构与 SDXL 的 UNet 架构有本质不同：

  • 块命名不同：DiT 使用 diffusion_model.blocks.N.self_attn.q 而非 SDXL 的 input_blocks.N.1。如果用 SDXL 时代的块级控制工具，需要调整切面映射。
  • CFG 差异：ERNIE-Image Base 推荐 CFG=4.0（50 步），Turbo 推荐 CFG=1.0（8 步）。多 LoRA 场景下，微调 CFG 可以缓解 LoRA 冲突。
  • VAE 适配：ERNIE-Image 使用 FLUX 的 VAE（flux2-vae.safetensors），与 SDXL 不兼容。跨架构 LoRA 不可混用。

GGUF 量化场景

使用 GGUF 量化版 ERNIE-Image 时，多 LoRA 同样支持：

# GGUF 多 LoRA 组合
base_model: ernie-image-turbo-Q8_0.gguf
lora_1: character_style.safetensors (strength: 0.8)
lora_2: lighting_effect.safetensors (strength: 0.4)
steps: 8 (Turbo) 或 50 (Base)

量化的精度损失对多 LoRA 组合的影响不大，因为 LoRA 是以低秩差分的方式作用于模型，与模型本身的量化精度正交。

总结

ERNIE-Image 多 LoRA 融合是一门"组合艺术"——不是简单的数值叠加，而是理解每个 LoRA 的特征、它们之间的相互作用，以及 DiT 架构的特殊性。

三个核心建议：

  1. 先单独测，再组合：永远先确认每个 LoRA 单独工作的最佳参数
  2. 少即是多：3 个 LoRA 以内效果最佳，超过 4 个建议用合并算法
  3. DiT 有差异：ERNIE-Image 的块结构与 SDXL 不同，块级控制需要对应调整

CivitAI 上 ERNIE-Image 的 LoRA 生态仍在快速增长。掌握多 LoRA 组合技术，意味着你不再受限于单一 LoRA 的能力边界——可以自由地将风格、角色、效果进行模块化组合，创造出真正属于自己的视觉语言。

参考资源

ERNIE-Image Team

ERNIE-Image 多 LoRA 融合完全指南：风格、角色与效果的组合艺术 | Blog