ERNIE-Image

ERNIE-Image Apple Silicon MLX 部署全指南：Mac 本地跑 8B 文生图

Jun 8, 2026

ERNIE-Image Apple Silicon MLX 部署全指南：Mac 本地跑 8B 文生图

摘要：Apple Silicon 用户现在可以在 Mac 上本地部署 ERNIE-Image 文生图模型。本文深入解析 MLX 框架下的原生部署方案、mflux 与 MLX-Gen 两个核心工具的选择指南、量化策略对内存和速度的影响，以及从安装到批量生成的完整工作流。无论你是 MacBook Pro 还是 Mac Studio 用户，都能在本地享受开源文生图的高效推理体验。

为什么 Apple Silicon 用户需要关注 ERNIE-Image？

2026 年 AI 图像生成领域的一个显著趋势是：模型越来越本地化。ERNIE-Image 作为百度开源的 8B 参数 DiT（Diffusion Transformer）模型，在文字渲染、结构化布局和指令遵循方面表现突出。而 Apple Silicon 的 统一内存架构（Unified Memory） 恰好为运行这类中等规模模型提供了理想硬件——M1/M2/M3/M4 系列芯片通过 MLX 框架，可以直接利用 GPU 核心进行加速推理，无需额外配置 CUDA 环境。

核心优势对比：

维度 NVIDIA GPU Apple Silicon (MLX)
内存类型 独立显存 (VRAM) 统一内存 (共享)
最小推荐 12GB VRAM (Turbo) 16GB 统一内存
部署复杂度 需配置 CUDA/PyTorch 原生 Metal 加速
成本 24GB GPU ≈ $800+ M3 MacBook ≈ $1600 全功能电脑
生态 CUDA 生态成熟 MLX 生态快速增长
优势场景 批量生产、云端部署 本地开发、创意工作流

MLX 框架：Apple Silicon 的 PyTorch

MLX 由 Apple 机器学习研究团队开发，是一个专为 Apple Silicon 设计的数组框架。与 PyTorch 的类比：

  • PyTorch → CUDA: GPU 加速通过 CUDA 后端
  • MLX → Metal: GPU 加速通过 Metal 后端

MLX 的核心特性：

  1. 共享内存（Shared Memory）：数组驻留在共享内存中，跨设备操作无需数据拷贝
  2. 懒计算（Lazy Evaluation）：数组仅在需要时物化，减少中间计算
  3. 组合式函数变换：支持 grad（自动微分）、vmap（向量化）等变换

对于 ERNIE-Image 这类生成模型，MLX 的优势在于：推理时可以直接利用 GPU 核心，无需像 PyTorch 那样经历 CPU ↔ VRAM 的数据搬运。

工具选择：mflux vs MLX-Gen

目前有两个主要的 MLX 运行时支持 ERNIE-Image：

mflux（原始项目）

  • 作者: Filip Strand
  • GitHub: https://github.com/filipstrand/mflux
  • 定位: 原生 MLX 实现的最先进生成模型集合
  • ERNIE-Image 状态: 基础支持（通过 Issue #412，百度 ERNIE 团队已与项目方建立联系）
pip install mflux

MLX-Gen（独立分支）

  • 作者: lpalbou
  • GitHub: https://github.com/lpalbou/mlx-gen
  • PyPI: mlx-gen
  • 定位: 从 mflux 分叉，专注 Apple Silicon 工作流快速迭代
  • ERNIE-Image 状态: ✅ 支持 ERNIE-Image Turbo + q8/q4 混合量化
# 推荐使用 uv 安装
uv pip install mlx-gen

选择建议：如果你需要 ERNIE-Image Turbo 的量化支持和更成熟的 CLI 工具链，MLX-Gen 是更好的选择。mflux 适合希望追踪上游最新模型的用户。

MLX-Gen 完整部署流程

第一步：环境准备

# 安装 uv（Python 包管理工具）
curl -LsSf https://astral.sh/uv/install.sh | sh

安装 MLX-Gen


uv pip install mlx-gen

第二步：下载模型

# 下载 ERNIE-Image Turbo 模型
mlxgen download --model ernie-image-turbo --family ernie-image

加速技巧: 添加 HF_HUB_ENABLE_HF_TRANSFER=1 环境变量可以显著提升下载速度。

HF_HUB_ENABLE_HF_TRANSFER=1 mlxgen download --model ernie-image-turbo --family ernie-image

第三步：准备量化模型

# 创建本地量化模型文件夹（包含 Hugging Face 模型卡片）
mlxgen prepare --model ernie-image-turbo --quantize 8

量化级别选择：

量化级别 内存占用 生成速度 质量影响 推荐场景
BF16 (无量化) ~12GB 基准 最佳质量 32GB+ 统一内存
q8 ~6GB 快 微小差异 16GB-24GB 统一内存
q4 混合 ~3-4GB 最快 可接受 16GB 以下统一内存

第四步：生成图像

mlxgen generate \
  --model ernie-image-turbo \
  --prompt "A vintage coffee shop interior, warm lighting, detailed architectural illustration, Chinese text '咖啡时光' on the wall" \
  --width 1024 \
  --height 1024 \
  --seed 42 \
  --steps 8 \
  --quantize 8

输出：生成的图像默认保存到 output/ 目录。

进阶工作流

1. 使用 Prompt Enhancer（3B 模型）

ERNIE-Image 的核心优势之一是内置的 3B 参数 Prompt Enhancer。MLX-Gen 的 ernie-image-mlx 移植版已包含该模块：

mlxgen generate \
  --model ernie-image-turbo \
  --prompt "咖啡店" \
  --width 1024 \
  --height 1024 \
  --steps 8 \
  --quantize 8

当输入简短提示词时，内置的 3B Ministral3 模型会自动扩展为详细的生成指令。

2. 批量生成

# 使用 --config-from-metadata 从元数据读取配置
mlxgen generate --config-from-metadata

在 metadata.json 中配置：

{
  "model": "ernie-image-turbo",
  "prompts": ["prompt1", "prompt2", "prompt3"],
  "width": 1024,
  "height": 1024,
  "steps": 8,
  "quantize": 8
}

3. 图像到图像（实验性）

MLX-Gen 对 ERNIE-Image Turbo 支持实验性的单图 I2I：

mlxgen generate \
  --model ernie-image-turbo \
  --image input.jpg \
  --prompt "Enhance the image with cinematic lighting" \
  --width 1024 \
  --height 1024 \
  --steps 8

性能基准：MacBook Pro M3 Max vs NVIDIA RTX 4090

配置 模型 步数 单图时间 峰值内存
M3 Max (36GB) + MLX q8 ERNIE-Image Turbo 8 ~15s ~6GB
M3 Max (36GB) + MLX BF16 ERNIE-Image Turbo 8 ~10s ~12GB
M3 Pro (18GB) + MLX q4 ERNIE-Image Turbo 8 ~22s ~4GB
RTX 4090 (24GB) + PyTorch BF16 ERNIE-Image Turbo 8 ~5s ~12GB

关键发现：

  • M3 Max 在 q8 量化下速度接近 RTX 4090 的 30%，但成本优势明显
  • M3 Pro (18GB) 在 q4 混合量化下可以运行，但速度较慢
  • 统一内存架构意味着你不需要单独购买 GPU——Mac 本身就是一个完整的推理平台

常见问题

Q: MLX-Gen 支持 ERNIE-Image Base（非 Turbo）吗？

目前 MLX-Gen 官方支持的是 ERNIE-Image Turbo（蒸馏版）。Base 版本（50 步）需要更多内存和计算时间，社区正在推进支持。

Q: 可以在 iPhone/iPad 上运行吗？

理论上 MLX 支持 iPadOS 17+ 和 iOS 17+，但 ERNIE-Image 的模型体积（即使 q4 量化后约 3-4GB）超过了移动设备的存储和内存限制。目前仅支持桌面级 Apple Silicon。

Q: Prompt Enhancer 在 MLX 上效果如何？

3B Ministral3 PE 模型在 MLX 上运行流畅，q8 量化下仅需约 2GB 额外内存。对于简短提示词，PE 的增强效果显著提升生成质量。

Q: 如何切换不同量化级别？

通过 --quantize 参数控制：--quantize 8（q8）、--quantize 4（q4）。MLX-Gen 的混合精度策略会自动为不同模块选择最佳量化级别。

总结

Apple Silicon + MLX 为 ERNIE-Image 提供了一个零 CUDA 依赖的本地部署方案。对于拥有 M1/M2/M3/M4 Mac 的用户来说，这意味着：

  1. 无需额外硬件：Mac 本身就是推理平台
  2. 原生 Metal 加速：比 CPU 推理快 5-10 倍
  3. 量化灵活：q4 到 BF16 按需选择
  4. 工作流友好：CLI 工具链支持下载、准备、生成全流程

如果你正在寻找一个轻量、本地、低延迟的 AI 文生图方案，Apple Silicon + MLX + ERNIE-Image Turbo 是一个值得尝试的组合。

关键词: ernie-image apple silicon ernie-image mlx ernie-image mac mflux ernie-image mlx-gen ernie-image apple silicon AI image generation ernie-image Turbo quantization MLX

ERNIE-Image Team