Mac mini 从零部署 Stable Diffusion XL 1.0

📌 背景介绍

最近不断地高频使用 ChatGPT 生图，但是免费用户一天只能生成3张，而使用其他平台又是要充值会员，又是效果不太好。

想着与其受其限制能不能自搭建一套模型来无限使用？

通过网上解了下比较火的就是 Stable Diffusion 了，因此自己研究了一番就一步步部署了下来。

本文将手把手教你如何在 Apple Silicon Mac mini 上部署并运行 Stable Diffusion XL 1.0（SDXL 1.0），支持通过 WebUI 生成图像。

PS：如果不愿意折腾也可以直接用秋叶大神的 SD 安装器。

🎨 Stable Diffusion XL 1.0 是什么？

Stable Diffusion 是一款完全开源免费、可以本地部署无限使用的AI绘画软件。

而 Stable Diffusion XL 1.0（简称 SDXL 1.0） 是 Stability AI 推出的第三代文本生成图像模型，相较于以往的版本（如 SD1.5、SD2.1），它在图像质量、理解能力和风格表达上有了质的飞跃。

🚀 核心特点

  • 更高的图像质量

    默认支持生成 1024x1024 分辨率图像，细节更加清晰，结构合理。

  • 更强的文本理解能力（文生图）

    能更好地理解复杂 prompt，支持连贯语义、风格描述、甚至抽象意图表达。

  • Refiner 机制

    SDXL 引入了“两阶段生成”机制：先用 Base 模型生成粗略图像，再用 Refiner 对图像细节和纹理进行精细化增强。

  • 多风格、多模态支持

    可生成漫画、油画、摄影、人像、科幻、建筑等多种风格图像，适合 AIGC 创作、多模态研究。

  • 训练架构升级

    SDXL 基于 CLIP-G 和更大的 UNet 架构，训练数据规模更大（相较于 SD1.5 提升数倍）。

💡 使用场景

  • 本地生成 AI 图像，提升隐私与响应速度
  • 不依赖云平台，适合离线创作
  • 用于 AIGC 实验、prompt 开发、图像增强与二次创作
  • 艺术创作者或开发者的轻量级部署方案

🛠️ 部署步骤详解

1️⃣ 安装基础开发工具

打开终端，安装 Homebrew（若尚未安装）：

1
/bin/bash -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

PS：由于受网络影响，这里直接介绍在国内的安装方式。

如果是初次安装，这里选择1、2都行。

2️⃣ 安装依赖工具

安装完homebrew之后，再通过它安装SD的依赖工具。

在终端执行以下命令：

1
brew install cmake protobuf rust python@3.10 git wget

3️⃣ 下载 Stable Diffusion WebUI 项目

1
2
3
4
# 下载项目源码
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
# 如果发现无法下载可以试着将协议改为HTTP 1.1，再重试一下
git config --global http.version HTTP/1.1

4️⃣ 安装下载模型工具

同样由于国内网络环境原因无法直接下载模型文件，需要通过一些工具来完成。

这里推荐使用hfd.sh,稳定高速下载不断线。

1
2
3
4
5
6
7
8
9
10
11
12
13
# 创建 bin 目录
mkdir -p ~/bin/ && cd ~/bin/

# 下载 hfd
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

# 设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
export PATH="$HOME/bin:$PATH"

# 下载加速工具
brew install aria2

5️⃣ 下载 SDXL 模型文件

终于到下载模型环节了，但别高兴的太早，我最后下载完看了下，总共有72GB大小。。。

1
2
3
4
5
# 进入到 SD 存放模型的目录
cd stable-diffusion-webui/models/Stable-diffusion

# 下载模型文件
hfd.sh stabilityai/stable-diffusion-xl-base-1.0

接下来就是漫长的等待吧。

6️⃣ 启动 WebUI

待模型文件下载完成后，可以直接一键启动，会自动创建虚拟环境并安装依赖。

1
2
3
4
5
# 回到项目根目录
cd stable-diffusion-webui

# 执行 webui.sh
./webui.sh

待看到如下打印时，就表示已经成功启动了。

默认会在http://127.0.0.1:7860 启动 Web UI 界面。

✅ 使用体验与性能提示

通过浏览器直接打开：http://127.0.0.1:7860，最终看下使用体验的效果吧。

同时给出一些建议：

  • 若使用的是 16GB RAM 的 Mac mini，建议生成图像分辨率不要超过 1024x1024。

PS：我的就是 16GB，生成的图太大就很慢，还好一般1024就够了，至少在本地还是要比chatGPT快很多，而且可以无限使用。

  • 可结合 prompt 工具（如 PromptHero、Lexica）提升创作质量，一般还是英文prompt效果更好。另外还是通过一些工具生成 prompt 吧，别自己折腾了。
  • 部署只是第一步，想要真正把 SD 用起来还是有很长的路要走，保持不断学习吧。

🔚 总结

本地部署 Stable Diffusion XL 1.0 不再是高门槛任务。

得益于 Apple Silicon 的能效表现，Mac mini 可以胜任中小规模的 AI 图像生成任务。

对于注重隐私、安全和稳定性的开发者与创作者，本地运行 SDXL 提供了极高的灵活性。

推荐组合：

  • 设备：Mac mini M4（16GB 内存及以上）
  • 模型：SDXL base + Refiner
  • 用途：AI 图像创作、素材生成、风格迁移

🔗 参考文档

HF-Mirror

Installation on Apple Silicon