ComfyUI 的强大之处在于它支持各种类型的模型,每种模型都有其独特的作用和应用场景。但对于新手来说,面对五花八门的模型类型和复杂的安装过程,往往感到无从下手。
今天我们就来详细讲解 ComfyUI 中各类模型的安装方法,从基础的 Stable Diffusion 检查点模型,到进阶的 LoRA、VAE、ControlNet 等模型,帮你建立一个完整且高效的模型库。
1 模型安装前的准备工作
在开始安装模型之前,有几个重要的准备工作需要完成。
1.1 了解 ComfyUI 的模型目录结构
ComfyUI 的模型都存放在 models 文件夹下,不同类型的模型有各自的子目录。标准的目录结构如下:
ComfyUI_windows_portable/├── ComfyUI/│ ├── models/│ │ ├── checkpoints/ # Stable Diffusion 检查点模型│ │ ├── loras/ # LoRA 模型│ │ ├── vae/ # VAE 模型│ │ ├── controlnet/ # ControlNet 模型│ │ ├── embeddings/ # Embeddings 模型│ │ └── hypernetworks/ # Hypernetwork 模型│ └── ...└── ...1.2 版本管理的重要性
不同版本的 Stable Diffusion 模型需要使用对应的辅助模型。为了便于管理,建议按照模型版本创建子文件夹:
models/├── checkpoints/│ ├── SD1.5/ # SD 1.5 版本模型│ ├── SD2.0/ # SD 2.0 版本模型│ ├── SDXL/ # SDXL 版本模型│ └── FLUX/ # FLUX 版本模型├── loras/│ ├── SD1.5/ # SD 1.5 版本 LoRA│ ├── SDXL/ # SDXL 版本 LoRA│ └── FLUX/ # FLUX 版本 LoRA└── ...这样的组织方式不仅便于管理,还能避免版本冲突问题。
1.3 推荐模型下载平台
Civitai:https://civitai.com - 目前最丰富的模型库,包含各种类型的模型
Liblib:https://www.liblib.art/ - 国内用户友好的平台
Hugging Face:https://huggingface.co/ - 官方和开源模型的主要来源
2 Stable Diffusion 检查点模型安装
Stable Diffusion 检查点模型是整个 AI 绘图系统的核心,其他所有模型都是基于检查点模型工作的。
2.1 选择合适的检查点模型
检查点模型的选择取决于你的具体需求:
SD 1.5 系列:兼容性最好,插件和 LoRA 模型最丰富
SD 2.0/2.1 系列:在某些场景下效果更好,但生态相对较小
SDXL 系列:生成质量更高,但需要更多显存
FLUX 系列:最新的高质量模型,但资源消耗较大
2.2 下载和安装步骤
访问 Civitai 模型板块,使用筛选器选择 “Checkpoint” 类型。如果你需要特定版本,可以在 “Base model” 分类中选择对应的模型版本。
下载完成后,将模型文件(通常是 .safetensors 或 .ckpt 格式)放入 ComfyUI/models/checkpoints/ 目录下。建议按照版本创建子文件夹进行管理。
2.3 验证安装
启动 ComfyUI,在 “Load Checkpoint” 节点中查看是否出现了新安装的模型。如果没有显示,请检查文件路径和格式是否正确。
3 LoRA 模型安装与使用
LoRA 模型是目前最受欢迎的模型扩展方式,它能够为检查点模型添加特定的风格、角色或效果。
3.1 LoRA 的工作原理
LoRA 就像是为一个多功能的机器人厨师提供特殊的食谱。Stable Diffusion 是那个机器人厨师,它已经知道如何制作各种基本菜肴。LoRA 就是那些特殊的食谱,教会厨师如何制作具有特定风味的菜肴。
通过这种方式,LoRA 能够让模型在保持原有能力的同时,学会新的技能,而且训练和部署的成本都很低。
3.2 安装 LoRA 模型
从 Civitai 或 Liblib 下载 LoRA 模型文件,通常以 .safetensors 格式为主。将文件放入 ComfyUI/models/loras/ 目录下。
建议按照检查点版本创建子文件夹,这样便于管理不同版本的 LoRA 模型。
3.3 使用 LoRA 模型
在 ComfyUI 中,使用 “Load LoRA” 节点来加载 LoRA 模型。大多数 LoRA 模型都有特定的触发词,这些触发词通常会在模型的详情页面中说明。
4 VAE 模型安装与优化
VAE(Variational AutoEncoder)模型负责图像的质量和细节表现,选择合适的 VAE 模型能显著提升生成图像的质量。
4.1 VAE 的作用机制
VAE 就像一个聪明的画家,它有三个主要功能:
编码器:观察一幅画,将关键特征记在脑中,相当于把复杂图像压缩成要点
潜在空间:脑中记录的特征形成一个想象空间,可以自由组合这些特征
解码器:根据脑中的要点重新绘制图像,将简单要点还原成复杂画作
4.2 安装 VAE 模型
下载 VAE 模型文件(通常是 .pt 或 .safetensors 格式),放入 ComfyUI/models/vae/ 目录。建议按版本创建子文件夹进行管理。
4.3 推荐的 VAE 模型
vae-ft-mse-840000-ema-pruned:通用性强,适用于多种 Stable Diffusion 版本
kl-f8-anime2:专为动漫风格优化
sdxl_vae.safetensors:专门为 SDXL 设计
clearvae_v2.2.safetensors:提升图像清晰度
5 ControlNet 模型安装
ControlNet 是一种强大的图像生成控制技术,能够通过输入条件图像来精确引导 AI 模型的生成过程。
5.1 ControlNet 的优势
ControlNet 让你能够精确控制生成的图像,比如:
- 保持人物的姿势和动作
- 控制场景的构图和布局
- 保持特定的边缘和线条结构
- 实现风格迁移和图像编辑
5.2 安装 ControlNet 模型
下载 ControlNet 模型文件(通常是 .pth 或 .safetensors 格式),放入 ComfyUI/models/controlnet/ 目录。
5.3 常用 ControlNet 模型
Canny:基于边缘检测的控制
OpenPose:基于人体姿态的控制
Depth:基于深度信息的控制
Segmentation:基于语义分割的控制
6 Embeddings 模型安装
Embeddings(Textual Inversion)模型是一种轻量级的模型扩展方式,体积通常只有几 KB,但效果显著。
6.1 Embeddings 的特点
Embeddings 就像一个提示词的压缩包。原本你需要复杂的文本描述才能达到的效果,通过 Embeddings 模型可以轻松实现。它主要用于嵌入特定的元素特征,如画面风格、人物特点、场景特征等。
6.2 安装 Embeddings 模型
将下载的 Embeddings 模型文件放入 ComfyUI/models/embeddings/ 目录。建议按版本创建子文件夹进行管理。
6.3 使用 Embeddings 模型
有两种使用方式:
- 在提示词中输入模型的触发词
- 在 “CLIPTextEncode” 节点中输入
embedding:模型文件名
推荐安装 ComfyUI-Custom-Scripts 插件,它提供了更便捷的 Embeddings 选择界面。
7 Hypernetwork 模型安装
Hypernetwork 是一种相对较少使用的模型类型,但了解它的安装方法仍然很有价值。
7.1 Hypernetwork 的特点
Hypernetwork 就像是一个特殊的教练,它能够根据比赛需要给球员提供额外的技能训练。在 AI 绘图领域,它通过调整扩散模型的参数来实现特定的效果。
由于训练难度大,Hypernetwork 的应用范围相对较小,逐渐被 LoRA 替代。
7.2 安装 Hypernetwork 模型
将下载的 Hypernetwork 模型文件放入 ComfyUI/models/hypernetworks/ 目录。建议按版本创建子文件夹进行管理。
8 模型管理最佳实践
8.1 文件命名规范
为了便于管理,建议使用统一的命名规范:
- 检查点模型:
SD1.5-ChilloutMix-Ni.safetensors - LoRA 模型:
SD1.5-AnimeStyle-LoRA.safetensors - VAE 模型:
SD1.5-vae-ft-mse.safetensors
8.2 版本兼容性检查
在安装新模型前,务必确认模型版本与你的检查点模型兼容。不兼容的模型不仅无法正常工作,还可能导致 ComfyUI 崩溃。
8.3 模型文件验证
安装模型后,建议:
- 检查文件大小是否正常(避免下载不完整的文件)
- 在 ComfyUI 中验证模型是否能正常加载
- 测试模型的基本功能
9 常见问题解决
9.1 模型无法加载
如果模型无法加载,可能的原因包括:
- 文件路径错误
- 文件格式不支持
- 版本不兼容
- 文件损坏
9.2 模型加载缓慢
模型加载缓慢通常是因为:
- 模型文件过大
- 硬盘读取速度慢
- 内存不足
建议使用 SSD 硬盘,并确保有足够的内存。
9.3 模型效果不理想
如果模型效果不理想,可以尝试:
- 调整模型权重
- 使用不同的采样器
- 调整采样步数
- 尝试不同的提示词
10 高级技巧与优化
10.1 模型共享设置
如果你同时使用多个 AI 绘图软件,可以通过符号链接或复制的方式共享模型文件,节省磁盘空间。
10.2 自动更新管理
使用 ComfyUI Manager 插件可以自动管理模型的下载和更新,大大简化了模型管理的工作量。
10.3 模型性能优化
根据你的硬件配置选择合适的模型:
- 显存小于 8GB:建议使用 SD 1.5 模型
- 显存 8-16GB:可以使用 SDXL 模型
- 显存大于 16GB:可以使用 FLUX 等高质量模型
11 总结
ComfyUI 的模型安装虽然看起来复杂,但掌握了正确的方法后,整个过程会变得简单高效。关键是要:
建立良好的文件组织习惯:按版本分类管理模型文件
选择合适的模型组合:根据需求选择兼容的模型版本
定期维护和更新:及时清理不需要的模型,保持系统整洁
通过本指南,你应该能够轻松安装和管理各种类型的 ComfyUI 模型。记住,模型的选择和搭配是一个需要不断实验和优化的过程,只有通过实践才能找到最适合你的模型组合。
无论是想要生成特定风格的图像,还是需要精确控制生成过程,合适的模型组合都能让你的创作更加得心应手。希望这份指南能帮助你建立属于自己的强大 AI 绘图模型库。