系列教程请查看专题内容:ComfyUI零基础入门系列教程
下面的内容为AI辅助从字幕整理的,具体操作请看视频内容
引言
本文将向大家介绍Stable Diffusion中的各类模型,包括它们的基本概念、用途以及如何在CoomfyUI中下载、安装和使用这些模型。
我们将重点关注四种主要的大模型类型:checkpoint、VAE、embding和LoRA,以及如何在实际中应用它们,本期将只涉及checkpoint大模型这一部分。
相关软件介绍
在本期视频中,我们使用了以下几款软件工具来辅助模型的安装和使用:
- ComfyUI整合包:由秋葉提供,这是一个基于开源项目ComfyUI制作的整合包,专为学习AIGC相关技术而设计。该整合包持续更新,用户可以通过以下链接获取更多信息和下载资源:
- ComfyUI Manager:这是一款之前视频中提到过的管理工具,可以帮助用户更好地管理和使用ComfyUI。更多信息可以在GitHub页面查看:
- Workspace Manager:这是一款非常好用的工作流管理插件,已经被预装在秋叶整合包中。它可以帮助用户更高效地管理不同的工作流节点。更多信息可以在GitHub页面找到:
稳定扩散模型简介
Stable Diffusion模型主要通过大量图片数据集训练而成,能够实现从文本到图片的生成。目前公开的版本包括1.0系列、2.0系列、XL和Cascade,以及即将发布的3.0模型。这些模型的架构随着版本的迭代不断更新,以提升性能和用户体验。
核心文件:大模型文件
大模型文件是绘图功能的核心,包含了算法的参数权重,类似于武功秘籍。没有它,绘图功能就无法使用。常见的文件格式包括safetensors
和CKPT
,其中CKPT
是checkpoint的简称。safetensors
仅包含权重参数,而CKPT
则可以继续迭代和训练。
微调模型介绍
微调模型是在官方模型的基础上,通过添加特定标记的训练数据集进行再训练,以增强模型在某一风格或图像特点方面的表现能力。这可以是画风、空间表达能力等,通过微调,模型可以学习新的“武功”。
模型下载与安装
模型的下载可以通过多种途径,包括秋叶的Web UI整合包、ComfyUI插件等。下载后,模型需要安装到特定的目录下。如果ComfyUI与Web UI共享模型文件,则需要根据共享文件配置进行安装。安装时建议为模型创建文件夹,以便于管理和使用。
实操演示
在实操部分,我们将演示如何下载并安装大模型文件。首先,需要找到ComfyUI的根目录,并在其中找到models
文件夹。然后,将下载的模型文件放入对应的checkpoint
文件夹中,并建议为每个模型创建一个单独的文件夹,以便于管理和识别。
下载模型的渠道,包括视频里提到的,还有
1. 哩布哩布AI liblib.art
2. 触手AI douchu.ai
3. esheep esheep.com
4. civitai civitai.com
5. huggingface.co
评论0