前沿技术|全网最全AI绘画之ComfyUI工作流教程：从入门到精通

id="article_content" class="article_content clearfix"> id="content_views" class="markdown_views prism-atom-one-dark">

一、ComfyUI简介

ComfyUI是一款基于节点工作流的图形界面工具，专为稳定扩散算法（Stable Diffusion）设计。它通过将复杂的稳定扩散流程分解为多个可编辑的节点，使用户能够直观地定制和复现工作流程，无需编写代码。在图像生成领域，ComfyUI凭借其出色的性能和高效的显存利用，特别是其切块运算功能，有效避免了生成大图片时显存爆满和图片碎裂的问题。

稳定扩散（Stable Diffusion）概述

Stable Diffusion是一种文本到图像的人工智能模型，它通过深度学习技术将输入的文本描述转化为对应的图像内容。这种模型基于大量的数据进行训练，能够理解和生成各种风格的图像。

ComfyUI特点

自由度高：用户可以根据需求自由定制工作流程。
界面直观：通过节点式界面，用户可以直观地设计和执行复杂的工作流程。
流程定制性高：每个节点都可以进行详细的参数设置，以满足不同的生成需求。
结果可重用性：通过工作流的导入导出功能，用户可以轻松分享和复用他人的工作流程。
经济的显存占用：通过切块运算等优化手段，有效节省显存，避免在生成大图片时出现资源瓶颈。

二、ComfyUI使用的Stable Diffusion模型

Stable Diffusion模型或checkpoint模型是预先训练好的权重文件，用于生成具有特定风格的图像。在ComfyUI中，用户可以选择不同的模型来生成不同风格的图像。以下是一些推荐的Stable Diffusion模型及其特点：

Realistic Vision：逼真的照片风格，适合生成高度真实的图像。
Anything v3：动漫风格，能够生成具有动漫特色的图像。
Dreamshaper：写实绘画风格，结合了照片和绘画的特点。

模型结果对比与下载

不同的Stable Diffusion模型会对生成的图像产生显著影响。以下是一些推荐的模型及其下载链接：

Deliberate v2：擅长渲染逼真的插图，结果可能非常出色。下载链接：[链接地址]
F222：专注于生成具有正确身体部位关系的女性肖像，同时也适合生成美观的服装。下载链接：[链接地址]
ChilloutMix：特别针对生成照片质量的亚洲女性进行优化，包含多种衣柜术语的提示词。下载链接：[链接地址]
Protogen v2.2：生成具有良好品味的插图和动漫风格图像。下载链接：[链接地址]
GhostMix：采用90年代经典动漫《攻壳机动队》风格进行训练，擅长生成机器人和机器人相关图像。下载链接：[链接地址]
Inkpunk Diffusion：经过Dreambooth训练的模型，具有独特的插画风格。下载链接：[链接地址]

请注意，上述模型通常可以从Civitai和Huggingface等平台上下载。在下载和使用这些模型时，请确保遵守相关的版权和使用协议。

三、ComfyUI应用

ComfyUI凭借其模块化的设计，将图像处理功能拆分成独立的节点，并通过工作流的形式将这些节点串联起来，实现了高度的灵活性和可扩展性。因此，ComfyUI在多个领域都有广泛的应用，包括但不限于：

AI绘画：用户可以通过自定义工作流，结合不同的模型和参数，快速生成符合要求的艺术作品。
图像处理：通过加载特定的模型和处理流程，ComfyUI可以用于图像修复、风格迁移、超分辨率等任务。
动画与影视：在动画和影视制作中，ComfyUI可以用于生成背景、角色设计、特效等，提高制作效率和质量。
AI视频：结合视频处理技术和Stable Diffusion模型，ComfyUI可以生成具有特定风格的视频内容，为视频创作提供更多可能性。

四、ComfyUI节点介绍

ComfyUI作为一款开源工具，提供了丰富的节点类型，用户可以根据自己的需求灵活搭建工作流。以下是ComfyUI默认工作流中主要节点的介绍：

Load Checkpoint 节点

Model：负责图像生成的模型部分。
CLIP：将文本转换为模型可以理解的格式。
VAE：用于将图像在潜在空间和像素空间之间进行编码和解码。
功能：加载预训练的Stable Diffusion模型。
主要组件：

CLIP Text Encode 文本提示词节点

功能：将用户输入的文本提示词转换为模型可以理解的数字表示（嵌入）。
输入：正向和负向的文本提示词。
输出：编码后的嵌入，传递给KSampler节点。

KSampler节点（采样器）

Model：来自Load Checkpoint节点的模型输出。
positive：来自CLIP Text Encode节点的正向提示词嵌入。
negative：来自其他CLIP Text Encode节点的否定提示词嵌入（如果有）。
latent_image：在潜在空间中的图像（如果进行img2img任务）。
功能：执行图像生成的采样过程。
输入：
输出：采样后的潜在空间图像，传递给VAE Decode节点。

VAE Decode 节点

功能：将潜在空间中的图像解码为像素空间中的实际图像。
输入：来自KSampler节点的潜在空间图像。
输出：解码后的像素图像，传递给Save Image节点进行保存和显示。

ComfyUI对电脑配置有一定要求，特别是显卡和内存方面。为了获得更好的性能和体验，建议使用N卡且显存在8GB以上，内存在16GB以上。同时，由于ComfyUI是完全开源的，用户可以根据自己的需求和兴趣，对节点进行扩展和定制，实现更多高级功能。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。