【AI绘画】一篇文章带你零基础玩转FLUX，最全面FLUX使用说明书，FLUX.1凭什么震惊世界？

目录

  • 什么是 Flux？

  • 三个版本的区别

  • 模型下载

  • 工作流入门

  • 最小工作流

  • 手动加载模型

  • 完全控制

  • 提示词与艺术风格

  • 图生图

  • FluxGuidance 节点

  • ModelSamplingFlux 节点

  • 实现艺术风格

  • 提升细节

  • 采样器和调度器的选择

  • 如何优化提示词

  • ClipTextEncodeFlux 节点

  • 条件平均与多重向量

  • 总结

今天我们来聊聊最近最火的生图模型 Flux，文章底部也准备了一些亲测好用的FLUX模型和工作流，有需要的小伙伴可以按需自取。

这是杂谈系列最“技术”的内容之一，不过别担心，咱会从基础介绍开始，带你们一步步理解，并用 ComfyUI 实践，相信看完后，你们会对 Flux 模型有一个更深入的理解。

什么是 Flux？

Flux 是黑森林实验室 (Black Forest Labs[1]) 开发的全新生图模型，拥有 120 亿参数（对比 SD3 Medium 为 20 亿），分为三个版本：Pro、Dev 和 Schnell。

三个版本的区别

  • Pro：最强生图模型，但只能通过 API 来使用。可以对接 Replicate、fal AI 和 OpenArt 的接口，不在本文讨论范围。

  • Dev：限制了商业用途，也就是说，你不能用它生成的图像直接或间接赚钱。如果你用这个模型做了些训练或微调，那么生成的模型也会继承这个限制。

  • Schnell：这个单词在德语里是 “快” 的意思，就像 SDXL 生态下的 Turbo 模型。它用了一种叫对抗性扩散蒸馏的技术训练出来，质量虽然逊于 Pro 和 Dev，但它是唯一可以免费使用并商用的版本。

在这里插入图片描述

按黑森林的跑分图来看，就算是最弱的 Schnell 也比 Midjourney v6.0 得分高。

模型下载

不是每个人的电脑都是 4090 + 64G 起的性能猛兽，根据对电脑性能要求，我分为了入门版、进阶版和完整版，可以根据你的实际情况选择。

入门版

ComfyOrg 社区搞 “三合一” 模型，它能用我们最熟悉的 Load Checkpoint 节点来加载模型，而且文件更小，对内存要求也更低

  • flux1-schnell-fp8[2]: 17.2GB，放到 /models/checkpoints/ 文件夹下

  • flux1-dev-fp8[3]: 17.2GB，放到 /models/checkpoints/ 文件夹下

当然缺点是生成的效果会有所下降。适合入门玩或者懒得折腾嫌麻烦的人。

进阶版

如果你不想损失那么多性能，则需要下载 Kijai 大神的 fp8 版本，以 dev 为例：

  • CLIP[4]：246 MB，放到 /models/clip/ 文件夹

  • t5xxl_fp8[5]: 4.89GB，放到 /models/clip/ 文件夹

  • dev VAE[6]: 335MB，放到 /models/vae/ 文件夹

  • Kijai dev UNet[7]: 11.9GB，放到 /models/unet/ 文件夹

完整版

若你电脑性能足够高，建议你使用官方的 fp16 版本。以 dev 为例，你需要下载这些：

  • CLIP[8]：246 MB，放到 /models/clip/ 文件夹

  • t5xxl_fp16[9]: 9.79GB

  • dev VAE[10]: 335MB，放到 /models/vae/ 文件夹

  • 官方 dev UNet[11]: 23.8GB，放到 /models/unet/ 文件夹

当然，我的电脑是带不动，佬友们自己尝试，下面的教程主要以进阶版本为例。

当然还有 GGUF 和 NF4v2 版本，它们都是在保证质量的同时消耗更少资源的模型，因为需要额外的 ComfyUI 节点，暂时先按下不表，想了解的可以评论踢我一下。

Dev 版本下载同理，更换对应的 VAE 和 UNet 即可；进阶版和完整版的 CLIP 是一样的，同型号的 VAE 也是一样的

工作流入门

在 ComfyUI 社区的努力下，使用 Flux 和 SD3 几乎是一样的，我分为三种不同的工作流，由浅入深的介绍一下，主要区别在于模型的加载。

最小工作流

如果你下载了入门版模型的话，在默认工作流的基础上只需选择对应模型，并将 cfg 改为 1 就算用上了。

需要注意的是 FLUX 不吃负面提示词，只是 KSampler 的负面提示词不能为空

手动加载模型

我已经是个大人了，至少也要手动加载模型，只有这样你才能用上进阶版和完整版，最简单的工作流如下：

其实和极简版是一样的，只是模型加载不同。这里我修改了种子，所以生成的图不一样。

完全控制和高级节点

还有一种很酷的搭建方式，用到了 SamplerCustomAdvanced 节点，生成的结果和 KSampler 完全一样，如下所示

这里还用到了两个 Flux 专用高级节点，先来有个概念：

  • FluxGuidance: 它决定模型在生成图像时，应该多大程度上严格按照你的提示走，后面会详细介绍。数值为 2+- 时会更有艺术感，3~3.5 适合大多数情况，大于 3.5 和小于 1 都容易毁图。

  • ModelSamplingFlux: 它控制模型在生成图像的过程的细节、风格以及整体感觉，后面会详细介绍。数值较低时更关注细节，较高时更专注整体。

除了在这种 Base 的工作流中，你也可以把这两个节点接入到我们熟悉的 KSampler 工作流中，效果是一样的.

写在最后

FLUX相关的模型、工作流以及全套的AI绘画学习资料已经给各位小伙伴打包好了，有需要的可以扫码自取，无偿分享。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 
在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

在这里插入图片描述

若有侵权，请联系删除

文章知识点与官方知识档案匹配，可进一步学习相关知识
Python入门技能树首页概览457007 人正在系统学习中
注：本文转载自blog.csdn.net的程序员 超超的文章"https://blog.csdn.net/2401_85116933/article/details/142514966"。版权归原作者所有，此博客不拥有其著作权，亦不承担相应法律责任。如有侵权，请联系我们删除。
复制链接
相关推荐
发表评论

评论记录：

未查询到任何数据！