一、Flux模型

1、FLUX.1 Dev fp16

  • 本地跑Flux最优质的模型

  • 不支持商用

  • 生图极慢

  • 建议16GB显存以上使用

2、FLUX.1 Schnell fp16

  • 与其他Flux效果完全不同

  • Apache2.0 license许可下支持商用

  • 生图速度比原模快

  • 支持4步生图(图片需要更多细节,可提高到8-10质量会更好)

  • 建议16GB显存以上使用

3、FLUX.1 Dev fp8

  • 非常推荐使用

  • 效果仅次于FLUX1 Dev fp16原模

  • 生图速度极快

  • 6-8GB显存可使用

4、FLUX.1 Schnell fp8

  • 与其他Flux效果完全不同

  • Apache2.0 license许可下支持商用

  • 生图速度比原模快

  • 支持4步生图

  • 6-8GB显存可使用

lib上可下载,地址:

https://www.liblib.art/modelinfo/de40ff893256477bbb1bb54e3d8d9df6?from=search&versionUuid=7b3004f6dcb94298b19a1b3b38430c13

没有会员的我帮你下载好了,扫下图领取:

模型存放路径:(我下载我可以承受的显存6-12GB)

models-unet

上面的模型是需要VAE的哈!!!

-

低显存可使用版本

5、FLUX1.0 dev NF4

  • 整合vae和clip

  • 尽可能保留细节的基础上,最大程度还原FLUX原模的效果

  • 速度提升4倍

  • 显存要求降低4GB可使用

lib上可下载,地址:

https://www.liblib.art/modelinfo/0175a2f9826d4c3a9335380940f87f58?from=search&versionUuid=54fb76b871364e2b966b4d6ad21655d0

没有会员的我帮你下载好了,扫下图领取:

模型存放路径:

models-checkpoints

6、FLUX.1 GGUF版本

根据显存大小下载最接近显存数字的模型大小

如:6GB选择Q3_K_S或Q4_0

下载地址

https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main(这个翻墙就能下,好使!)

模型存放路径:

models-unet

二、FLUX clip模型

下载地址

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

模型存放路径:

models-clip

三、Flux节点安装

1、GGUF,需手动安装

github地址

https://github.com/city96/ComfyUI-GGUF

2、NF4,需手动安装

github地址

https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4

3、xlabs,需手动安装

① xlabs,为UNA使用FLUX controlnet的一个节点包

github地址

https://github.com/XLabs-AI/x-flux-comfyui

存放路径:

ComfyUI-custom_nodes

② xlabs针对FLux的lora

comfy converted可直接放入根目录-models-loras

不带comfy converte,放入根目录-models-xlabs-loras才能被识别

下载地址

https://huggingface.co/XLabs-AI/flux-lora-collection/tree/main

存放路径:

Models-xlabs-loras

4、xlabs针对FLux的controlnet

支持最好的controlnet模型,hed/depth/canny,直接下v3版本

下载地址:
https://huggingface.co/XLabs-AI/flux-controlnet-collections/tree/main

存放路径:

Models-xlabs-controlnet

四、FLUX使用

1、节点说明

① UNET加载器(Load Diffusion Model)

用来识别并加载FLUX模型的

剪枝类型(weight dtype),默认default为fp16,fp8就选fp8的

② 双CLIP加载器(DualCLIPLoader)

CLIP1,可选择t5xxl fp8或者t5xxl fp16都可以

CLIP2,选择clip_l

以上:CLIP1和CLIP2可以相互交换的

③ VAE加载器(Load VAE)

④ FLux采样器(FLux Sampler Parameters)

该节点来自:ComfyUI essentials

2、FLUX基础文生图工作流

FLUX模型不需要负面提示词

① 采样器+调度器(目前需要手动输入)

  • 官方推荐,euler + simple

  • 可尝试,euler + beta / uni_pc_bh2 + simple / ipdmn + simple

  • euler + beta 与 euler + simple 区别,在于beta对光影的捕捉更自然、整体画面更明亮

② guidance(CFG中的G,控制提示词相关性)

  • 官方默认3.5,建议2-5

  • guidance=2,艺术发挥空间更大,艺术效果更浓

  • guidance>5,画面的对比度会更强烈

  • 教程中说guidance>3,画面偏写实,guidance<3,画面偏动漫(我怎么是反的ε=(´ο`*)))唉)

  • 做写实场景,建议2-3

  • 做非写实场景,建议3-4.5

-

FLUX工作流设置对比(没用过,记录下设置)

① FLUX1 Dev原模

② FLUX1 Schnell

③ FLUX1 fp8

④ FLUX1 GGUF

⑤ FLUX1 NF4

3、搭配lora

注意:NF4据说暂不支持lora

用官方的lora(官方的不好使),使用FLux加载LoRA,如下:

本地节点没连错,不知道是不是配置的问题,加了lora全是噪点,从这里就直接使用lib线上

用普通的lora加载器就可以,如下所示:

4、增加高清放大

使用节点Ultimate SD Upscale的SD放大 + 放大模型加载器

需要加载个空的负向提示词

SD放大设置:

CFG:1

降噪:0.1-0.2(太高就与原图不像啦)

-

用NF4搭建的高清放大,如下:

5、FLUX基础图生图工作流

懒得写提示词,加了个Joy Caption 2提示词反推

6、局部重绘

增加节点:

  • 差异扩散(differential diffusion),该节点可逐步改善图像质量,并生成细节更丰富的功能,在做局部重绘时,可以拥有更好的效果。

  • 遮罩高斯模糊(gaussian blur mask),该节点专门用来优化蒙版边缘衔接的。

  • 内部模型条件(inpaint model conditioning),该节点专门做局部重绘时用到的。

增加一个空的负向提示词

删除VAE编码(因为内部模型条件中已有)

由于lib直接在图像上涂抹遮罩一直不好使,增加一个segment_anything语义分割,如下所示:

7、加载controlnet

Canny

Depth

Hed

综上,flux的controlnet这三个效果,Canny、Depth可以凑合着用用

走完一遍FLUX基础使用,终于有个概念啦

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐