司机社

标题: ai绘画授之于渔 内陆帝国 ComfyUI [打印本页]
作者: yin30666    时间: 2023-3-30 20:03
标题: ai绘画授之于渔 内陆帝国 ComfyUI
本帖最后由 yin30666 于 2023-7-17 03:33 编辑
& M; Z5 A& t) ^1 u* w
( B3 o& r: p9 o& F9 w3 y) |7 w看到很多地方都在讨论comfyUI和webUI哪个更好，我的看法是 比如说学会了达芬奇就一定要把adobe的pr删除嘛，就不能两个都学了不是1 t" K( ~" k/ m
(, 下载次数: 37) ) n$ S  `9 K3 T/ O; H" z8 G
webUI相比comfyUI，前者优点是 好用的插件很多，比如最近在用的颜色管理插件的cutoff，随机颜色，随机背景的wildcard，以及视频帧到视频帧的mov2mov，但硬币有正反，凡事有两面，缺点也很明显，就是webUI就像巨大的黑箱子一样，对新手特别友好的同时，不知道算法和流程的咱们，出现奇怪的图，多肢体的图，根本不知道应该改动哪里，所以这时就需要comfyUI来帮忙更进一步了解webUI生成图的全流程
4 h* v% }# [% T4 H  ~& m
1 C% @6 g- w5 d  w0 W) c它是先加载随机数种子seed，加载配置文件configs和主模型CheckpointLoader，把模型送给显卡GPU，如果没有GPU就用CPU，之后 最先加载 可附加网络模型Lora loader，送给正负面词条的文本编码器0 V6 M' r/ V+ b, J" @* j( O% ^9 S
ClipTextEncoder，如果词条里有embeddings模型，则加载对应embeddings
7 q% f2 A* ^# Q" C& r! } (, 下载次数: 40) - O( _5 \) `$ ~) c
继续去加载controlnet插件的姿势预处理器Preprocessor和准备的图片Load Image，之后读取采样器数据KSampler，CFG缩放CFG Scale等其他详细设置(虽然在代码界面CFG,采样步数等参数是在文本编码器之前)，接着加载一张512空白图片，对这张图片全部重绘(其实是去噪)* ^$ b& Y$ Q4 e5 h) p8 _
(, 下载次数: 35) ' t6 j9 [1 [3 s# B$ S
把所有数据输入给VAE解码器VAE Decoder，再把在潜在空间Latent space的采样数据转换成像素空间对应的 值域0-255，最后生成图片，保存图片
2 o, H1 n) E7 U+ ? (, 下载次数: 41) 8 B1 U8 ?9 h1 ?% M, y; T6 Z
因为第一期是魔法咒语，对应这次聊聊界面各个英文的含义9 ~  }9 l, u$ L, B$ P" B+ V* t
Stable Diffusion 稳定的扩散模型，完胜了其他直接在像素空间上操作的DALL-E和VQGAN，因为Latent Diffusion在潜在空间上操作，降低所需显卡算力的同时，只损失很少的手部，脸部和文字细节，从而生成低失真高质量的图片
( P1 Z1 {" ~) u/ i; A (, 下载次数: 39)
) U- p5 }, U$ a+ \6 t+ MVAE Decoder 解码器，因为扩散模型在训练时会损失一些脸部，文字细节，所以用VAE模型帮助增加并修复一些细节，但是看来没有特别好的修复手部细节，毕竟一只手27块手骨，当时学画手我都学了1年不是8 O9 t4 q5 Q0 [5 D
(, 下载次数: 38)
3 v; T3 F) \  k4 {Clip TextEncoder 文本编码器，把正负面词条转换成数字串，比如全果completely nude 对应数字串是5989,16630 然后用Text transformer再转化成 embeddings条件(1,77,768) ,1代表batch size，77代表75个数字串tokens加上起始的token和结束的token，一共77个，768代表的是向量单位
" L# x! t. ?9 Q" j( r0 K; U! W (, 下载次数: 38)
8 J8 D& X/ M/ w- LSampling steps 迭代步数，比如设置为25步，随机种子跑第一步的时候可以中断生成，就能看到一张有各种颜色的噪点图
5 f7 x( |8 e! i2 V: ]9 ^: X (, 下载次数: 33)
! P& W. t* Z+ A. ]/ NSeed 随机数种子，根据这个数字，生成一张特定的噪点图，用文本编码器最后生成的数据作为条件，来指导ai去噪的方向(同理图生图的重绘程度，也是去噪程度，只不过不使用种子生成的图片，而是素材图片)1 W4 D% i) F, G0 f8 `4 F8 [' _  y

& w+ a" \5 c. l! \7 ?Sampling method 采样方法 每种方法对应各自的采样顺序，可以理解成上面的去噪顺序，所以生成图效果不好的时候，可以尝试改变采样方法4 M0 N' h0 c7 u0 S* w* y+ i
(, 下载次数: 34)
2 l- G( {8 T3 ~6 K$ g5 v+ qRestore faces 面部修复和Hires.fix 高分辨率修复，是在VAE解码器修复细节之后，使用不同的放大算法，比如BSRGAN和最近在用的UltraSharp，也可以只加载一张图片，来做到图片放大: T0 o/ [6 B* q; v; o
(, 下载次数: 36)
& {3 s# [3 j. O; ^$ {Batch size 单批数量，文生图界面里是生成几张，最多设置为8，lora训练脚本界面是每次训练选素材图片里的几张图片，所以训练步数等于 训练数据集图片数量*单张训练次数*最大epoch值 除以Batch size值，单批训练图片数量越多，训练速度越快，但显卡占用也会提升，具体怎么设置训练参数在下一期教程帖. k1 \$ r. j4 p
Dreambooth 大模型训练，通过自定义训练数据集词条，类数据集词条来设置 咱们的触发词，可以训练特定物品，人物，颜色，姿势，风格等等所有类型，但需要准备高质量的训练数据集，类数据集相对于训练数据集的权重叫prior loss weight先验损失权重，可以在设置里更改，默认0.75，推荐1
4 d- ?8 d1 \6 H/ _ (, 下载次数: 40)
- H5 r' |# A6 }8 {3 m6 [  o! X4 HLora 模型训练，用脚本的方式，通过txt文件里写的词条去底模形里找同类词条，相当于每写一个词条就ps抠掉那部分，剩下的部分，比如脸部，带衣服的人物，就是特定触发词louyixiao，之后同时训练UNet 神经网络和 Text Encoder 文本编码器两个输出，前者用在Additional Networks可附加网络插件界面里，后者用在正面词条里<lora:sijishe:1>，暂时只知道放在正面词条里的lora会和embeddings模型有权重冲突，除了这个应该没区别+ Y) S5 K' U% v) d9 r

. q4 R7 O- Y# U+ X/ U- A* O- sEmbeddings 模型训练，不适合训练人物，一般用来强化位置关系的词条，比如杯子在桌子上cup on table，牛奶在胸上 cum on breasts，掰开小穴 spread pussy by self
, q+ @. k. d$ V5 N3 B7 E/ U
) c# V/ k) \, C7 Y, ]" ~) N最后加上Hypernetwork超网络和Aesthetic Gradient美术风格梯度一起说，Lora因为泛用性偏低，所以最适合训练单一人物，dreambooth因为泛用性偏高，但需要一步步添加素材图片和降低学习率，参数设置麻烦但可以训练任何东西，embeddings适合训练物品，强化位置关系，剩下两个因为泛用性太高，适合训练各种画风，还没研究，想把lora这把剑磨成了再去研究
  |$ V3 Z7 h0 H% U
5 N8 y+ ?6 }9 b# h5 T链接里有我的comfyUI整合包，找了很多自定义节点放了进去，只需要更改./ComfyUI/extra_model_paths.yaml文件，右键文本档案打开，把里面的模型位置base_path改成你的webui的位置，这样comfyUI就会自动加载webui的模型，不需要一个一个拖拽
0 C: n  i. H2 _comfyUI的embeddings模型使用方法是在词条里填写embedding：模型名字，具体使用方法就不截图了，就是双击之后搜索对应的节点名字，或者鼠标右键然后在选项框里添加节点，连接节点是左右都行，但拆连线，只能从后往前，按工作流json的流程图说，就是从右边拆掉节点，output文件夹里有很多的图片和工作流，都可以直接拖到comfyUI界面直接加载模块，生成图片快捷键是ctrl+回车，和webui一样，一菲老师的lora模型也在comfyUI的models/lora里，权重为0.6-0.75，主模型是chillout_fix32，可以用webui的lora编辑器自行研究
; p. C2 a) E3 \继续去研究lora磨剑和comfyUI分区域作图了，output里面有一个工作流说是可以连接到chatgpt的，需要API，这个我就不懂了，我只知道webui启用API来使用outpaint插件，但比划了几下感觉效果一般8 e8 P' o4 l: E) Z# h
内陆帝国一词来自于游戏<极乐迪斯科>，之前就把游戏cg的图拿出来训练了一下画风，巨帅# I" \: ?* p- q2 ~
: J: N5 a8 B9 o
- m' X, k* n/ A% u# q" M7 f5 ^* }
9 i/ w+ v  I' D& X* f. f2 z7 N8 {

! N- a- i7 ?: b+ }
$ W# T1 O1 ^$ N: I% R1 ?. u
5 Z- G6 i/ v" p8 S. {8 n( P" H
  p* ]. {. V& x: D" o( I' a: T+ s. q# e




欢迎光临 司机社 (https://sjsapp.cc/) Powered by Discuz! X3.4