TODO 问渠哪得清如许 为有源头活水来
经过小半年的发展积累,全民炼炉热潮仍如火如荼的进行,大到各路厂牌亲自下场,小到社区社群用户的遍地建私炉.以SD1.4/1.5 为基线模型、多方向、多维度、交叉螺旋进化发展着. 包括各式各样的自训练微调方法(text inversion 、hypernetwork、dreambooth、native training、DreamArtist、Lora),社区一直在探索在大模型基础上Fine-tune(自训练)的最优雅的解决方案,试图寻找一种让模型在不断高效学习具体风格或实物的同时又不至于抛弃模型原先的泛化性的(生成时二三次元皆可 而不是只能生成特定的风格)可持续的(不断把新东西加进去)、弹性的(按需训练,量大量小皆可)训练方案.
本文主要讲的是完整结构的稳定扩散模型( vae decoder、 unet clip、 encoder)几个G的那种
给模型添加预览图 便于查找
新版webUI自带模型预览图功能,默认本地所有模型上都显示 no preview 即没有预览图,我们可以生成完图片后 再次找到添加模型的位置,鼠标移动模型卡标题处,上方会出现replace preview(替换预览)红色字样 点击即可将刚刚生成的图设置为此模型的预览图
如果想把任意一张图片设置为模型的预览图,可以将图片拖拽到img2img中 然后进行替换.
lora的下载使用见2023.1.23更新的教程
LoRA 指南 170 赞同 · 26 评论 文章
text inversion 、hypernetwork下载使用
NovelAI hypernetwork 自训练教程 122 赞同 · 45 评论 文章
纷繁复杂的模型迭代推新让人眼花撩乱,而普通AIGC绘画者更多地还是考虑如何便捷地找到自己心仪的优秀模型文件并创作出让人眼前一亮的作品.因此,有必要讲讲寻找检索心仪模型并应用的Workflow.（ 至于如何搭建部署webui 可以去看之前的文章教程 ）
使用stable-diffusion-webui部署NovelAi/Stable Diffusion 保姆级教程、命令解释、原理讲解(colab、windows、Linux ) 269 赞同 · 95 评论 文章
常用模型分发传播流程、资源渠道汇总
HuggingFace的 Stable Diffusion模型分区
-
模型训练作者在训练完模型、测试效果后,通常会将模型上传到HuggingFace的 Stable Diffusion模型分区
Hugging Face SD模型分区
Huggingface TI分区
https:// cyberes.github.io/stabl e-diffusion-textual-inversion-models/
Discord&TG&Reddit
而这些作者往往都是开源社区、社群的活跃成员,所以除了在HuggingFace上传模型外也会编写相关介绍帖子及模型链接在Discord TG Reddit中的社区社群中.
电报模型分享群(需魔法上网)
Discord相关频道中模型帖子区 (需魔法上网)
Shinonome AI Lab discord截图
reddit的 stable diffusion 社区
Civitai
一些优秀的模型会被收录到专门的模型汇总网站如Civitai中， UI清爽无需登陆
Civitai | Stable Diffusion models, embeddings, hypernetworks and more
civitai网站截图
模型常见格式介绍
刚接触huggingface模型仓库的同学难免会被一堆文件感到困惑,搞不清自己到底该下那个文件.所以在这里讲下这些仓库的常见构成
huggingface SD2.1官方仓库
如图、此种情况下模型训练作者一般都会上传ckpt格式(即webui适用的格式)的同时上传适用于diffusers库的格式,也即把sd各个部分(unet,vae-变分自编码器,clip-文本编码器) [1] 训练好的权重(一般是bin格式)以及scheduler(调度算法)和tokenizer(分词器)等等配置信息分别单独保存在不同的文件夹中.所以我们只需找到ckpt格式的模型文件下载即可.
Safetensors
huggingface后来又推出了safetensors 格式, 旨在取代前面介绍的格式 ，使用方法上与ckpt格式类似,也是下载到webui的model文件夹下即可(如果webUI加载不出safetensors格式模型,可能是webui版本过旧,请gitpull更新)
比ckpt格式加载速度更快更安全
safetensors直接可以在webUI中原生调用,无需转换格式
在webUI中使用safetensors格式模型的具体细节可以参阅下方给出的链接
https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/4930github.com/AUTOMATIC1111/stable-diffusion-webui/pull/4930 github.com/AUTOMATIC1111/stable-diffusion-webui/pull/4930
模型文件名常见后缀含义解读
有时仓库里会有多个模型文件,文件名后缀各不相同,这里简单介绍下文件名常见后缀及其含义:
ControlNet
AI 绘画引入 ControlNet，将会带来哪些影响？ 135 赞同 · 7 评论 回答
instruct-pix2pix
在 stable-diffusion-webui 中使用 instruct-pix2pix (1.27号更新 img2img专用模型 自然语言指导图像编辑 生成速度极快 (几秒) )
在 stable-diffusion-webui 中使用 instruct-pix2pix模型 113 赞同 · 10 评论 文章
fp16、fp32
代表着精度不同,精度越高所需显存越大、效果也会相应增加;
512、768
代表着默认训练分辨率时512X512还是768X768,理论上默认分辨率高生成效果也会相应更好;
inpaint
代表着是专门为imgtoimg中的inpaint功能训练的模型,在做inpaint时效果会相对来说较好.
depth
代表此模型是能包含处理图片深度信息并进行inpainting和img2img的
EMA
模型文件名中带EMA一般意味着这是个用来继续训练的模型,文件大小相对较大
与之相比,正常的、大小相当较小的那个模型文件是为了做推理生成的
对于那些有兴趣真正理解发生了什么的人来说，应该使用EMA模型来进行推理
小模型实际上有EMA权重。而大模型是一个 “完整版”，既有EMA权重，也有标准权重。因此，如果你想训练这个模型，你应该加载完整的模型，并使用use_ema=False。
什么是EMA权重，为什么它们应该是更好的？
就像你作为一个学生在接受训练时，也许你会在最后一次考试中寄了，或者决定作弊并记住答案。所以一般来说，通过使用考试分数的平均值，你可以更好地了解到学生的表现，
由于你不关心幼儿园时的分数，如果你只考虑去年的分数(即只用一组最近的实际数据值来预测)，你会得到
MA （moving average 移动平均数). 而如果你保留整个历史，但给最近的分数以更大的权重，则会得到 EMA (exponential moving average 指数移动平均数)。这对具有不稳定训练动态的GANs来说是一个非常重要的技巧，但对扩散模型来说，它其实并不是那么重要。
VAE
vae模型文件并不能和正常模型文件一样独立完成图片生成 ,关于VAE文件，我写了篇比较全面的文章,可以跳转查看
在StableDiffusion中说起VAE时,我们在谈论什么? 114 赞同 · 6 评论 文章
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
国内极具人气的AIGC交流学习平台，主要收集国内外Ai网站，及Ai热点资讯，尽在益丰AI!
