给大家展示一下 SDXL 大模型的魅力。
对于 AI 人像，这篇文章的研究重点主要是如何让脸更贴近原图。这篇文章就通过一些专题的实践，对还原人脸的一些出图思路、技巧和心得，会从出图思路、优化方向出发，逐步拆解，希望能给大家带来启发。
本篇的重点内容有：
如何根据一张图像还原人脸？
如何使用 stable diffusion 完成的更贴近真人特征的真人转漫画？
如何快速搭建一个可用的人脸 lora 模型？
如何实现基于模板照的人脸替换？
如何发挥 SDXL 能力制作创意写真？
一、初次接触 AI 绘画
使用文生图参照着当时的特征去写的提示词（白色毛衣，中长发，星星背景）：
现在已经迭代了一版，使用了 lora 更贴近真人。ControlNet 的出现也对 SD 出图有了更强的控制，能够直接参考人脸特征和其他写真图片的风格。
但学会看图说话，仍然是一个很重要的能力。下面第一个案例，就是讲如何在没有 lora 的情况下实现漫转真人。
二、动漫转真人
第一次接到的 AI 绘画定制来自公众号的一位读者，他需要实现一组动漫形象到真人的图片生成，约 15 至 30 张。这位用户没有要求还原角色的服装和服饰，只希望保留动漫的整体感觉即可。
如何在没 lora 的情况下实现漫转真人，首先就是要根据人物特征反推并细化提示词。
一）出图思路
大家听到漫转人，应该会想到这种图：
这种使用线稿控制出图，选择真人大模型出图就可以，但是需要的是出一套场景变换、人物动作变换的图像，原型要求是迪士尼的茉莉公主。
我问他要了下其他漫转人的样图，他给了冰雪奇缘的艾莎，可以看到发型还是蛮还原的，不过衣服不需要完全一样，只需要做到贴合原角色 。
所以出图思路：
1、写实类大模型，画风精美，需要外国面孔
2、如果有现成的人物 lora ，就可以更好地控制出图，迪士尼公主应该有人会炼
3、提示词改变场景、表情等
二）实操：初步效果
星九选用了比较出名的 absolutereality_v16 模型，是一个非亚洲面孔的写实模型，可从C站找到。
最开始没有找到关于茉莉公主的 lora ，所以还是选择提示词直接出图，给客户先看下效果是否符合预期。
不知道怎么写提示词，先使用 tagger 反推一下：
然后直接用提示词出图看看效果：
tag 上的人种、服饰、装饰、姿势都比较齐全了，不过在服装颜色方面、装饰细节方面还不太对，因此基于这个提示词进行修改，规定服装颜色、头饰等。
茉莉公主这个发带实在不太好还原，但可以出皇冠或者吊坠的图像。
最终发了几个效果图给客户，客户看中下面两张图中，第一个的皇冠，第二个的脸，并且要求后面的是同一张脸。
三）固定人脸
客户希望使用同一个人的人脸，这对我来说是一个挑战。要训练一个可用的 lora 模型需要大量相似的人脸图片，但训练也是需要十几张相同的人脸，所以训练 lora 的方案不太可行。
当时利用 ControlNet 的 reference 解决了这个问题。
为了保持除人脸外的其他部位不变，我使用图生图蒙版把脸部覆盖，重绘区域选择仅蒙版区域。
接着选择客户想要的那张脸部图片，开启 reference only 模式，同时开启After Detailer修脸插件。
这里多说一句，现在主流的修脸插件有After Detailer ( 以下简称 AD ) 和 Face Editor ( 以下简称 FE ) ，一般出图都需要开启，不然容易脸部崩坏。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
国内极具人气的AIGC交流学习平台，主要收集国内外Ai网站，及Ai热点资讯，尽在益丰AI!
