Stable Diffusion实战通过骨骼关键点上生成美女姿势图

Arzie100 · 发表于 2023-3-11 14:12

通过Stable Diffusion来生成绘画，尤其是带人物的绘画，近期因为韩国美女模特模型效果太好而大火，我之前的文章里也讲解了基本的部署，大家可以参考。这次是看到了一系列新插件和人体骨骼模型带来的新应用方法，可以较好的解决之前绘画中，很难控制人物骨骼结构和姿势的问题。
插件名称为 “ControlNet”，可以很好地解决绘画时人物姿态不合理、骨骼结构不合理等问题。前 ControlNet 能做到骼绑定，精准控线，依据 3D 视图的法线进绘图，线稿上，依据深度图结构透视精准重绘等。ControlNet 的绘画模式是：先让户输张参考图，然后程序根据此图按所选算法模型预处理输出张新图，之后再由 AI 根据这两幅图绘制出成品。
安装方法：
1，拉取代码，https://github.com/Mikubill/sd-webui-controlnet，拉取到 WebUI 件录下 extensions 件夹内。
2，下载ckpts模型文件，地址https://huggingface.co/lllyasviel/ControlNet/tree/main/annotator/ckpts，下载后放到sd-webui-controlnet插件目录下的annotator/ckpts 录下。
3，下载模型文件，地址https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main，下载后放到sd-webui-controlnet插件目录下的models录下。
使用方法：
首先自己配置关键词，或者参考网上其他人的，例如下面这个：
award-winning photo, realistic, best quality, (4K:0.5), highres, solo, keen shot, a beautiful (chinese woman:1.1) walking in modern china city, (black_hair:1.15), (brown_eyes:1.1), lying silkworm, (Thick:0.05) willow eyebrows, earrings, arrogant expression, (look at viewer), (pale skin:0.1), (oval face:0.15), wearing (transparent:1.1) braless crop top, breasts, (nipple:1.1), full bangs, sharp,
Negative prompt: (asian:0.4), square face, baby_fat, plump face, (Oriental face:0.4), ugly, (nostril), upturned_nose, (monochrome), painting, 3D rendering, unreal, digital painting, (too fat:0.9), blurry, tattoo, bad anatomy, out of focus, blurry, text, watermark, road, car, panties, (Dark_clothes:1.2), brown hair, (masculine facial features:0.3), flower, gold,
Eta: 0.85, ENSD: 31337, Size: 512x768, Seed: 2152984795, Steps: 35, Sampler: Euler, CFG scale: 9, Model hash: 62a1df72
主要模型：Art & Eros (aEros) - A tribute to beauty，Art & Eros (aEros) - A tribute to beauty | Stable Diffusion Checkpoint | Civitai
配置结果如下图：

生成效果图如下图：

然后我们找一个真人模特的姿势图，例如下图：

为了保障不侵权，故意做了马赛克处理。
回到系统里，开始配置骨骼关键点检测及相关选项。

点击上传刚才的模特图。其他配置可参考如下：

再次点击生成，我们就会得到一个符合这个模特姿势的新图。

骨骼关键点会标注出来，并按照这个姿势来生成新的美女图。

这个就是控制姿势来生成指定姿势的方法。大家可以参考自己尝试一下，其他还有很多模型，我逐步测试之后再写教程。
这是一个很面向普通人的，只要能搭建起来环境，普通显卡也可以搞定以上图片的生成，比如2060、2070都可以，3000系列自然会更好，因为显存明显提升了。

JoshWindsor · 发表于 2023-3-11 14:13

看天娱数科这家企业做的虚拟美女和您这个属于同一道道的嘛。

量子计算9 · 发表于 2023-3-11 14:16

没研究过，但是目前ai生成的效果比较好的，基本用的都是这套开源框架

		自动登录	找回密码
密码			立即注册

Stable Diffusion实战通过骨骼关键点上生成美女姿势图

本帖子中包含更多资源