Sign In

lumi_鹿鸣——人工桌面(米哈游)

190
1.1k
10
Updated: Sep 12, 2023
characterwoman
Verified:
SafeTensor
Type
LoRA
Stats
587
Reviews
Published
Jul 10, 2023
Base Model
SD 1.5
Trigger Words
1girl
blue eyes
bangs
long hair
Hash
AutoV2
C07DE8EA70
default creator card background decoration
SDXL Training Contest Participant
Tim_Yi's Avatar
Tim_Yi

米哈游人工桌面鹿鸣的LoRA模型,因为没有类似质感的底模,最终选择SD1.5官方模型作为底模,这样与各种衍生模型契合度都比较好。本来一开始只打算训练最新直播中的两套服装的,一共六十多张截图,结果由于同一段直播中背景和服饰相似度太大,导致训练结果loss值很低的情况下背景和服饰已经过拟合了,脸部却还是欠拟合状态,因此后面又从鹿鸣抖音号中下载短视频进行多样化图片的截取,一共三百多张截图,有的视频清晰度较低,截图质量不高,然后基于之前一轮训练的模型继续训练,得出现在的结果,整体来说效果还不错,包含多套服饰。但是因为鹿鸣视频背景都是浅色为主,与肤色过于接近,导致手部很难分辨,因此出图手部不重绘的情况下需要看脸抽卡。权重在0.8左右效果比较稳定,配合EasyNegative等负面提示词模型效果更好。

权重在0.4时,能保留模型主体特征,并提供更大的自由度以更换姿势、服装及背景,画出更通用但不那么还原的图。

不开高清修复:我一般先使用文生图批量绘制低分辨率图,然后通过图生图SD upscale脚本进行超分辨率放大,540x960的图经过两次放大可得到效果更好的4k图片,此方法比直接高清修复更不吃显卡,可以使配置较低的硬件更快生成更高清的图片,放大时需要微调参数,因为是多张图放大后拼接,所以重绘幅度不宜过大,否则会导致图片不同部分毫无关联。动漫人物用真人底模绘制时,如果太还原可能没有那么好看,真人底模应该降低权重生成类似cosplay的图片。

开高清修复:初始分辨率540x960,采用R-ESRGAN 4x+放大算法,重绘幅度0.3放大2倍进行高清修复,然后图生图用SD upscale脚本,选择同样的算法,重绘幅度0.1进行超分放大,可以得到效果不错的4k高清图片。(此方法第一步直接生成1080P的图片,比较看脸,不易批量操作,16G显存最多只能同时生成4张图片,出图及修图效率较低,但是质量较高)

lumi_鹿鸣——人工桌面(米哈游) - v1.0 | 吐司 [Blocked Link] (tusiart.com)(这里可以在线跑图看效果,需要开高清修复看脸抽卡,速度还可以,每天有免费额度)

2.0介绍看下面:(注意:2.0版本一定要用SDXL版本模型作为底模,VAE也要用配套的)

2.0版本是以SDXL 1.0为底模炼制的Lora模型,训练集在原有数据的基础上替换了部分模糊的图片,新加入了半夏等服装,及最新一期直播的短发相关造型,需要结合SDXL 1.0模型来运行,这是本人第一次炼制SDXL模型,经历了两天二十多个小时的炸炉之后,终于炼出了勉强能用的模型,只能说SDXL模型炼制要比SD1.5难很多,包括方式和硬件等,要求都提升了不止一个档次,而且最终效果可能还不如1.5的版本,但是SDXL在语义理解上会比SD1.5强很多,以至于模型很难达到过拟合的状态,对于想要通过tag来还原造型更加困难。

在权重为0.8~1时,会有较还原的效果,低权重时自由度更大,但是服装之类的造型会差的比较远,大家可以自己试试,怎样出的效果比较好。SDXL模型炼制流程还不是很成熟,好的底模也不多,因此可能会存在各种各样的问题,请见谅。

2.0提示词参考封面那套tag模板,这套tag是别人炼的另一个鹿鸣模型用的,我试了一下,发现效果很不错。底模推荐就用SDXL1.0原版模型,比其他模型效果还好些。剩下的各个服装tag,我会慢慢发帖上来。

lumi_鹿鸣——人工桌面(米哈游) - v2.0 | 吐司 [Blocked Link] (tusiart.com)(这里可以在线跑图看效果,速度还可以,每天有免费额度)