【快速打标/优化器对比】最新LoRA模型训练进阶教程2

青龙圣者:
上期教程1 BV15j411F7nJ 最新版GUI使用lion有BUG，学习率不会变 环境需求： 1、WebUI，推荐整合包 2、lora训练脚本(本体...

【回复】大佬这个autodl上可以用tensorboard吗？
清微doctor:
tensorboard打不开的老哥们可以这么做：tensorboard --logdir=log地址。例如：tensorboard --logdir=E:...

【回复】如果还是打不开，复制后替换路径tensorboard --logdir="D:\Ai paint\lora-scripts\logs"
【回复】回复 @FORGOT104 : 按照老哥你的方法成功打开了。按住shift+右键——powershell运行 PS D:\> tensorboard --logdir="D:\20230227105814\network_train" TensorFlow installation not found - running with reduced feature set. Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all TensorBoard 2.12.0 at http://localhost:6006/ (Press CTRL+C to quit) 就是这个【TensorFlow installation not found】让我有点慌。。。请问我的打开姿势正确吗[笑哭]
osero:
新手小白问个很蠢的问题，大佬的标签：kagura_hikari\(starlight\) 是什么意思呀？看不懂为什么加斜杠和括号，找了好多讲tag的教程都找不到讲解这些符号的[大哭]

【回复】括号就是括号，那些图站标签一般都是人物(系列名)。 kagura_hikari(starlight)，就是神乐光(少女歌剧) 斜杠是为了让括号作为普通符号正确识别，因为SD里面有个设置，括号作为加强权重的符号。
【回复】回复 @Jeason0228 :用括号是为了保持和booru的标签格式一致，理论上都可以。
【回复】回复 @青龙圣者 : 哦哦~谢谢大佬讲解！！明白了！
月叶秋凡:
BooruDatasetTagManager 下载下来没有软件,为什么呀

【回复】不要从右上角直接下载zip，要去右边release那里，点击BooruDatasetTagManager v1.5.2，再下载第一个V1.5.2 ZIP文件，里面有EXE
【回复】回复 @13战红发帅基佬 : 感谢大佬，找啊找啊找啊，https://github.com/starik222/BooruDatasetTagManager/releases/tag/v1.5.2 要不是懒得手动改，也不会找了一上午
爪爪叔:
md，收藏比赞和币加起来还多，你们的良心不会痛吗？ 龙神，他们不给你币，我给！[脱单doge]

地精炎术师:
我用da测试时候曲线是这样，快速升到峰顶后拉平。有大佬知道什么原因吗？学习率都设置为1了调速器设置为constant

【回复】@青龙圣者 青龙大佬好!最近学习炼丹看了您的教程让我有一个基本的了解，我也按照您视频里的参数对黄金法则进行尝试，可却出现了与此条评论一样的问题，所以在这条评论下@ 您，希望您看到后可以有空回复一下，感谢🙏，同时也想请问一下这个黄金法则现在还适用吗，需要注意哪些参数，比如梯度步数在lion中适合开启吗之类的，再次万分感谢!
【回复】同问，解决了吗，有答案了吗！！
unbporri:
大佬，想问一下这个学习率除以3要怎么算啊，比如我的学习率是8.87e-5，要怎么算才能把它变成Xe-X这种形式啊

【回复】回复 @unbporri : 首先建议除非图片太大，不用改分辨率。长图和宽图会自动识别分桶处理的。 想跑大图这种只能换显卡了.... 图越大远景越好细节越多，但是显卡要求就越高... 这种看显存需求了。
【回复】回复 @青龙圣者 : 十分感谢大佬，已三连+关注，还剩最后2个问题，同样素材512算出来的学习率和768的是一样的吗，还有就是图片直接压缩成512好，还是用预处理让它分割成512，如果是后者的话，一张大图变512后没法保留全部想要的特征，这种情况该怎么办
【回复】回复 @unbporri :你直接29e-6不就行了。。。不过差不太多可以进位
邻家咪啪:
请问大佬da的最佳学习率就是左下角那个lr表格，鼠标放到抛物线最高点，数据框中value的数值吗（我的曲线是一个山峰状抛物线[笑哭]

【回复】回复 @青龙圣者 :好的谢谢大佬。我看了下最高峰学习率2e-4。除3正好是第一期你用的6e-5[笑哭]
【回复】回复 @邻家咪啪 :正常就是0到高到0，一开始初始化会从0开始
【回复】回复 @青龙圣者 :嗯嗯好的，我的是从0到高再到0[笑哭]
看歌:
大佬我的真人模型用80张近照跑的，出的近照100%相似，LORA，为什么full body的时候身体细节略差，主要脸部会崩坏，为什么呢请问[笑哭]

【回复】full boy分辨率不够大。。。远景就会崩。
【回复】回复 @看歌 :过拟合就是指为了得到一致假设而使假设变得过度严格，训练集要人物各个角度的图喂进去效果才好，跑出来的模型不是步数不是有很多？你80张要是拿最后跑出来的模型塞进去肯定过拟合了，跑出来的图要符合你tag，又要符合模型，生成出一些奇怪的样子也不奇怪
【回复】回复 @青龙圣者 :哦吼，感谢解答，已投币，我再去试试[打call]
飞天的大饼子:
兄弟们找最优学习率 是 用 learning_rate: 1 unet_lr:1 text_encoder_lr:0.5 再是constant 和DAdaptAdam 。这个时候你后台图表就会有lr/d*lr 的图表（本来是2个表lr/textencoder lr/unet 现在多一个），lr/d*lr 它在一个过程 变成一条直线的时候 拿个值就是你当前训练集的最佳学习率[辣眼睛][辣眼睛][辣眼睛] 鼠标放上去看。

【回复】回复 @-イレイナ- :秋叶训练器默认是三个1，根本改不了，不知道up主这套学习率的计算方法能不能用于秋叶训练器
【回复】text_encoder_lr:0.5 会报错，三个学习率都是1反而就能跑了，这是为啥呢
乱田舞:
大佬求解，我训练集里面把人物全放在白色背景下面，都打了white background, simple background的标签。为何训练出来的模型全部是白色背景呢，权重开低了也没用，加背景相关的关键词也没用，背景就一直是白色的。。。

【回复】回复 @青龙圣者 : 又试了下，前面两三个批次0.5左右的权重可以，越往后越不行，这是属于过度训练了？
【回复】回复 @乱田舞 : 有没有可能你的白背景占比太大，lora学习主体成为白背景了，你试一试png图片背景是透明底的。
夸父工造:
感觉中间有一段看不太懂，讲学习率的那段。可以的话建议up讲完图表数据和方法论之后，还是习题的形式操作一遍，边操作边cue刚刚的知识点。那这个视频肯定会成为典中典了！以上，拙见

月亮与6Coin:
小知识：BooruDatasetTagManager可以在View将translate tags勾选，settings里把语言选中文简体就可以翻译tag了，没生效就删除cache.dt2文件再打开软件。

【回复】回复 @摄影小飞飞 :菜单都翻一下，都有的
【回复】关键是没看到settings啊，只看到file和view
I辞I:
青龙大佬，请问那个点tag的软件是怎么安装呀，我用下安装包和从网址下出来的文件里都是白文件没有那种打开软件的

阿不思丿丶:
大佬大佬，我用Lion优化Lora，可视图左下角那个lr里表格没有线是怎么回事呀。

【回复】请问，解决了吗，我点了也没有线
嘉心有糖自然甜:
请问一下一切准备完之后按下训练出现了这个错误怎么解决 OSError: Unable to load weights from pytorch checkpoint file for 'huggingface\hub\models--openai--clip-vit-large-patch14\snapshots\8d052a0f05efbaefbc9e8786ba291cfdf93e5bff\pytorch_model.bin' at 'huggingface\hub\models--openai--clip-vit-large-patch14\snapshots\8d052a0f05efbaefbc9e8786ba291cfdf93e5bff\pytorch_model.bin'. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

【回复】这个是要在哪里调整啊，我在train那里没有找到这个参数
【回复】底模不对，可能不是用来训练的。
【回复】回复 @嘉心有糖自然甜 :画图和训练的模型不一样，看大小。一般大模型里面7G的可以用来训练，3、4G的都是画画的
月叶秋凡:
请问下青龙大大,,,抠图角色资源在导出视图文件之后,,TXT文档有很多黑色背景关键词,,,如果不希望训练出的效果图有黑色,,,,这种大量黑色背景关键词是保留在TXT.,,还是要从TXT文档中删除呢? 这个训练的细节其实有些没搞懂,太多主播的说法有些不同

【回复】回复 @青龙圣者 : 好的感谢
宁酱QAQ:
大佬，我训练过程都正常，但是最后出来的lora没效果是什么问题，加不加lora都出来同一张图

【回复】回复 @面包是梦想的源头 : 学习次数不够或者学习率太低了？试试把权重拉满或者2倍看看有没有变化，如果有变化就是了，可以多学习几轮或者增大学习率
【回复】[大哭]我和你情况一样··，使用了lora，也没有任何效果。要是您找到解决方法了，求告知下就好。我要是找到了，我就告诉你
【回复】回复 @宁酱QAQ :爆显存了，试试调低训练分辨率或者调低batch_size
荒谬不经的人世:
我用Tensorboard看的日志里面没有lr的变化，只有unet和text encoder的怎么办啊

久幻者:
请问大佬，打标软件现在更新到2.1.4了，软件下载打开后没有翻译，怎么用啊，请大佬指教