Lora模型【参数】实战演练

白菜加酒:
[笑哭]用Da求最优学习率，步数不到100，loss=nan了，怎么办？

【回复】回复 @Lora模型训练师_可代练 :对，一开始loss还算正常，但到了一定步数，loss开始上升，最终变成loss=nan[笑哭]
江东徐:
最佳学习率得到后，有说除3，有说要除7。

【回复】相同、二分之一、十分之一，都可以（别相差太大就行），比如: 素材质量好，lr学习率（多十倍、少十倍）效果差不多
【回复】回复 @Lora模型训练师_可代练 :感谢告知[呲牙]