让你的AI转绘视频丝滑流畅,sd-webui-fastblend 插件现已开源

作者: a兵长分类: 计算机技术 发布时间: 2023-09-15 15:00:32 浏览:70110 次

让你的AI转绘视频丝滑流畅,sd-webui-fastblend 插件现已开源

MiraiSue:
你好,我是TiledVAE插件作者。在时间轴上取滑动窗口做平滑,不可避免地会产生糊的问题,不使用可学习组件可能难以避免。 看论文中你用patch match产生预测帧去做平均,也提到了光流问题,我建议不妨试试用现有插帧算法(RIFE)产生的中间帧做为预测帧,做平均。我已经试过实际效果,和你的算法类似,但是速度极快(可能快几个数量级)。我有已经写好的脚本,有需要私信联系。

【回复】感谢您的留言,近期我注意到一个新的研究工作,CoDeF,和 patch match 中的 NNF 类似,我还在调研这个技术,目前主要精力会放在这上面,后续也会继续发视频分享,欢迎您继续交流!
【回复】回复 @Atttoio :不管你读啥 ai专业paper才是硬道理 尽早参与科研找找感觉 有热爱有天赋则博 无天赋但有兴趣则硕 不喜欢做科研则混 否则寄
阿珂快乐屋:
求原理讲解,最近在尝试光流生成t+1帧再混合减少闪烁,不知道大佬用的是啥方法[脱单doge]

【回复】bing 搜索 diffsynth,可以找到我的论文,这个插件是论文中的 Fast Blending 算法
【回复】原理讲解要过段时间发,近期主要精力在其他工作上
【回复】回复 @a兵长 : 你远原本那个视频抖动太厉害了吧,现在AI转绘只要是不太差都不会抖动太厉害,处理后视频,怎么说了糊是一方面,最重要是画面细节丢失严重感觉像素模,我估计转会幅度不是很高吧,3D感还是很重的。还有蝴蝶结以及衣服褶皱纹理还是闪烁的,你选的这个人物衣服没有太多图案以及头发没有发誓装饰,所以闪烁起来不明显,你可以换一个衣服有很多图案头部有装饰那种,看看。
smthstrike1:
首先,感谢大佬。进行了初步的尝试,去闪烁的效果非常好。就是时间有点长。对了,大佬,在处理的时候,为什么gpu和cpu的使用率都不高呢,内存用的也不算特别大。我4080,64G内存,只用了30多G,gpu使用率也不高。是不是我配置哪里没弄好,我都用的默认配置

【回复】回复 @a兵长 :谢谢大佬,期待您的更新
【回复】应该是我代码的锅,cuda是现学现用的,调度得似乎不是很高效,我会想办法提提速的
纯鹿人ilil:
跑了半天爆内存,卡死了[笑哭],跑的时候用的是GPU,但是占用的是内存不是显存

【回复】你好,目前这个插件需要把所有帧读进内存,因此不建议使用太长的视频以及太高的分辨率。视频中的例子是分片段处理的,第一个片段三百多帧,512*768分辨率,供参考。
【回复】回复 @口语不好的cc :UI界面上有个填输出路径的文本框的
【回复】回复 @a兵长 : 请问下能不能修改output保存的默认路径啊,我的默认c盘路径的文件好像打不开。。
satangel:
看了影片感觉到细节都磨得没了,变得很模糊,还没处理的更好看,纯属个人观点

【回复】其实我也有这种感觉,已经在想办法了。另外,在我的视频里发言不用这么谨慎的哈哈哈,纯属个人观点
【回复】回复 @a兵长 : 小心谨慎点好,怕惹众怒被喷~XD
kkoko:
借宝地问一下up,EbSynth没法自动导入关键帧可能是什么原因? 4月底TemporalKit+EbSynth的方法刚出来就试着做过,到EbSynth这步只能手动一个个填,实在不是人干的事儿 现在快半年过去了,不知道有没有和我出现一样问题并解决的?

【回复】不好意思,我没有使用过 TemporalKit,对这个问题不了解。不过这个插件接下来会有更新,我打算提供类似 Ebsynth 的使用方式,敬请期待
【回复】哥们你路径是不有中文啊
【回复】数量太多超过最大值了,建议20个关键帧一组😓
真白lll:
使用秋叶大佬的整合包,网址安装重启后一直崩溃无法进,有大佬解决过吗?

【回复】回复 @a兵长 : UP大佬可以试一下能不能跟ebsynth utility这个插件共存
【回复】回复 @柯青黯 : 发现还是不行,我把所有插件都关掉了,启动还是显示【程序崩溃,退出代码为 1 (0x00000001)】
【回复】是的,发现秋叶整合包好多插件安装不了,这个插件也安装不了
Octppus:
看起来不错,试一下换角色的效果如何

【回复】回复 @a兵长 :ok做个评测帮你推广一下
【回复】回复 @Octppus :倒也不必急着做,这是个初始版本,两周内可能会有一个大更新,建议等我更了再做,UI界面可能会改。
【回复】可以自己试一试哦[脱单doge]
AI大师工作流:
马上,持续了几年的Ebsynth-beta版本也将结束beta,迎来1.0,建议你关注下这个动向

【回复】我现在最关心的是 ebsynth 能不能把它藏的东西开源,这玩意儿很烦,开源一个初始版本然后偷摸着改进它[嫌弃]
【回复】回复 @a兵长 : 哈哈哈,估计有希望
萧轩001:
想个法子,转化一下高清画质,就完美了

【回复】其实这个例子已经加了超分了,如果不加的话视频被抹得有点糊
虚拟AI豆:
对已经是用ebsynth处理的视频还有提升效果么?

【回复】回复 @虚拟AI豆 :啊,什么情况?
【回复】回复 @a兵长 :喔~本来想尝试一下,结果装了这个插件,webui就崩了[笑哭]
【回复】这个插件背后的算法也用到了 ebsynth 中的原理,但这个插件和 ebsynth 的功能是不一样的。

算法 视频 演示 Diffusion AI动画 三渲二 风格迁移 生成式模型 AIGC

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读