SD生成视频的技术难点(sdf文件格式说明)

SD 生成视频的技术难点主要包括以下方面:

稳定性和闪烁问题:目前基本所有的 SD 生成视频都存在这方面的问题,不过上周发布的一个方案在很大程度上解决了此问题。该方案包括使用适应性扩散模型生成关键帧,并应用分层交叉帧约束来强制形状、纹理和颜色的一致性;通过时间感知的补丁匹配和帧混合将关键帧传播到其他帧。 图像处理:如在生成视频时,抠图中间可能处理不彻底,最好先通过 PS 扣好模板再绘制背景。 操作方法:生成视频的方法包括粗暴地替换,或者一帧一帧拆开然后利用 ControlNet + 局部重绘功能,每一帧做取模重绘,并尽量在同一语义下批量生成。 关键词和反关键词设置:输入关键词如奶油的英文单词“Cream + Cake”(加强质感),反关键词如“Easynegative”(负能量),反复刷机以得到满意效果。 模型和参数设置:例如选择合适的模型、设置采样器、CFG 尺度、种子、尺寸、VAE 等参数。

0
分享到:
没有账号? 忘记密码?