关于您提到的开源项目,用于实时让图片人像说话,我找到了几个相关的开源项目,这些项目均支持从音频中学习生成3D运动系数,并使用3D面部渲染器来生成头部运动,从而实现图片加音频生成高质量视频的功能。
SadTalker:由西安交通大学开源的SadTalker模型,可以通过音频学习生成3D运动系数,使用3D面部渲染器生成头部运动,实现图片加音频生成高质量视频的功能。SadTalker支持stable diffusion webui,可以结合一段音频合成面部说话的视频。DreamTalk:由清华大学、阿里巴巴和华中科大共同开发的基于扩散模型的开源框架,可以让人物照片说话,支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话。DreamTalk包含降噪网络、风格感知唇部专家和风格预测器等关键组件,能够生成富有表现力的面孔,并减少对昂贵的风格参考的依赖。这两个项目都是开源的,提供了详细的安装和使用指南,可以作为搭建实时让图片人像说话系统的参考。