ID-Animator是什么
ID-Animator是由来自腾讯光子工作室、中科大和中科院合肥物质科学研究院的研究人员推出的一种零样本(zero-shot)人类视频生成技术,能够根据单张参考面部图像生成个性化视频,同时保留图像中的人物身份特征,并能够根据文本提示调整视频内容。该框架通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现了高效的视频生成,且无需针对特定身份进行额外的训练。ID-Animator通过构建专门的数据集和采用随机面部参考训练方法,提高了视频的身份保真度和生成质量。

ID-Animator的主要功能
修改视频角色(Recontextualization): ID-Animator能够根据提供的参考图像和文本,改变视频中角色的上下文信息。例如,可以通过文本提示调整角色的发型、服装、背景,甚至执行特定动作,从而创造出全新的角色背景故事。年龄和性别修改(Age and Gender Alteration): 该模型能够根据需要对视频中角色的年龄和性别进行调整,以适应不同的视频内容和风格需求。如生成年轻人像变老、男生变女生的视频。 身份混合(Identity Mixing): ID-Animator能够混合两个不同身份的特征,按照不同的比例生成具有综合特征的视频,这在创造新的角色或混合现实中的人物特征时非常有用。与ControlNet的结合: ID-Animator可与ControlNet等现有精细条件模块兼容,通过提供单帧或多帧控制图像,可以生成与控制图像紧密结合的视频序列,这在生成特定动作或场景的视频时非常有用。社区模型集成: ID-Animator还能够与社区模型(如Civitai上的模型)集成,即使没有在这些模型上进行过训练,也能有效地工作,保持了面部特征和动态生成的稳定性。
ID-Animator的官网入口
官方项目主页:https://id-animator.github.io/ arXiv研究论文:https://arxiv.org/abs/2404.15275 GitHub源代码:https://github.com/ID-Animator/ID-AnimatorID-Animator的工作原理
