Follow-Your-Emoji是什么
Follow-Your-Emoji是由香港科技大学、腾讯混元和清华大学的研究人员推出的一个基于扩散模型的人像动画框架,利用扩散模型为参考肖像添加目标表情序列,实现动态动画效果。该技术通过表情感知标志点精确对齐表情与肖像,避免身份信息泄露,同时使用面部精细损失函数强化模型对微妙表情变化的捕捉能力。Follow-Your-Emoji支持多种风格的人像动画,包括真人、卡通、雕塑甚至动物,展现出高度的控制性和表现力。

Follow-Your-Emoji的功能特色
动态表情同步:利用扩散模型技术,Follow-Your-Emoji能够将预定义或实时捕获的表情序列精确同步到静态参考肖像上,实现如眨眼、微笑、皱眉等复杂表情的动态变化。身份特征保持:在动画化过程中,框架特别设计了机制来确保参考肖像的关键身份特征得以保留,即使在表情变化剧烈时也能防止身份信息的失真或泄露。夸张表情表现:通过表情感知标志点技术,框架能够捕捉并再现夸张的表情动作,例如在卡通或漫画风格中常见的大幅度瞳孔扩张或收缩,增强动画的表现力。 多风格适应:Follow-Your-Emoji框架不仅限于现实风格的肖像,还能够适应并动画化卡通、雕塑、动物等不同艺术风格和表现形式的肖像,显示出其广泛的适用性。时间连贯性:通过面部精细损失函数,框架在生成每一帧动画时都考虑到了与前后帧的连贯性,确保整个动画序列在时间上的自然过渡和流畅表现。长期动画生成:采用渐进式生成策略,Follow-Your-Emoji能够生成不仅在短期内连贯,而且在长期播放中也能保持稳定性和高质量的动画效果。 高度控制性:用户可以细致地控制表情序列,从而对动画输出进行精确调整,允许用户根据特定需求定制动画效果,实现个性化创作。Follow-Your-Emoji的官网入口
官方项目主页:https://follow-your-emoji.github.io/ arXiv技术论文:https://arxiv.org/abs/2406.01900Follow-Your-Emoji的技术原理

