库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了(库里杜兰特组合有多强)

AIGC动态欢迎阅读

原标题:库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型

来了

关键字:腾讯,模型,视频,角色,数据

文章来源:量子位

内容字数:0字

内容摘要:

投稿 发自 凹非寺量子位 | 公众号 QbitAI当前大家常见的视频生成是酱婶儿的:

多数情况下只能让一个人动起来。

而现在,如果提供了一张人物合照,所有人都能同时“舞起来了”。

如此看来,从单人到多人,视频生成已经进入了Next Neval ~

如上成果出自腾讯混元团队联合中山大学、香港科技大学推出的全新图生视频模型:Follow-Your-Pose-v2。

与之前的模型相比,“Follow-Your-Pose-v2”主要有4大新亮点:

在推理耗时更少的情况下,支持多人视频动作生成

模型具备较强的泛化能力,不论年龄、服装、人种、背景杂乱程度、动作复杂程度如何,都能生成高质量视频

日常生活照(含抓拍)/视频均可用于模型训练及生成,无需费力寻找高质量图片/视频

面对单张图片上多个人物的躯体相互遮挡问题,能生成具有正确前后关系的遮挡画面,保证多人“合舞”顺利完成

为了评估多角色生成效果,团队提出了一个包含约4000帧(约20个多角色视频)的新基准——Multi-Character。

实验结果显示,模型在2个公共数据集(TikTok和TED演讲)和7个指标上的性能均优于最新技术35%以上。

原文链接:库里杜兰特“合舞”科目三,腾讯混元团队全新图生视频模型来了

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?