无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景生成模型(华为自动驾驶视频教程)

AIGC动态欢迎阅读

原标题:无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景

生成模型

关键字:场景,华为,视角,数据,方法

文章来源:量子位

内容字数:0字

内容摘要:

允中 发自 凹非寺量子位 | 公众号 QbitAI无需采集3D数据,也能训练出高质量的3D自动驾驶场景生成模型。

这是来自香港中文大学、香港科技大学和华为诺亚方舟实验室的最新研究成果——针对自动驾驶街景的可控3D场景生成方法“MagicDrive3D”。

此前,采用常见的2D自动驾驶数据集来生成3D街景的方法不是没有,但受采集角度所限,生成结果的可控性和几何一致性无法同时满足。而现在,MagicDrive3D通过结合可控生成与场景重建解决了这一限制。

不仅支持多条件控制,还突破了原始数据的局限,即使在原始图像不一致的情况下,也能建立出连贯的高质量模型。

即使场景中有很多物体,生成结果依然真实可靠:

而且支持天气情况的文本控制,可以一键从晴天切换到雨天:

道路结构、物体位置都能够精确控制(随机保留50%车):

还可以一键实现白天与夜晚的转换(随机保留25%车):

总之,这项成果解决了自动驾驶等无边界场景下3D场景的高质量模型开发难题,可以有效帮助BEV分割等下游感知任务。

常规驾驶数据即可实现可控场景生成3D自动驾驶场景生成应用广阔,然而目前3D资产的生成方法通常局限于以物体为中心的生成

原文链接:无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景生成模型

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?