Gemini视频推理遥遥领先GPT-4o,Jeff Dean连续转发三次,首个视频多模态基准Video-MME来了(gemini人工智能模型)

AIGC动态欢迎阅读

原标题:Gemini视频推理遥遥领先GPT-4

o,Jeff Dean连续转发三次,首个视频多模态基准Video-MME来了

关键字:视频,模型,字幕,能力,数据

文章来源:量子位

内容字数:0字

内容摘要:

梦晨 发自 凹非寺量子位 | 公众号 QbitAIOpenAI

和谷歌接连两场发布会,把AI视频推理卷到新高度。

但业界还缺少可以全面评估大模型视频推理能力的基准。

终于,多模态大模型视频分析综合评估基准Video-MME,全面评估多模态大模型的综合视频理解能力,填补了这一领域的空白。

Gemini 1.5 Pro在这份榜单中遥遥领先,显示出在视频理解领域的“霸主”地位。Video-MME一经推出,被谷歌首席科学家Jeff Dean连续转发了三次。

GPT-4o、谷歌Gemini 1.5 Pro标榜的视频推理能力终于在全新的、更复杂的多模态基准Video-MME上首次得到了验证。

同时,各大公司以及研究机构,例如NVIDIA、ByteDance等模型也加入了混战。

Video-MME由中科大、厦大、港中文等高校联合推出,代码和数据集均已开源。

全人工标注高质量数据集该基准采取全人工标注,具有区别于现有数据集的显著特点。在以下的例子中,准确回答该问题需要同时从视觉、字幕以及音频中同时获取信息,有效信息直接横跨30分钟的间隔:

Video-MME具有以下显著特点:

时间维度的广泛性:视频时长

原文链接:Gemini视频推理遥遥领先GPT-4o,Jeff Dean连续转发三次,首个视频多模态基准Video-MME来了

联系作者

文章来源:量子位

作者微信:QbitAI

作者简介:追踪人工智能新趋势,关注科技行业新突破

0
分享到:
没有账号? 忘记密码?