完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4V媲美”(赛宁网安谢峥被抓了吗视频)

AIGC动态欢迎阅读

原标题:完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4

V媲美”

关键字:视觉,基准,数据,编码器

,模型

文章来源:夕小瑶科技说

内容字数:0字

内容摘要:

夕小瑶科技说 原创作者 | 21#

6月15日,智源大会「多模态大模型」论坛中,纽约大学助理教授谢赛宁从哲学的角度出发,分享了AI是否需要更强的视觉基础来实现理解和意义。

昨天,杨立坤、谢赛宁团队推出其最新研究工作,聚焦多模态模型视觉,发布以视觉为中心的多模态大语言模型(MLLM)–Cambrian-1。

Cambrian-1不仅实现了SOTA,还提供了一个全面的、开放的指令调优MLLMs的指南,并且完全开源。

谢赛宁本科毕业于上海交通大学,曾在Facebook人工智能研究院担任研究科学家谢赛宁从Meta离职,加入纽约大学担任助理教授。

论文题目: Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

论文链接: https://arxiv.org/pdf/2406.16860

接下来,让我们来看看研究的具体细节。

总的来说,Cambrian-1在传统协议与使用MLLMs评估视觉表示之间建立了联系,使用MLLM指令微调作为各种视觉表示的评估协议,MLLMs通过视觉问答来解决多种现实世界中的感知任

原文链接:完全开源!谢赛宁发布最新SOTA多模态模型Cambrian-1,“不与GPT-4V媲美”

联系作者

文章来源:夕小瑶科技说

作者微信:xixiaoyaoQAQ

作者简介:专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员,覆盖500多家海内外机构投资人,互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂,兼备敏锐的行业嗅觉和洞察深度。商务合作:zym5189

0
分享到:
没有账号? 忘记密码?