老黄不止卖铲子了:英伟达配合Llama3.1推出定制模型、推理服务(英伟达mosaic)

AIGC动态欢迎阅读

原标题:老黄不止卖铲子了:英伟达配合Llama3.1推出定制模型

、推理服务

关键字:模型,数据,企业,护栏,高效

文章来源:量子位

内容字数:0字

内容摘要:

梦晨 发自 凹非寺量子位 | 公众号 QbitAI芯片巨头英伟达,在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。

现在他不装了,也要亲自下场“挖金矿”:

配合最强开源大模型Llama3.1,推出NVIDIA AI Foundry和NVIDIA NIM推理微服务两大新业务。

Foundry在芯片行业指“铸造厂”,比如台积电制造其他公司设计的芯片。

NVIDIA AI Foundry,代表英伟达可以定制化制造大模型了:

NVIDIA AI Foundry 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成式AI模型服务。

NVIDIA NIM在年初的GTC大会上首次亮相,使用几行代码就可以在云、数据中心、工作站和PC上部署AI模型。

现在则又新加一个标签:将Llama 3.1模型部署到生产中的最快途径,吞吐量最多可比不使用NIM运行推理时高出2.5倍。

为什么在这个时间点出手?

黄仁勋表示:“Meta的Llama 3.1开源模型标志着全球企业采用生成式 AI 的关键时刻已经到来”。

企业可以将Llama 3.1 NIM 微服务与与全新NVIDIA NeMo Retri

原文链接:老黄不止卖铲子了:英伟达配合Llama3.1推出定制模型、推理服务

联系作者

文章来源:量子位

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?