大模型国产化适配3-基于昇腾910使用ChatGLM-6B进行模型训练(升腾9110)

AIGC动态欢迎阅读

原标题:大模型

国产化适配3-基于昇腾910使用ChatGLM-6B进行模型训练

关键字:模型,文件,权重,数据,切分

文章来源:算法邦

内容字数:18843字

内容摘要:

直播预告 | 5月28日10点,「智猩猩AI新青年讲座」第236讲正式开讲,密歇根大学安娜堡分校在读博士生张挥杰将直播讲解《利用多级框架和多解码器架构提高扩散模型训练效率》,欢迎扫码报名~随着ChatGPT

的现象级走红,引领了AI大模型时代的变革,从而导致 AI 算力日益紧缺。与此同时,中美贸易战以及美国对华进行AI芯片相关的制裁导致 AI 算力的国产化适配势在必行。之前讲述了基于昇腾910使用ChatGLM-6B进行模型推理,本文将讲述针对ChatGLM-6B大模型在昇腾910加速卡上面进行模型训练,为了文章具有更好的阅读体验,具体代码放置在GitHub:

https://github.com/liguodongiot/llm-action/tree/main/train/ascend/mindformers/chatglm。

环境搭建

操作系统版本/架构:EulerOS release 2.0 (SP8)/aarch64

NPU:8卡 910 ProB 32G

Python:3.7

NPU 驱动:23.0.rc1,下载

NPU 固件:6.3.0.1.241,下载

CANN 工具

原文链接:大模型国产化适配3-基于昇腾910使用ChatGLM-6B进行模型训练

联系作者

文章来源:算法邦

作者微信:allplusai

作者简介:智猩猩矩阵账号之一,聚焦生成式AI,重点关注模型与应用。

0
分享到:
没有账号? 忘记密码?