如何将阿里千问大模型Qwen部署到手机上?实战演示!(阿里干货19讲)

AIGC动态欢迎阅读

原标题:如何将阿里千问大模型Qwen部署到手机

上?实战演示!

关键字:模型,手机,命令,文件,技术

文章来源:智猩猩AGI

内容字数:0字

内容摘要:

直播预告 |「智猩猩大模型技术公开课」正式开讲啦~8月5日晚7点开讲,合合信息智能创新事业部研发总监 常扬将直播讲解《大模型RAG技术架构与应用实践》,内容覆盖RAG关技术架构、核心模块及关键技术精讲,欢迎扫码报名~今天这篇小作文主要介绍如何将阿里巴巴的千问大模型Qwen 1.8B部署到手机端,实现离线、断网条件下使用大模型。主要包括以下几个步骤:

编译Android手机可以使用的Qwen模型

编译打包APK,为Qwen在Android手机上运行提供用户交互界面

安装APK和效果实测

01简介为将Qwen大模型部署到手机,实现断网下Qwen模型正常使用,本文选择MLC-LLM框架。

MLC LLM(机器学习编译大型语言模型,Machine Learning Compilation for Large Language Models) 是一种高性能的通用部署解决方案,将任何语言模型本地化部署在各种硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化自己模型性能。该项目的使命是使每个人都能够使用ML编译技术在各种设备上本机开发、优化和部署AI模型。

以下将以Qwen1.5-

原文链接:如何将阿里千问大模型Qwen部署到手机上?实战演示!

联系作者

文章来源:智猩猩AGI

作者微信:

作者简介:

0
分享到:
没有账号? 忘记密码?