通过ollama和通义千问大模型,如果要实现一个智能机器人,支持模型微调,扩展知识库,问答记忆功能的实现步骤-(通过一些)

要通过 Ollama 和通义千问大模型实现一个支持模型微调、扩展知识库和问答记忆功能的智能机器人,可参考以下步骤:

安装和启动 Ollama 服务: 在 Mac 上启动 Ollama 应用程序,在 Linux 上通过 ollama serve 启动。 通过 ollama list 确认服务是否已启动。 下载模型: 可下载如 Gemma(7B 模型)、Mistral(7B 模型)、Mixtral(8*7B 的 MoE 模型)、Qwen(通义千问,7B 模型)等。 了解 Ollama 的特点和优势: 支持多种大型语言模型,包括通义千问、Llama 2、Mistral 和 Gemma 等,适用于不同应用场景。 易于在 macOS、Windows 和 Linux 系统使用,支持 CPU 和 GPU。 提供模型库,可通过 https://ollama.com/library 查找和下载不同模型,满足不同需求和硬件条件。 支持自定义模型,如修改温度参数调整创造性和连贯性,或设置特定系统消息。 提供 REST API 用于运行和管理模型,以及与其他应用程序的集成选项。 社区贡献丰富,有多种集成插件和界面。 安装相关模型:访问 https://ollama.com/download/ 进行下载安装。 选择文本向量模型:使用文本向量模型 bge-m3,可从 https://huggingface.co/BAAI/bge-m3 下载。 利用 FAISS 创建向量存储:从 hf 下载好模型放置在指定路径,通过相关函数创建高效的向量存储。 实现 RAG:基于用户问题从向量数据库中检索相关段落,根据设定阈值过滤,让模型参考上下文信息回答问题。 创建网页 UI:通过 gradio 创建网页 UI 并进行评测。获取完整代码可关注公众号发送 fin 获取 github 仓库代码链接。 进行问答测试:对同样的问题和上下文,基于 Qwen-7b、Gemma、Mistral、Mixtral 和 GPT-4 分别进行多次测试。

0
分享到:
没有账号? 忘记密码?