以下是关于私有化部署的大模型工具的相关内容:
Fooocus 部署:
大模型(base 和 Refiner)默认放在:Fooocus_win64_1-1-10\Fooocus\models\checkpoints LoRA 模型默认放在:Fooocus_win64_1-1-10\Fooocus\models\loras Fooocus 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。若单独安装,需下载三个模型: SDXL 基础模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors 若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),在 Fooocus_win64_1-1-10\Fooocus\modules\path.py 中用 text 记事本打开,修改路径为秋叶包模型对应的路径,如大模型路径:sd-webui\models\Stable-diffusion\SDXL;LoRA 模型路径:sd-webui\models\lora。配置好后点击 run.bat 文件启动。SDXL 本地部署:
大模型分为两个部分:第一部分,base + refiner 必须下载,base 用于文生图操作,refiner 用于对生成的模型细化以生成细节更丰富的图片;第二部分是配套的 VAE 模型,用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】,回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型,需在秋叶启动器中将 webUI 版本升级到 1.5 以上,将模型放入对应文件夹,base 和 refiner 放在“……\sd-webui-aki-v4.2\models\Stable-diffusion”路径下,vae 放在“……\sd-webui-aki-v4.2\models\VAE”路径下,启动 webUI 后可在模型中看到 SDXL 模型。Langchain + Ollama + RSSHub 实现 RAG 部署:
安装完后,确保 ollama 后台服务已启动(在 mac 上启动 ollama 应用程序,在 linux 上通过 ollama serve 启动),可通过 ollama list 确认。 可通过 ollama 命令下载模型,如 Gemma(Google 推出的轻量级模型)、Mistral(欧洲法国 Mistral AI 团队推出的大模型)、Mixtral(Mistral AI 团队推出的 8*7B 的 MoE 模型)、Qwen(阿里巴巴推出的大模型)。