容器化 Ollama+Qwen3
打包 Ollama 镜像
clone 项目
bash
git clone https://github.com/slmnb-lab/llm-deployment.git
修改模型名称
- 修改
ollama
目录下的ollama_pull.sh
文件中的模型名称。当前使用的模型是 qwen3:30b-a3b
模型列表参考 Ollama 官网
bash
#!/bin/bash
ollama serve &
sleep 15
ollama pull qwen3:30b-a3b # 替换成你需要的模型
- 修改
ollama
目录下的compose.yml
文件中的模型名称。
开始之前需要在共绩算力 suanli.cn 中创建一个镜像仓库,镜像仓库名称为
qwen
,镜像标签为30b-a3b
。访问这里 初始化镜像仓库
yaml
services:
qwen:
## 这里是 suanli.cn 中创建的镜像仓库地址 harbor.suanleme.cn 是仓库地址
## xuwenzheng 是账号名称
## qwen3 是镜像名称 30b-a3b 是镜像标签
image: harbor.suanleme.cn/xuwenzheng/qwen3:30b-a3b
build: .
labels:
- suanleme_0.http.port=11434 # 这里是 ollama 运行的端口,不要修改
- suanleme_0.http.prefix=qwen332b # 这里是发布到的 suanli.cn 的回传域名
restart: unless-stopped
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
ports:
- "11434:11434" # 这里是 ollama 运行的端口,不要修改
运行打包脚本
执行成功之后,会在本地生成镜像
bash
docker compose build
镜像上传
将打包的镜像上传到共绩算力的镜像仓库
登录镜像仓库
username 需要替换为自己的共绩算力镜像仓库的用户名!
输入密码需要输入初始化镜像仓库 时设置的密码
bash
### harbor.suanleme.cn 是固定值,username需要替换为自己的镜像仓库的用户名!
docker login harbor.suanleme.cn --username=xuwenzheng
## 输入密码 镜像仓库的密码!
*******
上传镜像
执行以下代码,进行镜像上传
bash
## 为新生成的镜像打上标签
docker tag harbor.suanleme.cn/xuwenzheng/qwen3:30b-a3b harbor.suanleme.cn/xuwenzheng/qwen3:30b-a3b
## 上传镜像
docker push harbor.suanleme.cn/xuwenzheng/qwen3:30b-a3b
部署服务
点击这里 部署服务 ,登录后根据页面提示进行部署。选择合适的设备,在服务配置中输入镜像地址,部署服务,完成!
选择设备

服务配置

部署服务
点击“服务部署”按钮,完成!
请耐心一点~~ 模型镜像会比较大,qwen3:30b-a3b 镜像本身 20G+,打包之后大约 40G+, 拉取镜像会需要一段时间