个人总结搭建ollama容器

暮云星影

254人浏览 · 2026-06-07 09:15:15

暮云星影 · 2026-06-07 09:15:15 发布

`docker ollama AI`模型

ollama
ollama_docker
ollama_github

模型库

rts ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型

Model	Parameters	Size	Download
Llama 3.3	70B	43GB	`ollama run llama3.3`
Llama 3.2	3B	2.0GB	`ollama run llama3.2`
Llama 3.2	1B	1.3GB	`ollama run llama3.2:1b`
Llama 3.2 Vision	11B	7.9GB	`ollama run llama3.2-vision`
Llama 3.2 Vision	90B	55GB	`ollama run llama3.2-vision:90b`
Llama 3.1	8B	4.7GB	`ollama run llama3.1`
Llama 3.1	405B	231GB	`ollama run llama3.1:405b`
Phi 4	14B	9.1GB	`ollama run phi4`
Phi 3 Mini	3.8B	2.3GB	`ollama run phi3`
Gemma 2	2B	1.6GB	`ollama run gemma2:2b`
Gemma 2	9B	5.5GB	`ollama run gemma2`
Gemma 2	27B	16GB	`ollama run gemma2:27b`
Mistral	7B	4.1GB	`ollama run mistral`
Moondream 2	1.4B	829MB	`ollama run moondream`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Solar	10.7B	6.1GB	`ollama run solar`

1.1、cpu

1.1.1、创建容器

# Linux
# 默认根目录创建
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# 指定根目录创建
docker run -d \
  -v /media/work/work/project/project-docker/project-aitools/ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

docker run -d \
  -v /mnt/nvme-ssd/my_folder/project-docker/project-ai/project-ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama
  

#win
docker run -d -v C:\my_folder\project-docker\project-ollama:/root/.ollama -p 11434:11434 --name ollama zepengwan/my_ollama:v1

1.1.2、本地模型管理

# 显示所有本地已缓存的模型
docker exec -it ollama ollama list

# 下载模型
docker exec -it ollama ollama pull qwen3:8b &&\
docker exec -it ollama ollama pull qwen3:14b &&\
docker exec -it ollama ollama pull qwen3:30b &&\
docker exec -it ollama ollama pull qwen3:32b

# 删除指定模型
# 示例：删除 qwen:32b 模型
docker exec -it ollama ollama rm qwen:32b
# 强制删除
docker exec -it ollama ollama rm -f qwen:32b

1.1.3、运行模型

# 运行模型
docker exec -it ollama ollama run gemma3:27b
docker exec -it ollama ollama run gemma3:12b
docker exec -it ollama ollama run qwen2.5-coder:14b qwen3:32b

# 停止运行
docker stop ollama
# 再次运行
docker start ollama && docker exec -it ollama ollama run gemma2:27b

1.1.4、`windows`特殊说明

文件路径：C:\Users\YY\.wslconfig

[wsl2]
   memory=32GB  # 设置 WSL2 的内存上限为 2GB，可以根据需要调整
   swap=0      # 禁用交换分区
   localhostForwarding=true
   processors=28  # 设置 WSL2 使用的虚拟处理器数量，可以根据需要调整

#win 需要重启释放内存
wsl --shutdown

1.2、Nvidia GPU

# 安装[NVIDIA 容器工具包⁠](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation) 

# 方法1
# 配置存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
# 安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit

# 方法2
# 使用 Yum 或 Dnf 安装
# 配置存储库
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
# 安装 NVIDIA Container Toolkit 软件包
sudo yum install -y nvidia-container-toolkit


# 配置 Docker 使用 Nvidia 驱动程序
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# 启动容器
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama


# 运行模型
docker exec -it ollama ollama run llama3

1.3、AMD GPU

# 要使用 Docker 和 AMD GPU 运行 Ollama，请使用rocm标签和以下命令：
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm


# 运行模型
docker exec -it ollama ollama run llama3

1.4、`webui`访问

docker run -d \
  --name ollama-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://[NanoPi IP]:11434 \
  -v /mnt/nvme_ssd/my_folder/project-docker/project-ai/project-openwebui:/app/backend \
  ghcr.io/open-webui/open-webui:latest
  
docker run -d \
  --network=host \
  -e OLLAMA_BASE_URL=http://localhost:11434 \
  -e PORT=8088 \
  -e HOST=0.0.0.0 \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

#win
docker run -d -p 8088:8088 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -e PORT=8088 -e HOST=0.0.0.0 -v C:/my_folder/project-docker/project-openwebui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:latest