docker部署ollama

1.docker部署ollama

CPU模式

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU模式(需要有NVIDIA显卡支持)
docker使用GPU运行ollama

docker run --gpus all -d -v /data/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

docker部署ollama web ui

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

ollama模型仓库(可以选择自己想用的模型安装体验)[地址](https://ollama.com/library)

使用docker中的ollama下载并运行AI模型

docker exec -it ollama ollama run llama3:8b

GitHub 加速计划 / oll / ollama
82.41 K
6.3 K
下载
启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。
最近提交(Master分支:1 个月前 )
01b80e9f add conversion for microsoft phi 3 mini/medium 4k, 128k 1 个月前
bd5e4326 - 1 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐