1.首先,我们需要下载一个Ollama的客户端,在官网提供了各种不同版本的Ollama,大家可以根据自己的需要下载,下载地址:Ollama

2.默认安装

下载后双击即可安装,这里不再赘述。 默认Ollama是安装在C盘中的,具体的安装位置如下:

(1) 默认安装后的目录:C:\Users\用户名\AppData\Local\Programs\Ollama

(2) 默认安装的模型目录:C:\Users\用户名\ .ollama

(3) 默认的配置文件目录:C:\Users\用户名\AppData\Local\Ollama

3.自定义安装

Ollama默认安装目录是C盘的用户目录,如果不希望安装在C盘的话(其实C盘如果足够大放C盘也没事),就不能直接双击安装了。需要通过命令行安装

(1) 命令行安装方式如下

在 OllamaSetup.exe 所在目录打开cmd命令行,然后命令如下:

OllamaSetup.exe /DIR=你要安装的目录位置

比如:

OllamaSetup.exe /DIR=D:/develop/ollama

(2) 配置环境变量

安装完成后,还需要配置一个环境变量,更改Ollama下载和部署模型的位置。环境变量如下:

OLLAMA_MODELS=你想要保存下载的模型的目录

环境变量配置方式,和之前配置的方式是一致的,这里不再赘述,配置完成如图:

4.查找模型

ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:https://ollama.com/search

点击进入deepseek-r1页面,会发现deepseek-r1也有很多版本:

比如:1.5b,7b,8b,14b,32b,70b,671b。这些就是模型的参数大小,越大推理能力就越强,需要的算力也越高。671b版本就是最强的满血版deepseek-r1了。需要注意的是,Ollama提供的DeepSeek是量化压缩版本,对比官网的蒸馏版会更小,对显卡要求更低。对比如下:

比如电脑内存32G,显存是8G,选择部署的是8b的模型,当然7b也是可以的,差别不大,都是可以流畅运行的。

5.运行模型

选择自己合适的模型后,点击对应的链接。

ollama会给出运行模型的命令:

注意:

(1) 首次运行命令需要下载模型,根据模型大小不同下载时长在5分钟~1小时不等,请耐心等待下载完成。

(2) ollama控制台是一个封装好的AI对话产品,与ChatGPT、DeepSeek官方提供的对话产品类似,具备会话记忆功能。

Ollama是一个模型管理工具,所有的命令如下:

  • ollama serve # 启动Ollama

  • ollama create # 创建模型

  • ollama show # 查看模型的详细信息

  • ollama run # 运行一个模型

  • ollama stop # 停止正在运行的模型

  • ollama pull # 推送一个模型到远端

  • ollama push # 拉取(下载)一个模型

  • ollama list # 列出所有的模型

  • ollama ps # 列出正在运行的模型

  • ollama cp # 拷贝模型

  • ollama rm # 删除模型

  • ollama help # 查看帮助文档

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐