python项目实战07-DeepSeek调用测试(本地部署)
1.首先,我们需要下载一个Ollama的客户端,在官网提供了各种不同版本的Ollama,大家可以根据自己的需要下载,下载地址:Ollama

2.默认安装
下载后双击即可安装,这里不再赘述。 默认Ollama是安装在C盘中的,具体的安装位置如下:
(1) 默认安装后的目录:C:\Users\用户名\AppData\Local\Programs\Ollama
(2) 默认安装的模型目录:C:\Users\用户名\ .ollama
(3) 默认的配置文件目录:C:\Users\用户名\AppData\Local\Ollama
3.自定义安装
Ollama默认安装目录是C盘的用户目录,如果不希望安装在C盘的话(其实C盘如果足够大放C盘也没事),就不能直接双击安装了。需要通过命令行安装。
(1) 命令行安装方式如下
在 OllamaSetup.exe 所在目录打开cmd命令行,然后命令如下:
OllamaSetup.exe /DIR=你要安装的目录位置
比如:
OllamaSetup.exe /DIR=D:/develop/ollama
(2) 配置环境变量
安装完成后,还需要配置一个环境变量,更改Ollama下载和部署模型的位置。环境变量如下:
OLLAMA_MODELS=你想要保存下载的模型的目录
环境变量配置方式,和之前配置的方式是一致的,这里不再赘述,配置完成如图:

4.查找模型
ollama是一个模型管理工具和平台,它提供了很多国内外常见的模型,我们可以在其官网上搜索自己需要的模型:https://ollama.com/search

点击进入deepseek-r1页面,会发现deepseek-r1也有很多版本:

比如:1.5b,7b,8b,14b,32b,70b,671b。这些就是模型的参数大小,越大推理能力就越强,需要的算力也越高。671b版本就是最强的满血版deepseek-r1了。需要注意的是,Ollama提供的DeepSeek是量化压缩版本,对比官网的蒸馏版会更小,对显卡要求更低。对比如下:

比如电脑内存32G,显存是8G,选择部署的是8b的模型,当然7b也是可以的,差别不大,都是可以流畅运行的。
5.运行模型
选择自己合适的模型后,点击对应的链接。

ollama会给出运行模型的命令:

注意:
(1) 首次运行命令需要下载模型,根据模型大小不同下载时长在5分钟~1小时不等,请耐心等待下载完成。
(2) ollama控制台是一个封装好的AI对话产品,与ChatGPT、DeepSeek官方提供的对话产品类似,具备会话记忆功能。
Ollama是一个模型管理工具,所有的命令如下:
-
ollama serve# 启动Ollama -
ollama create# 创建模型 -
ollama show# 查看模型的详细信息 -
ollama run# 运行一个模型 -
ollama stop# 停止正在运行的模型 -
ollama pull# 推送一个模型到远端 -
ollama push# 拉取(下载)一个模型 -
ollama list# 列出所有的模型 -
ollama ps# 列出正在运行的模型 -
ollama cp# 拷贝模型 -
ollama rm# 删除模型 -
ollama help# 查看帮助文档
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)