[AI]windows部署Ollama
·
1、下载&&安装Ollama
下载地址:Download Ollama on Windows

1)下载完成后直接点击exe文件进行安装即可,安装程序不能选择安装目录
2)完成后执行cmd命令,输入ollama命令,如下即表示成功

2、配置模型安装目录
ollama模型默认安装地址在C:\Users\<用户名>\.ollama
因为模型较大,所以我们需要在环境变量内设置模型的安装位置,如下进行设置

变量名:OLLAMA_MODELS
变量值:模型安装位置,如D:\Ollama
注意:重启电脑
注意:重启电脑
注意:重启电脑
3、下载模型测试
上面完成了ollama安装及模型的地址配置,可在ollama官网搜索支持的模型

如我本地GPU是1060 6G,我选择qwen:4b进行测试,在官网搜索qwen进入详情页如下

copy右侧命令在命令行执行,得到如下界面
会自动检测本地是否存在并下载没有的模型,下载完成后为自动运行

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐

所有评论(0)