Ollama 是目前在本地电脑上运行大模型最简单、最流行的工具之一。它能让你像管理普通软件一样,轻松下载、运行和调用 Llama、DeepSeek 等开源模型,整个过程无需复杂的配置,也无需一直联网。

下面是一份详细的安装和使用指南,你可以根据自己的操作系统和需求,找到对应的步骤进行操作。


第一步:安装 Ollama

在开始之前,请确保你的电脑满足最低要求:至少 4 核 CPU 和 8GB 内存,并预留 20GB 以上的硬盘空间 。Ollama 支持 macOS、Windows 和 Linux。

macOS & Linux

macOS 用户可以使用 Homebrew 安装,Linux 用户则可以直接运行官方安装脚本。

  • 使用命令行安装(推荐):打开终端(Terminal),粘贴并运行以下命令:
    curl -fsSL https://ollama.com/install.sh | sh
    
  • 使用 Homebrew 安装(仅限 macOS)
    brew install ollama
    
Windows
  1. 访问 Ollama 官网 https://ollama.com/download
  2. 点击 Download for Windows 下载安装程序。
  3. 运行下载好的 .exe 文件,按照提示完成安装 。
验证安装

安装完成后,打开你的命令行工具(终端、CMD 或 PowerShell),输入以下命令并回车:

ollama --version

如果屏幕上显示出了版本号(例如 ollama version 0.5.7),就说明安装成功啦 。


第二步:下载并运行模型

Ollama 安装好之后,我们就可以来下载第一个大模型了。这里以阿里云的 Qwen2.5(通义千问) 和 DeepSeek 的 DeepSeek-R1 为例。

1. 运行模型

在命令行中输入以下命令,即可下载并自动运行一个模型。例如,要运行 DeepSeek-R1 的 7B 参数版本,可以输入:

ollama run deepseek-r1:7b

如果是第一次运行这个命令,Ollama 会自动从官方仓库下载模型文件(一个 7B 的模型大约 4.7GB),这可能需要一些时间,取决于你的网速 。下载完成后,你就会直接进入一个对话界面。

2. 开始对话

当看到 >>> Send a message 的提示后,你就可以直接在命令行里和 AI 聊天了。输入你的问题,按回车,它就会开始回答 。

>>> 介绍一下你自己

要退出对话,只需输入 /bye 或按快捷键 Ctrl + D

常用模型命令参考

你可以根据需要,将命令中的模型名替换为以下任意一个 。

模型名称 命令示例 模型大小 简介
DeepSeek-R1 (7B) ollama run deepseek-r1:7b 4.7GB 强大的推理模型,擅长逻辑和代码任务
Llama 3.2 (3B) ollama run llama3.2 2.0GB Meta 出品的轻量级高效模型,对硬件要求低
Qwen2.5 (7B) ollama run qwen2.5 4.7GB 阿里云通义千问,中文理解能力优秀
Phi-4 (14B) ollama run phi4 9.1GB 微软出品,专注于高质量推理的小型模型
Gemma 2 (9B) ollama run gemma2 5.5GB Google 推出的开源模型,性能均衡

第三步:进阶玩法(API调用和图形界面)

命令行虽然简单直接,但功能上有些单一。Ollama 的真正魅力在于它提供 API 服务,可以让我们用上更好看的聊天界面,甚至集成到自己的应用里。

方式一:通过 API 调用模型

Ollama 启动后,会在本地开启一个 API 服务,默认地址是 http://localhost:11434 。你可以使用任何编程语言或工具(如 curl)向它发送请求。

示例:使用 Python 调用
创建一个 .py 文件,写入以下代码并运行。

import requests
import json

# 定义请求的数据
data = {
    "model": "deepseek-r1:7b",  # 替换为你下载的模型名
    "prompt": "用Python写一个快速排序算法",
    "stream": False  # False表示一次性返回全部结果
}

# 发送POST请求
response = requests.post('http://localhost:11434/api/generate', json=data)

# 打印模型的回答
print(json.loads(response.text)['response'])

运行后,你就会看到程序打印出的代码 。

方式二:安装图形化界面(GUI)

如果你不想一直对着黑白的命令行,可以安装一个第三方图形界面。这里推荐 Chatbox,它非常轻量好用。

  1. 访问 Chatbox 官网 https://chatboxai.app/zh 下载并安装 。
  2. 打开 Chatbox,点击左下角的“设置”。
  3. 在“模型提供方”中选择 Ollama API
  4. API 域名保持默认的 http://localhost:11434 即可。
  5. 在“模型”下拉框中,选择你之前用命令行下载好的模型(比如 deepseek-r1:7b)。
  6. 点击“保存”,你就可以在一个类似 ChatGPT 的界面中,和你本地的 AI 自由对话了。

第四步:常用管理命令

随着你下载的模型越来越多,掌握几个管理命令会让操作更高效 。

命令 作用 示例
ollama list 查看所有已下载的模型列表 ollama list
ollama pull <模型名> 只下载模型,不立即运行 ollama pull qwen2.5
ollama rm <模型名> 删除一个模型,释放磁盘空间 ollama rm llama3.2
ollama run <模型名> 下载(如需要)并进入该模型的对话模式 ollama run deepseek-r1:7b

希望这份指南能帮助你顺利开启本地 AI 之旅。如果希望探索更多高级玩法,比如自定义模型参数、构建本地知识库等,可以查阅文末的参考资料,那里有非常详尽的教程 。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐