# Ollama GUI 中文版：一款自带推理监控的本地大模型聊天界面，还能对接 Trae IDE

## 前言

最近在本地跑 Ollama 大模型时，一直在找一个好用的图形界面。原版 [Ollama GUI](https://github.com/HelgeSverre/ollama-gui) 是英文的，而且缺少一些实用功能。于是我基于它做了一个中文增强版，主要新增了 **推理服务监控** 和 **OpenAI 兼容代理**，可以实时追踪 Trae IDE、Continue 等 AI 工具调用本地大模型的情况。

项目已开源：**[https://github.com/yangwenyu-ck/ollama-gui-zh)**

## 这个项目能做什么？

简单来说，它是一个运行在浏览器中的本地大模型聊天界面，但和普通聊天工具不同的是，它还内置了一个 **AI 推理网关**。

### 核心功能

- **多模型聊天** — 自动加载本地已安装的 Ollama 模型，每个对话可绑定不同模型

- **推理服务监控** — 实时查看所有 API 调用日志、推理速度、VRAM 占用

- **用量分析面板** — 统计 Web 聊天的 Token 消耗、对话次数、响应速度

- **系统提示词配置** — 支持全局默认提示和按模型自定义提示

- **对话导入导出** — JSON 格式，方便数据备份

- **深色/浅色主题** — 一键切换

- **Markdown 渲染 + 代码高亮** — AI 回复完美展示

### 最大的亮点：推理服务监控

这是我最想分享的功能。当你用 Trae IDE、Continue、Cursor 等工具调用本地大模型时，你根本不知道：

- 模型被调用了多少次？

- 每次推理花了多长时间？

- Token 的输入输出比例是多少？

- 推理速度是 tok/s 还是更慢？

这个监控面板可以帮你回答所有这些问题。

## 工作原理

项目运行后会提供两个端口：

| 服务 | 地址 | 用途 |

|---|---|---|

| Ollama 原生 API | http://localhost:11434 | Web 聊天界面直接调用 |

| 代理服务 | http://localhost:11435 | 外部工具（Trae、Continue 等）通过此端口调用 |

只需要把 Trae IDE 等工具的 API 地址从 `localhost:11434` 改为 `localhost:11435`，所有调用就会被自动记录，然后在 Web 界面的「推理服务监控」面板中实时查看。

```

┌─────────────────┐     ┌──────────────────┐     ┌─────────────┐

│   Trae IDE      │     │  Ollama GUI 中文版 │     │   Ollama    │

│   Continue      │────▶│  (代理 11435)     │────▶│  (11434)    │

│   其他 AI 工具   │     │  📊 推理监控      │     │  本地大模型  │

└─────────────────┘     └──────────────────┘     └─────────────┘

```

监控面板能看到什么

- **总调用次数、平均推理速度、总 Token、平均耗时**

- **推理速度趋势图** — 实时折线图

- **按模型统计** — 各模型的调用次数、速度、耗时对比

- **调用日志明细** — 每次调用的模型、输入输出 Token、速度、耗时

- **运行中模型状态** — VRAM 占用、上下文长度、量化级别

## 快速开始

### 环境准备

1. 安装 [Ollama](https://ollama.ai/download)

2. 安装 [Node.js](https://nodejs.org/)（v18+）

### 启动步骤

```bash

# 1. 启动 Ollama

ollama pull qwen2.5-coder:1.5b  # 拉取一个模型

ollama serve

# 2. 克隆项目

git clone https://github.com/yangwenyu-ck/ollama-gui-zh.git

cd ollama-gui-zh

yarn install / npm install

# 3. 启动 Web 界面

yarn dev / npm run dev

# 4. 启动代理服务（用于监控外部工具调用）

npm run proxy

```

### 对接 Trae IDE

1. 打开 Trae IDE → 设置 → 模型配置

2. 将 API Base URL 改为 `http://localhost:11435`

3. 正常使用，所有调用会自动被记录

## 也支持 Docker 部署

```bash

docker compose up -d

# 访问 http://localhost:8080

```

## 与其他 Ollama GUI 的对比

| 功能 | 原版 Ollama GUI | Ollama GUI 中文版（本项目） |

|---|---|---|

| 中文界面 | ❌ | ✅ |

| 推理服务监控 | ❌ | ✅ |

| 用量分析 | ❌ | ✅ |

| OpenAI 兼容代理 | ❌ | ✅ |

| 对话导入导出 | ❌ | ✅ |

| 系统提示词配置 | 基础 | 按模型自定义 |

## 写在最后

这个项目是在 [HelgeSverre/ollama-gui](https://github.com/HelgeSverre/ollama-gui) 的基础上二次开发的，原作者做了一个很棒的基础框架，在此表示感谢。

如果你也在本地跑 Ollama，特别是同时用 Trae IDE、Continue 等工具调用本地模型，推荐试试这个中文版，监控面板会让你对本地推理的性能有更清晰的了解。

GitHub 地址：**[https://github.com/yangwenyu-ck/ollama-gui-zh](https://github.com/yangwenyu-ck/ollama-gui-zh)**

欢迎 Star ⭐ 和 Issue 反馈！