前言

你是否遇到过这些问题:

  • Lingma、Qorder 的免费额度用完了,续费太贵?
  • 公司的代码太敏感,不敢上传到云端 AI?
  • 网速慢、断网时想用 AI 辅助编程?

本地运行 AI 模型是解决这些问题的终极方案。本文将带你从零开始在 Windows 上部署 Ollama + LocalCode,打造一个完全免费、数据不出门、无使用限制的本地 AI 编程助手。

最重要的是,整个过程不需要 GPU,普通办公电脑就能跑。


一、为什么选择这套方案?

对比项 云端 AI(Claude/ChatGPT) 本地方案(Ollama + LocalCode)
费用 订阅制或按 token 收费 完全免费
数据隐私 代码上传到云端 数据留在本地
网络要求 必须联网 可离线使用
使用限制 有额度/次数限制 无限制
模型选择 固定模型 自由切换(1.3B/7B/14B)

二、准备工作

硬件要求

项目 最低要求 推荐配置
操作系统 Windows 10/11 Windows 10/11
内存 8GB 16GB+
硬盘 10GB 可用空间 20GB+
网络 用于下载模型 宽带即可

软件要求

  • Node.js 18 或更高版本 → 下载地址
  • PowerShell(Windows 自带)

三、安装步骤

第 1 步:安装 Ollama(模型运行环境)

Ollama 是让大模型能在本地运行的核心工具。

  1. 访问 https://ollama.com
  2. 点击 Download,选择 Windows 版本
  3. 运行 OllamaSetup.exe 完成安装

验证安装

powershell

ollama --version

第 2 步:启动 Ollama 服务

方法一(推荐):通过开始菜单启动 Ollama,系统托盘会出现羊驼图标

方法二:命令行启动(需保持窗口打开)

powershell

ollama serve

验证服务是否正常

powershell

curl http://localhost:11434
# 返回 "Ollama is running" 即成功

第 3 步:下载 AI 模型

这次测试用的:deepseek-coder:latest (1.3B)

powershell

# 🥇 首选推荐(已验证,8GB 内存流畅运行)
# 实际是 1.3B 量化版,大小约 776MB
ollama pull deepseek-coder:latest

# 🥈 进阶模型(需要 16GB+ 内存,能力强)
# q4_0 量化版,大小约 3.8GB
ollama pull deepseek-coder:6.7b-instruct-q4_0

# 🥉 旗舰模型(需要 32GB+ 内存,质量最高)
# 大小约 9GB
ollama pull qwen2.5-coder:14b

💡 实测经验deepseek-coder:latest (1.3B) 虽然在标签上叫 “latest”,但实际上是一个轻量级模型,在 8GB 内存的电脑上能流畅运行,日常代码辅助完全够用。如果尝试 6.7B 模型遇到内存不足错误,说明你的内存不足以运行该模型,建议换回 1.3B 版本。

第 4 步:安装 LocalCode(AI 编程助手)

LocalCode 是一个终端 AI 助手,可以读取你的项目代码并与模型交互。

powershell

npm install -g localcode-agent

验证安装

powershell

localcode --version

四、常见问题与解决方案

🔥 问题 1:Ollama is not reachable

错误现象

text

✗ Ollama is not reachable.

原因:Ollama 服务没有启动

解决方案

  1. 从开始菜单启动 Ollama
  2. 或运行 ollama serve 并保持窗口打开
  3. 运行 curl http://localhost:11434 确认服务正常

🔥 问题 2:URL 解析错误

错误现象

text

TypeError: Failed to parse URL from http://localhost:11434:11434/api/chat

原因:配置文件中的 URL 端口重复了

解决方案

  1. 打开配置文件:

    powershell

    notepad $env:USERPROFILE\.localcode\config.json
    
  2. baseURL 改为正确的地址:

    json

    {
      "llm": {
        "provider": "ollama",
        "model": "deepseek-coder:latest",
        "baseURL": "http://localhost:11434",
        "temperature": 0.1
      }
    }
    
  3. 保存文件,重启 LocalCode

🔥 问题 3:模型下载慢

原因:模型文件较大(776MB - 9GB),从海外下载

解决方案

  • 耐心等待,下载一次即可
  • 选择网络较好的时段(如清晨)

🔥 问题 4:运行卡顿、响应慢

原因:内存不足或使用 CPU 运行

解决方案

  1. 关闭其他占用内存的程序(浏览器、IDE 等)

  2. 换用更小的模型:

    powershell

    ollama pull deepseek-coder:latest   # 1.3B,776MB
    
  3. 使用 q4_0 量化版本(体积更小)

🔥 问题 5:模型下载成功但运行时报内存错误

错误现象

text

Error: 500 Internal Server Error: llama-server process has terminated: 
ggml_backend_cpu_buffer_type_alloc_buffer: failed to allocate buffer of size 3642753024
alloc_tensor_range: failed to allocate CPU_REPACK buffer

原因:模型需要 6-8GB 连续内存,你的系统无法提供

解决方案

  1. 换用轻量级模型(推荐)

    powershell

    ollama run deepseek-coder:latest
    
  2. 限制上下文长度

    powershell

    ollama run deepseek-coder:6.7b-instruct-q4_0 --num-ctx 1024
    
  3. 增加 Windows 虚拟内存到 16GB 以上

    • 右键"此电脑" → 属性 → 高级系统设置
    • 高级 → 性能设置 → 高级 → 虚拟内存更改
    • 取消"自动管理",设置初始和最大为 16384 MB

五、使用指南

启动 LocalCode

powershell

cd C:\你的项目路径
localcode

首次配置连接

启动后输入 /connect

  • 选择 Ollama 作为 provider
  • 输入地址:http://localhost:11434
  • 选择已下载的模型(推荐 deepseek-coder:latest

常用命令

命令 功能
/doctor 检查连接状态
/model 切换模型
/session save 名称 保存当前对话
/session load 名称 加载历史对话
/clear 清空聊天
/exit 退出

快捷键

快捷键 功能
Tab 切换 BUILD/PLAN 模式
查看输入历史
Ctrl+C 中止/退出

六、实战:用 AI 分析项目写技术博客

工作流

text

1. 进入项目目录启动 LocalCode
2. 分步提问获取素材
3. 人工整合润色
4. 发布博客

提问模板

text

# 第一步:了解项目结构
列出这个项目的目录结构,每个文件夹的主要职责是什么?

# 第二步:分析核心模块
找出项目中最核心的3个模块,分别解释它们的作用

# 第三步:提取技术栈
列出项目使用的所有框架和库,说明各自的用途

# 第四步:找设计亮点
这个项目中有什么独特的设计或实现技巧?

# 第五步:生成博客初稿
基于以上分析,生成技术博客初稿

模型选择指南(实测版)

你的内存 推荐模型 实际大小 实测状态 响应速度 质量
4GB-8GB deepseek-coder:latest 776 MB ✅ 已验证可运行 很快 够用
16GB deepseek-coder:6.7b-instruct-q4_0 3.8 GB ⚠️ 可能需调整虚拟内存 中等 良好
32GB+ qwen2.5-coder:14b ~9 GB 未验证 较慢 优秀

七、效果验证

运行 /doctor 后看到以下输出即表示部署成功:

text

✓ Ollama is reachable
✓ Model deepseek-coder:latest is available

然后提问测试:

text

>>> 用Python写一个快速排序算法

如果能返回正确的代码,说明一切正常!


八、总结

优点

  • 完全免费:无任何 API 费用
  • 数据隐私:代码从不离开本地
  • 无使用限制:想问多少问多少
  • 离线可用:没网也能用

缺点

  • ⚠️ 硬件要求:需要 8-16GB 内存
  • ⚠️ 首次部署:需下载数百 MB 到数 GB 模型文件
  • ⚠️ 质量上限:1.3B/7B 模型略逊于云端大模型

适合人群

  • 代码敏感不便上传的项目
  • 经常断网或网络不稳定的环境
  • Lingma/Qorder 免费额度用完的用户
  • 想学习本地 AI 部署的技术爱好者

九、常见问题速查表

问题 解决方案
Ollama 连不上 启动 Ollama 服务,检查托盘图标
URL 解析错误 修改 config.json 中的 baseURL
模型下载慢 耐心等待,或换时间段下载
响应太慢 deepseek-coder:latest 轻量模型
内存不足错误 换 1.3B 模型或增加虚拟内存
中文乱码 提示 AI “用中文回答”

效果图:
在这里插入图片描述

写在最后

这套方案我已经在自己的 Windows 电脑上跑通,deepseek-coder:latest (1.3B) 模型在 8GB 内存环境下流畅运行,用来分析开源项目、提取技术博客素材,体验非常丝滑。

如果你也在寻找一个免费、私密、无限制的 AI 编程助手,不妨跟着本文试试。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐