前言

当下人工智能飞速发展，云端 AI 接口不仅存在网络限制，还面临调用收费、数据隐私泄露等诸多问题。越来越多技术爱好者与开发者开始倾向于搭建本地离线私有大模型，实现内网独立运行、数据不外流、免费无限制调用。

本文依托主流 Linux 发行版 Ubuntu 22.04.5 LTS，采用目前部署最简单、资源占用最低的 Ollama 框架。全程无复杂编译，一条命令即可完成模型拉取与启动，低配设备也能流畅运行，轻松搭建属于自己的私有本地 AI 服务。
本次实操以 Ubuntu 系统为例，整套 Ollama 部署逻辑通用，绝大多数 Linux 系统均可直接复用

一、部署环境说明

1. 系统环境
操作系统：Ubuntu 22.04.5 LTS
运行环境：物理机 / VMware 虚拟机均可
2. 硬件最低 & 推荐配置
最低配置：内存 8G，无独立显卡，CPU 即可运行轻量模型
推荐配置：内存 16G 及以上，运行 7B 及以上参数模型更流畅
网络需求：仅首次下载模型需要联网，部署完成完全离线使用
3. 前期准备
确保系统网络通畅，能够访问外网
提前更新系统依赖，避免环境缺失报错

sudo apt update && sudo apt upgrade -y       “更新命令”

二、一键安装 Ollama AI 部署框架

Ollama 是当下最热门的本地大模型轻量化管理工具，支持主流百款开源大模型，安装简单、后台稳定、极易上手。

1. 执行官方一键安装脚本

curl -fsSL https://ollama.com/install.sh | sh

脚本自动完成环境配置、服务注册、开机自启配置，全程无需手动干预，等待安装结束即可。

2. 校验 Ollama 安装状态、

输入查看版本命令，输出版本信息代表安装成功

ollama --version

3. 查看 Ollama 运行状态

systemctl status ollama

显示 active (running) 代表服务正常后台运行。

三、拉取并运行AI大模型（演示示例）

根据自身设备硬件性能，自由选择不同参数体量的 模型，参数越小对配置要求越低。

qwen:7b 通用均衡版，办公问答、代码调试、文案创作首选（主推）

ollama run deepseek:7b

ollama run llama3:8b

1. 拉取并启动 ai 大模型

ollama run deepseek:7b

首次执行自动从官方仓库下载模型权重文件，下载速度取决于本地网络，耐心等待即可，下载完成自动进入 AI 交互终端。

💡 这里特别说明：本文只是拿 deepseek 模型做演示，这套 Ollama 部署方法对所有支持的开源模型都通用，像 Llama、qwen、百川、星火等主流模型，都可以直接替换命令中的模型名称一键拉取运行，不用重复配置环境。

2.启用 / 配置 Ollama 开机自启

sudo systemctl enable ollama  启用开机自启

sudo systemctl start ollama 立即启动服务（当前会话生效）

sudo systemctl status ollama  检查服务运行状态

Ollama 在 Ubuntu 中是通过 systemd 管理服务的，默认安装脚本已经帮你配置好了开机自启。只要执行 systemctl enable ollama 确认启用，重启系统后 Ollama 就会在后台自动运行，无需手动敲命令启动，直接用 ollama run 模型名 就能快速进入对话，非常方便。

四、局域网共享访问配置（拓展实用）

默认仅本机访问，修改配置后可实现同一局域网内多设备连接调用本地 Qwen 大模型，实现内网全员共享私有 AI 资源。
编辑 Ollama 系统配置文件
开放全局 IP 访问权限，重启服务后，手机、Windows、其他 Linux 主机均可通过接口调用本地大模型，搭建小型内网智能服务平台。

五、部署常见问题优化方案

模型下载速度缓慢
可替换国内镜像源加速拉取，也可本地提前导入离线模型文件，跳过在线下载。
运行模型卡顿、响应延迟高
降低模型参数量，更换 1.8B 轻量版本，虚拟机环境适当调高内存与 CPU 核心分配。
运行提示内存溢出
关闭系统多余后台进程，释放运行内存，优先使用小参数模型平稳运行。
命令执行提示未找到指令
重新执行一键安装脚本，确认系统架构匹配，重新加载系统环境变量。

七、技术总结

在 AI 全民普及的时代，搭建属于自己的本地离线大模型已经不再是难事。借助 Ollama 框架在 Ubuntu 系统部署通义千问 Qwen，部署门槛极低、资源开销小、隐私安全性拉满，完美满足个人学习、办公辅助、内网智能服务搭建等多种场景需求。
再次强调：本文只是以 deepseek模型作为演示案例，Ollama 真正的强大之处在于它的通用性，学会这套部署方法，你可以一键切换部署 Llama、百川、星火、qwen等各类主流开源大模型，快速打造属于自己的一站式本地 AI 算力平台。
觉得本篇私有大模型部署干货对你有帮助，欢迎点赞收藏一键三连，后续持续更新本地 AI 可视化界面搭建、API 接口对接、模型微调入门等前沿 AI 实战教程！