一、概述

       在离线的银河麒麟系统进行开发工作，总会遇到一些简单琐碎的问题，并且一些算法或者需要导入或者需要手敲，是一件很折磨的事。因此在服务器本地部署大模型，十分有必要。

二、部署方案

       采用 docker +  ollama + qwen2.5-coder:7b + open webUI，大模型根据自己需求替换。选择docker镜像可以屏蔽离线银河麒麟服务器缺库的问题。

三、在联网设备上下载镜像

       windows系统可以使用docker.desktop,linux系统直接安装docker。

    1、拉取Ollama基础镜像

            docker pull ollama/ollama:latest

    2、导出包含模型的Ollama镜像

           docker save -o ollama.tar ollama/ollama:latest

    3、拉取OpenWebUI镜像

           docker pull open-webui/open-webui:latest

     4、拉取OpenWebUI镜像

          docker save -o open-webui.tar openwebui/open-webui:latest

    5、下载Qwen2.5:7b模型

           docker run -d --name temp-ollama -p 11434:11434 ollama/ollama:latest

           docker exec -it temp-ollama ollama pull qwen2.5-coder:7b

      6、打包Qwen2.5:7b模型

           docker exec ollama-temp tar -zcvf /tmp/ollama-models.tar.gz -C /root/.ollama models

           docker cp ollama-temp:/tmp/ollama-models.tar ./  （命令行在那个目录，压缩包就在那）

    四、在银河麒麟上部署

  

4.1     银河麒麟系统Docker安装

4.1.1 解压并安装Docker

# 解压Docker安装包

 tar -zxf docker-27.1.0.tgz

# 复制可执行文件

sudo cp docker/* /usr/local/bin/

# 创建必要目录

sudo mkdir -p /etc/docker

sudo mkdir -p /var/lib/docker

4.1.2 配置Docker服务

# 创建systemd服务文件

sudo tee /etc/systemd/system/docker.service > /dev/null <<'EOF'

[Unit]

Description=Docker Application Container Engine

After=network.target

[Service]

ExecStart=/usr/local/bin/dockerd

Restart=always

RestartSec=5

LimitNOFILE=1048576

LimitNPROC=1048576

LimitCORE=infinity

Delegate=yes

KillMode=process

[Install]

WantedBy=multi-user.target

EOF

# 启动Docker服务

sudo systemctl daemon-reload

sudo systemctl start docker

sudo systemctl enable docker

# 验证安装

docker version

4.2 AI容器部署

4.2.1 导入离线镜像

docker load -i ollama.tar

docker load -i open-webui.tar

4.2.2 创建Docker网络

docker network create ai-network

4.2.3 启动Ollama容器

docker run -d 

--name ollama 

--network ai-network 

-p 11434:11434 

-v ollama_data:/root/.ollama 

--restart unless-stopped 

ollama/ollama:latest

4.2.4 将千问模型导入到ollama

   查找ollama容器在银河麒麟系统上挂载的目录

   docker volume inspect ollama_data

  找到 "Mountpoint": "/var/lib/docker/volumes/ollama-data/_data"  这一行

  把这个目录下的models删除，解压ollama-models.tar，然后替换原来的models 

4.2.5 启动OpenWebUI容器

docker run -d 

--name open-webui 

--network ai-network 

-p 3000:8080 

-v webui_data:/app/backend/data 

-e OLLAMA_BASE_URL=http://ollama:11434 

--restart unless-stopped 

ghcr.io/open-webui/open-webui:latest

五、访问与使用

5.1 访问地址

• OpenWebUI界面： http://localhost:3000
• 创建管理员账号
• 在模型选择器中选择 模型
• 开始使用AI编程辅助功能

六、遇到的问题

     1、U盘在银河麒麟上需要 FAT32格式

      2、浏览器需要新安装，银河麒麟上的浏览器版本旧，不足以加载 open webUI

       附赠网址 360安全浏览器  https://browser.360.net/entDownload.html