银河麒麟v10 Server 本地部署大模型 #1

（事先声明，本人是普通本科计算机专业毕业生，已经从事工作两年，对web一窍不通，在整个过程中会犯下很多外行人都未必会犯的春比错误，而我也会把这些个春比错误都记录下来，聊以自勉）

又写了两篇开发日志后再回来看，真觉得当时的我纯猪比，这么简单的东西都搞不明白，本来设置的是仅自己可见的，但是CSDN已经没有我认识的人了，所以无所谓了，希望能帮到更多的猪比

文章目录

调校系统

工欲善其事，必先利其器，我先熟悉一下系统吧

1、看看来安装电脑的服务商都干了什么

首先根据交接内容，他应该是部署了一个deepseek32b的模型，然后拉了一个OpenWebUI的docker，直接使用OpenWebUI去访问模型docker的端口
故使用系统自带的火狐浏览器 （埋下伏笔） 访问localhost的3000端口，也就是OpenWebUI的默认端口 ，一打开直接给我看呆了：
在这里插入图片描述
难道现在干活都这么糙吗，这个大大的眼睛其实是设置密码是否可见的按钮 您完全不做适配是吗？ 事实证明是我错怪他了
无所谓了，丑点就丑点，我先看看能不能跑
然后登进去——500 Error，随后就是漫长的排故时间
出现500Error后，我的第一反应是问D老师，告诉他电脑中的几个docker容器基本情况，然后让D老师帮我分析下可能是什么问题

500error排故
排故猜想1：后端docker未运行

D老师觉得有可能是 WebUI 容器无WebUI 容器无法连接到 Ollama 或其他后端服务法连接到 Ollama 或其他后端服务 ，这也是我的直觉
因为我接这个活的时候自己用银河麒麟V11虚拟机已经尝试使用Ollama部署了一个8b的模型，实在是太方便了 （这种轮椅式的部署方法也就造成了我后续的排故基础薄弱，困难重重）
于是看看docker的运行状态

docker ps -a

运行结果如下
在这里插入图片描述
这一看不是跑的好好的吗？看来不是docker没起来

排故猜想2：后端docker已运行，但工作状态不对

既然docker外表看不出什么问题，那就看看运行日志吧，从WebUI docker运行日志入手，看看到底是哪一步出了问题
在里面发现了一个报错

connection refusederror error no 111 connect  call failed (ip略）

D老师告诉我： “你遇到的 Connection refused 错误，根源是 Docker 容器内的 这个 IP 地址无法访问端口 XXXX。这通常是网络配置不匹配，导致 Open WebUI 容器找不到你的 Ollama 服务。一个端口XXXX是不规范的，因为 Ollama 的服务默认是运行在 11434 端口上的。”
我一看，感觉有道理，于是想看看后端docker对应的端口

[@localhost ~]#docker inspect DeepSeek-R1-32B | grep -A 10 "PortBindings"
            "PortBindings": {
                "XXXX/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": "XXXX"
                    }
                ],
                "XXXX/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": "XXXX"

一看，发现还真有问题，这个DeepSeek-R1-32B docker根本就没有运行在默认的端口上，难道是服务商配错了吗？

排故猜想3：OpenWebUI配置有错

不管DeepSeek-R1-32B docker是不是使用的默认端口，现在是WebUI连接不上后端，我且看看是不是WebUI端口配置有问题。
D老师告诉我： “查看和管理 Open WebUI 的设置主要有两种方式：一种是通过直观的 Web 界面，另一种是使用更高级的环境变量”
于是我试图通过直观的Web界面去看看配置，D老师说：
DeepSeek-R1-32B docker
然后我就陷入了令人绝望的循环：
“你需要登录Open WebUI 来查看配置”
“我都登不上去怎么查看配置”
“那就先解决登录的问题”
“我需要查看配置来解决登录的问题”
在这里插入图片描述
不能用直观的Web界面去看配置，其他方法又不是很好用，于是我想先把WebUI放到一边，看看别的docker

排故猜想4：后端docker到底有没有问题

想把WebUI放到一边，直接看看后端docker有没有问题
于是准备看看ollama配置，直接与后端docker交互

[@localhost ~]# ollama list
bash: ollama：未找到命令

淦，根本没有ollama，这个模型不是直接用ollama部署的
怎么办呢，问问D老师
在这里插入图片描述
在这里插入图片描述
好的，出现了curl指令，正如我之前所说，我对web一窍不通，所以我决定先去学习一下这个指令的格式

排故中场休息：安装个浏览器休息一下，养养眼睛

最重要的一步来了，兴许冥冥中自有天意，我觉得这个系统自带的浏览器有点丑，想先换个浏览器，看看WebUI适配会不会好一点，毕竟火狐在适配上还是有不少问题
于是下载了一个chormium内核的浏览器，再访问了一下localhost:3000，然后再也没有出现500Error （广告位招租）
？？？
合着就是浏览器的适配性问题？？？
在这里插入图片描述

2、通网

没有想到，通网也是初次使用服务器系统时候的一大难题。
想法其实很简单，电脑大概率没有无线网卡，那我直接手机USB网络共享不就好了
事实上就是，连接手机并切换USB网络共享后，根本没法上网
于是开始排故

手机USB共享网络无法连接互联网排故
排故步骤1：手机问题？

在这里插入图片描述
依次尝试，无果

排故步骤2：USB设备连接问题？
[@localhost ~]# lsusb
Bus 008 Device 002: ID [hidden] Genesys Logic, Inc. USB3.1 Hub
Bus 008 Device 001: ID [hidden] Linux Foundation 3.0 root hub
Bus 007 Device 004: ID [hidden] Rapoo Rapoo Gaming Keyboard 
Bus 007 Device 003: ID [hidden] Rapoo Rapoo Gaming Mouse
Bus 007 Device 002: ID [hidden] Genesys Logic, Inc. 4-port hub
Bus 007 Device 001: ID [hidden] Linux Foundation 2.0 root hub
Bus 002 Device 001: ID [hidden] Linux Foundation 2.0 root hub
Bus 004 Device 001: ID [hidden] Linux Foundation 1.1 root hub
Bus 006 Device 001:(RNDIS) ID [hidden] Linux Foundation 3.0 root hub
Bus 005 Device 006: ID [hidden] Xiaomi Inc. Mi/Redmi series (RNDIS)
Bus 005 Device 001: ID [hidden] Linux Foundation 2.0 root hub
Bus 001 Device 002: ID [hidden] Huawei Technologies Co., Ltd. Keyboard/Mouse KVM 2.0
Bus 001 Device 001: ID [hidden] Linux Foundation 2.0 root hub
Bus 003 Device 001: ID [hidden] Linux Foundation 1.1 root hub

很明显，这里已经正确连接了Xiaomi Inc. Mi/Redmi series，并且把他识别为了 RNDIS（Remote Network Driver Interface Specification） 模式

排故步骤3：网络配置问题？

查看网卡是否已经分配ip：使用ip addr命令查看USB共享产生的网卡（实际地址省略）：

[@localhost ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 s网络配置cope host lo
       valid_lft forever preferred_lft forever### 3、安装常用软件

    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp125s0f0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
3: enp125s0f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
4: enp125s0f2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
5: enp125s0f3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
6: enp125s0f4: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
7: enp125s0f5: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
9: endvnic: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether  brd ff:ff:ff:ff:ff:ff
10: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether  brd 
    inet  brd  scope global docker0
       valid_lft forever preferred_lft forever
    inet6 f/64 scope link 
       valid_lft forever preferred_lft forever
11: veth46afb20@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether  brd  link-netnsid 0
    inet6  scope link 
       valid_lft forever preferred_lft forever
13: enp122s2u1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UNKNOWN group default qlen 1000
    link/ether  brd 
    inet  brd  scope global dynamic noprefixroute enp122s2u1
       valid_lft 2692sec preferred_lft 2692sec
    inet6 4 scope link noprefixroute 
       valid_lft forever preferred_lft forever

根本不知道哪个是usb设备
于是用了最春比的方法：把手机拔掉看看变化，发现13: enp122s2u1消失了
然后重新连接上去，发现13: enp122s2u1又出现了，没问题，就是这个口，仔细一看，已经给这个设备分配了IP，不是很放心，dhcp跑一下

[@localhost ~]# dhclient enp122s2u1
[@localhost ~]# dhclient enp122s2u1
dhclient(100748) is already running - exiting. 

This version of ISC DHCP is based on the release available
on ftp.isc.org. Features have been added and other changes
have been made to the base software release in order to make
it work better with this distribution.

Please report issues with this software via: 
https://gitee.com/src-openeuler/dhcp/issues

exiting.

没毛病，再次运行ip addr查看usb0是否已获得IP地址，ip已经自动分配了。再ping一下8.8.8.8和百度，毫无意外，还是Destination Unreachable

排故步骤4：路由问题？

排查到这里，基本已经确定不是硬件问题了，大概率是路由配置问题，因为服务器还连了网线接入局域网，所以这个ping包大概率是从局域网发出去了。

Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         [hidden]        0.0.0.0         UG    200    0        0 enp122s2u1（向外）
0.0.0.0         [hidden]        0.0.0.0         UG    100    0        0 enp125s0f2（向内）
[hidden]        0.0.0.0         [hidden]        U     0      0        0 docker0
[hidden]        0.0.0.0         [hidden]        U     200    0        0 enp122s2u1（向外）
[hidden]        0.0.0.0         [hidden]        U     100    0        0 enp125s0f2（向内）

问了下D老师，他说
优先级顺序：Metric值小优先，如果两条路由的匹配精度相同（比如两条都是默认路由），则比较 Metric（跃点数），数值小的优先级更高。
于是修改metric向外的metric值，问题解决，终于连上网了：（

3、安装输入法

安装输入法才是真的折磨，但是因为过程一直在重复操作，没有什么看点，这里就简述一下：
> 原来的拼音输入法不知道为什么没有启动
> 以为没有系统自带中文输入法
> 计划安装ibus框架 中文输入法
> 安装完毕，用yum看看是不是装上了拼音输入法
> 发现电脑里面自带fcitx框架的中文输入法，两个框架冲突了
> 卸载fcitx框架，转用ibus
> 打不出来中文，以为是没卸载干净
> 找彻底卸载教程
> 还是打不出来，打算把ibus也彻底卸载
> 重新安装ibus
> 还是打不出来，系统不兼容ibus？
> 卸载ibus，安装fcitx框架
> 还是打不出来，是不是输入法配置问题，顺便下载个搜狗输入法吧
> 切换输入法都做不到，搜狗输入法报错
> 彻底卸载搜狗输入法
> 还是不行，fcitx太高级了，还是用回ibus吧
> 反复安装卸载两个框架
> 实在受不了了，排查了所有可能出现一行都不用剪，有啥必安装的输入法吗的问题，关机休息会
> 重启服务器，最后安装的ibus-pinyin好使了
> 原来安装完输入法要重启 : (
一行都不用剪，“有啥必安装的输入法吗”
“有的兄弟有的，我们啥必也是要打中文的”

4、兼容deb格式安装包

找到一篇很好的博客，可以让我安装一些没有太多依赖的deb包（typora就用这个安装的），一路基本上比较顺利，就不再赘述了
博客园博客，作者在CSDN也发了

# kylin # docker # 容器
Logo
AtomGit开源社区

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。

更多推荐

cover

Ozon选品工具选购指南：三类工具各有千秋，新手如何不踩坑？

avatar AtomGit开源社区
cover

收藏！小白程序员必看：从零入门AI Agent，抓住2026年高薪风口！

avatar AtomGit开源社区
cover

收藏！2026年大模型时代程序员必看，别被AI浪潮甩在身后

avatar AtomGit开源社区