什么是 GlusterFS

GlusterFS 是开源分布式横向扩展网络文件系统 基于 Linux 开源集群架构 无中心节点设计 把多台普通服务器本地磁盘资源聚合 虚拟成一个超大统一共享存储池 对外提供标准 NFS/SMB 文件访问接口 上层业务无需感知底层分布式架构 像使用本地磁盘一样使用海量存储空间

核心特点

• ✅ 无元数据中心节点：不存在单点故障 集群可靠性极高
• ✅ 横向无限扩展：新增节点无缝扩容 不中断线上业务
• ✅ 弹性副本机制：支持多副本冗余 保障数据高可用
• ✅ 兼容 POSIX 标准：通用文件接口 适配绝大多数业务
• ✅ 廉价硬件架构：普通 x86 服务器 + 本地硬盘即可搭建 无需昂贵阵列柜

典型应用场景

• 云平台虚拟机镜像存储
• 海量小文件归档 视频 / 图片对象存储
• 企业集群共享目录 高可用业务共享盘
• Kubernetes 容器持久化存储

---

GlusterFS 核心架构与组件

核心守护进程

1. glusterd：集群管理守护进程负责节点通信 Peer 集群管理 卷配置管理 集群状态同步 所有节点必须启动 glusterd 才能加入集群
2. glusterfsd：IO 服务进程负责处理用户文件读写请求 数据分片 副本同步 数据寻址转发

核心概念

1. Peer 节点：Gluster 集群中的每一台服务器节点 节点间两两对等通信
2. Brick 块：节点上格式化好、挂载好的本地磁盘分区 是 GFS 最小存储单元
3. Volume 卷：多个 Brick 组合而成的逻辑存储池 对外提供统一文件服务
4. 条带 / 副本：数据分散存储策略 副本保证高可用 条带提升并发读写性能

架构优势

传统集中式存储：单中心控制器 容量性能瓶颈明显 控制器故障整体瘫痪GlusterFS 分布式架构：全节点对等 数据分散多节点存储 单节点故障不影响集群整体使用

---

GFS 集群部署前置规范（虚拟机克隆必看重点）

节点基础环境要求

1. 所有节点主机名唯一不重复
2. 所有节点/etc/hosts文件，双向配置全集群 IP + 主机名映射
3. 关闭防火墙、永久关闭 SELinux
4. 磁盘提前格式化、单独挂载目录，作为 Brick 使用
5. 虚拟机克隆节点必须重置集群 UUID！克隆会导致所有节点 UUID 完全一致，glusterd 直接启动失败、peer 探针全部报错

克隆节点致命问题（你本次报错根源）

报错：Connection failed. Please check if gluster daemon is operational.

• 原因：虚拟机克隆继承源节点/var/lib/glusterd集群唯一 UUID，多节点身份重复，glusterd 守护进程无法正常工作，节点间无法握手通信
• 根治方案：所有节点停止 glusterd 清空 UUID 配置目录 重启服务生成全新唯一节点标识

systemctl stop glusterd
rm -rf /var/lib/glusterd/*
systemctl start glusterd

Peer 集群操作禁忌

1. ❌ 禁止节点peer probe 自身主机名本机无需加入自己
2. ✅ 仅在一台管理节点 单向 probe 其他所有节点
3. 禁止多节点互相反向 probe 避免集群脑裂

GlusterFS 常用核心命令

集群 Peer 节点管理

# 加入其他节点到集群
gluster peer probe 主机名

# 查看集群节点状态
gluster peer status

# 脱离异常节点
gluster peer detach 主机名

卷 Volume 管理

# 创建2副本分布式卷
gluster volume create 卷名 replica 2 节点1:/brick路径 节点2:/brick路径

# 启动卷
gluster volume start 卷名

# 查看卷信息
gluster volume info

# 停止卷
gluster volume stop 卷名

# 删除卷
gluster volume delete 卷名

服务状态管理

# 查看glusterd进程状态
systemctl status glusterd

# 开机自启+启动服务
systemctl enable --now glusterd

GFS 卷类型详解

1. 分布式卷（Distribute）数据分散存放在不同 Brick，容量叠加，无副本，空间利用率 100%，单 Brick 故障数据丢失
2. 复制卷（Replica）每份数据同步存多份副本，节点故障不丢数据，高可用，空间利用率 = 1 / 副本数
3. 条带卷（Stripe）大文件分片拆分存储，并发读写性能极高，适合大文件、高并发场景
4. 分布式复制卷：企业生产环境最常用，兼顾扩容能力 + 数据高可用

客户端挂载使用 GFS 存储

服务端创建启动卷后，客户端通过 NFS 协议挂载使用

# 创建本地挂载目录
mkdir /gfsdata

# 挂载GFS分布式卷
mount -t nfs 节点IP:/卷名 /gfsdata

挂载后目录和本地磁盘完全一致 读写文件自动由 GFS 底层完成分布式同步 副本冗余 业务无感知

常见故障与排错思路

1. Peer 探针全部连接失败优先排查：glusterd 是否正常运行 → 节点 UUID 是否重复 → hosts 解析是否正常 → 防火墙是否关闭
2. 卷无法启动Brick 目录权限异常 节点离线 Brick 磁盘损坏 集群脑裂
3. 数据读写异常副本同步失败 节点网络不通 底层磁盘 IO 故障
4. 集群脑裂节点网络分区 两边集群各自运行 统一节点清理异常分区 重新握手同步集群状态

GFS 优缺点总结

优点

1. 无单点故障 集群稳定性极强
2. 扩容简单灵活 线性提升存储容量与读写性能
3. 硬件成本极低 通用服务器即可搭建
4. POSIX 标准接口 业务适配性极强
5. 数据多副本 天然防止硬盘 节点故障丢失数据

缺点

1. 小文件读写性能一般 元数据查找开销较大
2. 副本越多 存储空间损耗越高
3. 节点数量越多 集群脑裂风险越高 需要严格规范运维流程