记录一下raid5坏盘更换硬盘恢复的全过程
·
前言
有个实验需求，需要存放一些数据，所以找了4块10.9T的盘用软raid组了raid5。
刚开始同步数据就死了一块盘。
一、环境
操作系统：ubuntu22.04.5
raid控制卡型号： Intel Corporation C600/X79 series chipset SATA RAID Controller
刚组好时的状态
sde 8:64 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5
└─md125 9:125 0 0B 0 md
sdf 8:80 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5
└─md125 9:125 0 0B 0 md
sdg 8:96 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5
└─md125 9:125 0 0B 0 md
sdh 8:112 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5
└─md125 9:125 0 0B 0 md
二、处理记录
1.检查raid当前状态
cat /proc/mdstat
root@ubuntu:/var/log# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4] [raid0] [raid10]
md124 : active raid5 sde[3] sdf[2](F) sdg[1] sdh[0]
33398808576 blocks super external:/md125/0 level 5, 32k chunk, algorithm 0 [4/3] [U_UU]
md125 : inactive sdf[3](S) sdg[2](S) sdh[1](S) sde[0](S)
20804 blocks super external:imsm
md126 : active raid1 sda[1] sdb[0]
927911936 blocks super external:/md127/0 [2/2] [UU]
md127 : inactive sdb[1](S) sda[0](S)
10402 blocks super external:imsm
unused devices: <none>
raid降级
sdf[2] (F) sdf盘failed
[U_UU] 丢失了第二块盘
2.检查硬盘状态
lsblk检查发现硬盘还在，去机房检查硬盘灯也正常。
试着重启一下，看看啥情况
启动过程中发现了sdf盘异常的日志
启动后检查硬盘列表
sde 8:64 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
sdf 8:80 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
sdg 8:96 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
sdh 8:112 0 12.7T 0 disk
├─sdh1 8:113 0 16M 0 part
└─sdh2 8:114 0 12.7T 0 part
sdi 8:128 0 12.7T 0 disk
├─sdi1 8:129 0 16M 0 part
└─sdi2 8:130 0 12.7T 0 part
坏掉的盘直接读取不到了，盘符推位了。。
3.关机换盘
替换对应坏盘，更换为全新同型号硬盘
启动服务器，启动后查看硬盘信息lsblk
lslk
sde 8:64 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
sdf 8:80 0 10.9T 0 disk
sdg 8:96 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
sdh 8:112 0 10.9T 0 disk
├─md124 9:124 0 31.1T 0 raid5 /hdd-data
└─md125 9:125 0 0B 0 md
新的sdf盘已经出现，符合预期
4.进行恢复
先检查raid状态
root@ubuntu:~# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4] [raid0] [raid10]
md124 : active raid5 sde[2] sdg[1] sdh[0]
33398808576 blocks super external:/md125/0 level 5, 32k chunk, algorithm 0 [4/3] [U_UU]
md125 : inactive sdh[2](S) sdg[1](S) sde[0](S)
15603 blocks super external:imsm
md126 : active raid1 sda[1] sdb[0]
927911936 blocks super external:/md127/0 [2/2] [UU]
md127 : inactive sdb[1](S) sda[0](S)
10402 blocks super external:imsm
unused devices: <none>
执行命令把盘加回去
sudo mdadm --manage /dev/md125 --add /dev/sdf
root@ubuntu:~# sudo mdadm --manage /dev/md125 --add /dev/sdf
mdadm: added /dev/sdf
5.查看加入结果及恢复状态
先检查raid状态
cat /proc/mdstat
root@ubuntu:~# cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4] [raid0] [raid10]
md124 : active raid5 sdf[4] sde[2] sdg[1] sdh[0]
33398808576 blocks super external:/md125/0 level 5, 32k chunk, algorithm 0 [4/3] [U_UU]
[>....................] recovery = 0.0% (1341244/11132936192) finish=829.9min speed=223540K/sec
md125 : inactive sdf[3](S) sdh[2](S) sdg[1](S) sde[0](S)
16708 blocks super external:imsm
md126 : active raid1 sda[1] sdb[0]
927911936 blocks super external:/md127/0 [2/2] [UU]
md127 : inactive sdb[1](S) sda[0](S)
10402 blocks super external:imsm
unused devices: <none>
查看硬盘状态
avg-cpu: %user %nice %system %iowait %steal %idle
0.96 0.00 2.12 0.92 0.00 95.99
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 25.00 64.00 0.00 0.00 0.72 2.56 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.02 1.40
loop0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
loop6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
md124 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.10
md126 0.00 0.00 0.00 0.00 0.00 0.00 16.00 64.00 0.00 0.00 0.56 4.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.50
sda 0.00 0.00 0.00 0.00 0.00 0.00 25.00 64.00 0.00 0.00 0.52 2.56 0.00 0.00 0.00 0.00 0.00 0.00 9.00 0.67 0.02 1.30
sdb 0.00 0.00 0.00 0.00 0.00 0.00 25.00 64.00 0.00 0.00 0.48 2.56 0.00 0.00 0.00 0.00 0.00 0.00 9.00 0.67 0.02 1.40
sdc 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sde 375.00 235200.00 58242.00 99.36 61.09 627.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 22.91 100.00
sdf 0.00 0.00 0.00 0.00 0.00 0.00 398.00 230600.00 58444.00 99.32 12.16 579.40 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 4.84 93.10
sdg 377.00 235620.00 58242.00 99.36 49.62 624.99 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 18.71 100.00
sdh 386.00 236652.00 58235.00 99.34 25.95 613.09 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 10.02 87.90
符合预期，从e\g\h向f盘灌数据
6.收尾工作
恢复完成，重建后收尾工作
# 更新 mdadm 配置文件
sudo mdadm --detail --scan | sudo tee -a /etc/mdadm/mdadm.conf
# 更新 initramfs
sudo update-initramfs -u
总结
记录一下raid5换盘的步骤记录。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
7
0- 0
已为社区贡献1条内容
所有评论(0)