趋动云 国家超算中心 等云服务器 的高速硬盘 寻找和测速,解决模型加载慢的问题,模型要放到高速硬盘
趋动云 国家超算中心 等云服务器 的高速硬盘 寻找和测速 解决模型加载慢的问题,模型要放到高速硬盘
云服务器 的有低速硬盘 ssd nvme 高速硬盘,如何寻找
趋动云是/tmp 根据不同的付费规格,不同的限制
结论
# 人类可读格式(推荐)
df -h
一键查看所有磁盘类型
lsblk -d -o NAME,SIZE,ROTA,TYPE,MODEL,SERIAL
# 查看 NVMe 详细型号
cat /sys/class/nvme/nvme1/model
# 查看磁盘调度器(可推测性能)
cat /sys/class/block/nvme1n1/queue/scheduler
超算中心的系统盘 50G限制,查询
cd /
du -shx * 2>/dev/null | sort -rh
23G opt
17G root
1.7G usr
81M var
3.4M etc
400K tmp
40K run
32K public
8.0K workspace
8.0K data
4.0K srv
4.0K mnt
4.0K media
4.0K jupyter-ext
4.0K home
4.0K boot
0 sys
0 sbin
0 proc
0 libx32
0 lib64
0 lib32
0 lib
0 dev
0 bin
趋动云是高速硬盘结合低速云盘,高速硬盘就是临时硬盘 有限制 /tmp
国家超算中心都是高速硬盘
查看硬盘的命令
我来为您整理 Linux 系统中查看磁盘情况的常用命令:
基础磁盘空间查看
1. df 命令(Disk Free)- 查看文件系统磁盘空间
# 人类可读格式(推荐)
df -h
# 显示所有文件系统(包括虚拟文件系统)
df -a
# 显示特定文件系统类型
df -t ext4
# 显示 inode 使用情况
df -i
2. du 命令(Disk Usage)- 查看目录/文件占用空间
# 查看当前目录总大小(人类可读)
du -sh
# 查看当前目录下各子目录大小
du -h --max-depth=1
# 查看指定目录
du -sh /var/log
# 排序显示最大的目录
du -h --max-depth=1 | sort -hr
磁盘分区与块设备
3. lsblk - 列出块设备信息
# 树状显示所有块设备
lsblk
# 显示文件系统信息
lsblk -f
# 显示大小信息
lsblk -o NAME,SIZE,TYPE,MOUNTPOINT,MODEL
4. fdisk / parted - 分区表操作与查看
# 查看所有磁盘分区(需要 sudo)
sudo fdisk -l
# 交互式分区工具
sudo parted -l
高级磁盘监控
5. iostat - IO 统计信息(需安装 sysstat)
# 显示 CPU 和磁盘 IO 统计
iostat -x 1 # 每秒刷新一次
# 只显示磁盘信息
iostat -d
6. iotop - 实时磁盘 IO 监控(类似 top)
# 需要 root 权限
sudo iotop
7. ncdu - 交互式磁盘分析工具(需安装)
# 可视化浏览磁盘占用
ncdu /path/to/directory
实用组合命令
# 查找大文件(超过 100MB)
find / -type f -size +100M -exec ls -lh {} \; 2>/dev/null
# 查找并排序当前目录下最大的 10 个文件
find . -type f -exec du -h {} + | sort -rh | head -n 10
# 查看磁盘整体使用情况摘要
df -h | grep -E "(Filesystem|/dev/)"
常用参数说明
| 参数 | 含义 |
|---|---|
-h |
人类可读(Human-readable),显示为 KB, MB, GB 等 |
-s |
汇总(Summary),只显示总计 |
-a |
显示所有(All),包括虚拟文件系统 |
-i |
显示 inode 信息 |
-T |
显示文件系统类型 |
快速诊断流程建议
- 先看整体:
df -h查看各分区使用率 - 定位大目录:
du -sh /*找出占用空间大的目录 - 深入分析:
ncdu或du配合sort找到具体大文件 - 检查 IO:
iostat或iotop排查性能问题
从 df -h 的输出确实很难直接判断哪个是高速硬盘,因为这主要显示的是文件系统挂载信息,而非硬件性能特征。
让我帮您分析现有信息,并提供查看硬盘具体型号和性能的方法:
从现有输出分析
| 设备 | 推测类型 | 说明 |
|---|---|---|
/dev/nvme1n1p3 |
NVMe SSD | 名称含 nvme,这是高速固态硬盘 |
SCNet-HX_volume1 |
网络/分布式存储 | 名称像存储集群挂载,速度取决于网络 |
overlay |
容器层 | 实际底层是上面的 NVMe |
结论:/dev/nvme1n1p3 是您的高速 NVMe 硬盘
查看硬盘详细信息的命令
1. lsblk - 查看块设备和挂载点对应关系
lsblk -o NAME,SIZE,TYPE,ROTA,MOUNTPOINT,MODEL
ROTA列:0= SSD/NVMe(无旋转),1= 机械硬盘(HDD)
2. 查看 NVMe 具体型号(需要 root)
# 查看 NVMe 控制器信息
sudo nvme list
# 查看具体硬盘 SMART 信息
sudo nvme smart-log /dev/nvme1n1
3. hdparm / smartctl - 查看硬盘参数
# 查看所有硬盘的 SMART 信息
sudo smartctl --scan
sudo smartctl -a /dev/nvme1n1
# 测试读取速度(谨慎使用)
sudo hdparm -tT /dev/nvme1n1
4. cat /proc/scsi/scsi 或 lsscsi
# 列出所有 SCSI/SATA 设备
lsscsi
# 或查看内核识别的存储设备
cat /sys/class/block/nvme1n1/queue/rotational # 0=SSD, 1=HDD
快速识别高速硬盘的方法
# 一键查看所有磁盘类型
lsblk -d -o NAME,SIZE,ROTA,TYPE,MODEL,SERIAL
# 查看 NVMe 详细型号
cat /sys/class/nvme/nvme1/model
# 查看磁盘调度器(可推测性能)
cat /sys/class/block/nvme1n1/queue/scheduler
关键判断依据
| 设备名特征 | 类型 | 速度等级 |
|---|---|---|
nvme* |
NVMe SSD | ⭐⭐⭐ 最快(PCIe 通道) |
sd* + ROTA=0 |
SATA SSD | ⭐⭐ 快 |
sd* + ROTA=1 |
机械硬盘(HDD) | ⭐ 慢 |
dm-* / mapper |
逻辑卷/RAID | 取决于底层 |
非 /dev 开头 |
网络存储 | 取决于网络带宽 |
您的 /dev/nvme1n1 是 NVMe 协议固态硬盘,是目前消费级/企业级最快的存储类型之一。
测试硬盘速度
dd if=/dev/zero of=/tmp/test_write bs=1M count=1024 oflag=direct
8 0 sda 358005 21710 40373465 255488 59976484 19229989 1121649089 68044620 0 3318476 68099696
8 1 sda1 343 873 10740 284 1 0 1 0 0 84 284
8 2 sda2 174 0 10906 348 9 6 120 76 0 356 424
8 3 sda3 357394 20837 40347523 254600 59976474 19229983 1121648968 68044544 0 3318340 68093792
8 16 sdb 208449412 4896596 43110028562 1103561856 123667090 167057288 75634431536 1380750340 0 416757888 2466324336
259 0 nvme0n1 994258 0 180739218 445476 52997 363 3456033104 122444 0 54720 495368
259 1 nvme1n1 1415854 0 303648554 686160 166055 702 3311420232 201196 0 88696 799188
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.68889 s, 636 MB/s
从测试结果看,636 MB/s 的写入速度 可以得出明确结论:
判定结果:是固态硬盘(SSD),但不是顶级高速 NVMe
速度分析
| 存储类型 | 典型写入速度 | 你的结果 |
|---|---|---|
| 机械硬盘(HDD) | 100-200 MB/s | ❌ 远快于这个 |
| SATA SSD | 400-600 MB/s | ✅ 符合这个区间 |
| NVMe SSD(满速) | 2000-3500 MB/s | ❌ 明显低于这个 |
| 你的实测 | 636 MB/s | 中等偏上的 SSD |
可能的情况
-
SATA SSD(最可能)
- 636 MB/s 接近 SATA3 接口的理论上限(~600 MB/s)
- 可能是企业级 SATA SSD(如 Intel S4610/S4620)
-
受限的 NVMe SSD
- 宿主机有 Intel P4600 企业级 NVMe(理论 3000+ MB/s)
- 但你在容器内只跑到 636 MB/s,可能原因:
- 云厂商限速(如阿里云的 SSD 云盘非 ESSD)
- RAID 卡瓶颈(MR9460-8i 如果开启写保护/缓存策略)
- 容器 I/O 限制(Kubernetes cgroup blkio 限制)
-
RAID 阵列中的 SSD
sda显示ROTA=0(固态)且通过 MR9460-8i RAID 卡- 可能是 SSD RAID 阵列,但 RAID 卡限制了单盘性能
结论
不是机械硬盘,是 SSD,但属于中速档位(SATA 级别或受限 NVMe)。
如果你需要更高性能,建议:
- 确认宿主机是否将
/data挂载在 NVMe 设备上(而非 sda/sdb) - 检查是否有 I/O 限速(
cat /sys/fs/cgroup/blkio/blkio.throttle.write_bps_device) - 如果是云服务器,考虑升级到更高性能等级(如 ESSD PL1/PL2)
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)