4卡RTX 5060Ti服务器 llama.cpp 测试

永远的菜鸟

846人浏览 · 2026-04-03 22:02:48

永远的菜鸟 · 2026-04-03 22:02:48 发布

（2026 年 04 月 03 日）

4卡RTX 5060Ti服务器 llama.cpp 完整部署与性能测试报告

测试时间：2026年04月03日

系统环境：Ubuntu 22.04 LTS

内核版本：6.8.0-106-generic

GPU配置：4 × NVIDIA GeForce RTX 5060Ti（16GB GDDR6）

驱动版本：550.127.11

CUDA版本：12.4

推理框架：llama.cpp（b8589-08f21453a）

测试模型：Qwen3-32B-Q4_K_M.gguf（4bit量化）

宝藏：4张七彩虹5060Ti 16G（风扇卡）一样顺畅跑模型

一、硬件与系统准备

1.1 硬件检测

Bash
lspci | grep -i nvidia

正常输出：4条 NVIDIA Corporation Device 2704（RTX 5060Ti 专属设备ID）

1.2 系统基础优化

Bash
# 禁用开源驱动 Nouveau
sudo bash -c 'echo -e "blacklist nouveau\noptions nouveau modeset=0" > /etc/modprobe.d/blacklist-nouveau.conf'
sudo update-initramfs -u
sudo reboot

# 安装推荐HWE内核
sudo apt update
sudo apt install linux-generic-hwe-22.04 -y
sudo reboo

# 验证HWE内核

uname -r

显示：6.8.0-107-generic

二、NVIDIA 驱动 + CUDA 安装

2.1 下载安装官方稳定驱动（595 适配 5060Ti）

Bash
chmod +x NVIDIA-Linux-x86_64-595.90.run sudo ./NVIDIA-Linux-x86_64-595.90.run --no-cc-version-check --dkms

2.2 安装 CUDA 13.2（与 595 驱动匹配）

Bash
sudo chmod +x cuda_13.2.0_595.45.04_linux.run sudo ./cuda_13.2.0_595.45.04_linux.run

# 配置环境变量
echo 'export PATH=/usr/local/cuda-13.2/bin:$PATH' >> ~/.bashrc

echo 'export LD_LIBRARY_PATH=/usr/local/cuda-13.2/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

source ~/.bashrc

# 验证

nvidia-smi
nvcc -V

输出：CUDA 13.2 正常。

三、llama.cpp 编译（4卡5060Ti专用）

3.1 安装编译依赖

Bash
sudo apt update && sudo apt install git build-essential cmake pkg-config libopenblas-dev -y

3.2准备GGUF模型（测试用）

下载测试模型（以Qwen3 32B Q4_K_M为例）

Bash
# 进入模型目录
mkdir -p models && cd models

# 下载Qwen3 32B Q4_K_M量化模型（4-bit，显存友好）
wget -c https://hf-mirror.com/bartowski/Qwen_Qwen3-32B-GGUF/resolve/main/Qwen_Qwen3-32B-Q4_K_M.gguf

cd ..

3.3 编译（开启CUDA、算力sm_120）

Bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
rm -rf build && mkdir build

cmake -B build \
-DGGML_CUDA=ON \
-DGGML_CUDA_ARCHS=120 \
-DCMAKE_BUILD_TYPE=Release

cmake --build build -j$(nproc)

四、4卡GPU状态验证

4.1 显卡基础检查

Bash
nvidia-smi

显示：4张 RTX 5060Ti，每张16GB显存，驱动590、CUDA 13.2 正常识别。

4.2 llama.cpp 多卡识别

Bash

cd llama.cpp
./build/bin/llama-cli --help | grep -E "cuda|gpu"

输出：

五、单卡推理测试

5.1 测试命令

Bash
./build/bin/llama-cli \

-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \

--gpu-layers 40 \

--main-gpu 0 \

-t 16 \

-c 4096 \

-p "Hello"

[ Prompt: 22.3 t/s | Generation: 7.3 t/s ]

5.2 单卡性能

Prompt 速度：22.3 token/s

Generation 速度：7.3 token/s

显存占用：12–14GB / 16GB

六、4卡并行推理测试

6.1 测试命令

Bash
./build/bin/llama-cli \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-n 1024 \
--gpu-layers 80 \
-t 32 \
-c 16384 \
-p "请写一篇4卡RTX 5060Ti运行大模型的技术概述" \
--batch-size 1024 \
--mlock \
--flash-attn on

[ Prompt: 253.0 t/s | Generation: 20.3 t/s ]

6.2 4卡性能结果

Prompt 速度：253 token/s

Generation 速度：30 token/s

七、基准性能测试（llama-bench）

Bash
./build/bin/llama-bench \
./build/bin/llama-bench \
-m models/Qwen_Qwen3-32B-Q4_K_M.gguf \
-t 64 \
-p 512,2048,8192 \
-n 128,512,2048 \
-ngl 99 \
-b 2048 \
-ub 512 \
-fa 1 \
-r 3 \
2>&1 | tee benchmark_results.txt