CUDA 编程系列（二）《性能模型与逐元素优化》

Shining0596

354人浏览 · 2026-03-12 09:12:05

Shining0596 · 2026-03-12 09:12:05 发布

性能分析工具：Nsight Compute（NCU）

本节课涵盖并行编程基础、Roofline 模型等内容，并涉及向量化实现与性能对比等知识。

课程回顾与背景引入

• 什么是并行编程？为什么需要并行？
• CPU 与 GPU 的架构差异
• 向量加法的 GPU 实现与编译
• 性能初步分析工具
• CPU 与 GPU 性能对比

性能瓶颈分析与内存墙

1. 传输开销与计算时间对比

• CPU-GPU 数据传输时间 vs GPU 内核计算时间
• 通信带宽成为性能瓶颈

2. 内存墙概念引入

• 摩尔定律与内存增长速度对比
• 冯·诺依曼架构的限制
• 计算速度远快于内存访问速度

Roofline 模型：量化性能瓶颈

1. Roofline 模型基本概念

• 纵轴：性能（GFLOPS）
• 横轴：计算强度（FLOPS/byte）
• 关键参数：
- • π（峰值算力）
- • β（峰值内存带宽）
- • Imax（计算强度拐点）

2. 模型分区解释

3. 向量加法案例分析

性能分析工具：Nsight Compute（NCU）

1. NCU 简介与使用

• 内核级性能分析工具
• 命令行与 GUI 版本使用方式
• 输出文件分析

2. 关键分析界面

• Summary Page（核函数汇总）
• Details Page（吞吐量与 Roofline 图）
• 内存与计算利用率分析

向量化技术：提升访存效率

1. 什么是向量化？

• 标量操作 vs 向量操作
• SIMD（单指令多数据） vs SIMT（单指令多线程）

2. CUDA 中的向量化访存类型

3. 向量化实现与性能对比

• 不同向量化程度的性能测试
• 寄存器使用与溢出问题
• 数据规模对向量化效果的影响

半精度计算

1. 半精度浮点数简介

• 结构对比（FP16 vs FP32）
• CUDA 中的 half 类型与转换函数

2. 半精度性能优势

• 内存占用减半
• 计算强度提升
• 向量化支持（half2）

3. 向量化计算与访存结合

课后思考题

1.可以有效使用 float3 吗?如果可以，怎么做?
2.之前提到向量化访存有多种方法，今天主要介绍了使用内置类型的方式，想想还有什么其他方式吗?(Hint: 今天的课中其实已经提到了，同时也和第一问有关)

1.使用 float3 的方法

float3 是常见的向量类型（如 HLSL/CG 或 CUDA 中的三维浮点向量），但需注意其内存布局和对齐问题。直接使用可能导致性能下降，因其默认对齐方式可能与硬件要求不符。

在 CUDA 中，可通过 __attribute__((aligned(16))) 强制对齐到 16 字节，或使用内置类型如 float4 替代。若必须使用 float3，建议手动填充为 float4 以确保内存合并访问。

示例代码（CUDA）：

struct alignas(16) Float3 { float x, y, z, w; }; // 手动填充为 16 字节
__global__ void kernel(Float3* data) {
    // 通过 data[i].x/y/z 访问
}

2.其他向量化访存方式

除内置类型（如 float4），还可通过以下方式实现高效访存：

结构体填充（Struct Padding）
自定义结构体时显式填充字段，确保数据对齐。例如将 float3 扩展为 16 字节：

struct PaddedFloat3 { float x, y, z, unused; };

数组展开（Array-of-Structures 转 Structure-of-Arrays）
将数据结构从 AoS（Array of Structures）转换为 SoA（Structure of Arrays），避免非连续访存。例如：

// AoS 低效方式
struct Vec3 { float x, y, z; };
Vec3 points[N];

// SoA 高效方式
struct Vec3SoA { float x[N], y[N], z[N]; };

共享内存优化
在核函数中先将全局内存数据加载到共享内存（对齐访问），再进行计算。适用于重复访问同一数据块的场景。

编译器指令
使用 #pragma unroll 或 __restrict__ 关键字提示编译器优化内存访问模式。

总结

float3 的有效使用：可直接作为内置向量类型定义 / 运算，核心是利用其 16 字节对齐的内存布局实现向量化访存，避免拆分分量破坏访存效率；

其他向量化访存方式：核心包括 “显式对齐数组 + 手动批量访存”“自定义对齐向量结构体”“纹理内存绑定”，均与 float3 的内存对齐 / 批量访存逻辑一致。