CUDA并行编程实战指南（C语言GPU加速从零开始）

开发环境准备

在开始编码前，请确保你的电脑满足以下条件：

• 一台配备NVIDIA GPU的计算机（支持CUDA Compute Capability 3.0及以上）
• 安装最新版NVIDIA驱动
• 安装CUDA Toolkit（可从NVIDIA官网免费下载）
• 一个支持C语言的编译器（如gcc或Visual Studio）

第一个CUDA程序：向量加法

我们以最经典的“向量加法”为例，演示如何将两个数组对应元素相加。在CPU上这是串行操作，而在GPU上我们可以让每个元素的加法并行执行。

1. 编写CUDA核函数（Kernel）

核函数是在GPU上执行的函数，由大量线程并行运行。每个线程负责处理一个数据元素。

// vector_add.cu#include <stdio.h>#include <cuda_runtime.h>// GPU上执行的核函数__global__ void vectorAdd(float *A, float *B, float *C, int N) {    // 计算当前线程的全局索引    int idx = blockIdx.x * blockDim.x + threadIdx.x;        // 确保不越界    if (idx < N) {        C[idx] = A[idx] + B[idx];    }}

2. 主机端（Host）代码：分配内存、调用核函数

int main() {    const int N = 1024;    const size_t size = N * sizeof(float);        // 分配主机内存    float *h_A = (float*)malloc(size);    float *h_B = (float*)malloc(size);    float *h_C = (float*)malloc(size);        // 初始化数据    for (int i = 0; i < N; i++) {        h_A[i] = i;        h_B[i] = i * 2;    }        // 分配设备（GPU）内存    float *d_A, *d_B, *d_C;    cudaMalloc(&d_A, size);    cudaMalloc(&d_B, size);    cudaMalloc(&d_C, size);        // 将数据从主机复制到设备    cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);    cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice);        // 配置执行配置：1个block，每个block 1024个线程    int threadsPerBlock = 1024;    int blocksPerGrid = (N + threadsPerBlock - 1) / threadsPerBlock;        // 启动核函数    vectorAdd<<<blocksPerGrid, threadsPerBlock>>>(d_A, d_B, d_C, N);        // 将结果从设备复制回主机    cudaMemcpy(h_C, d_C, size, cudaMemcpyDeviceToHost);        // 验证结果（可选）    printf("Result[0] = %.2f\n", h_C[0]); // 应输出 0.00    printf("Result[10] = %.2f\n", h_C[10]); // 应输出 30.00        // 释放内存    free(h_A); free(h_B); free(h_C);    cudaFree(d_A); cudaFree(d_B); cudaFree(d_C);        return 0;}

3. 编译与运行

将上述代码保存为 vector_add.cu，然后使用NVIDIA提供的 nvcc 编译器编译：

nvcc vector_add.cu -o vector_add./vector_add

关键概念解析

• __global__：修饰符，表示该函数在GPU上执行，由CPU调用。
• threadIdx.x, blockIdx.x, blockDim.x：用于计算当前线程的唯一ID。
• cudaMalloc / cudaFree：在GPU上分配/释放内存。
• cudaMemcpy：在主机和设备之间传输数据。

常见误区与优化建议

初学者常犯的错误包括：忘记检查CUDA错误、线程数量设置不合理、频繁进行主机-设备数据传输等。建议：

• 使用 cudaGetLastError() 检查错误
• 尽量减少数据在CPU和GPU之间的来回拷贝
• 合理设置block和grid大小（通常block大小为32的倍数，如256或512）

结语

通过本教程，你已经掌握了CUDA并行编程的基础知识，并成功编写了第一个GPU加速程序。随着你对C语言GPU加速技术的深入理解，可以尝试更复杂的并行算法入门项目，如矩阵乘法、卷积运算等。记住，实践是掌握CUDA C教程的最佳方式——多写代码，多调试，你将很快成为GPU编程高手！