← 返回主线PARALLEL HORIZONS
课程 03多 GPU 扩展
阅读材料
  1. 01容量
  2. 02切分
  3. 03聚合
  4. 04完成

步骤 01 · 容量

程序还没运行，显存已经装不下了。

新的数据集与模型状态合计 24 GB，而这台教学机器中的单张 GPU 只有 16 GB 显存。先尝试加载，观察瓶颈发生在哪里。
单 GPU 程序1 DEVICE · 24 GB WORKLOAD
01cudaSetDevice(0);
02float* state;
03cudaMalloc(&state, 24_GB);
04train<<<grid, block>>>(state);
ALLOCATE→KERNEL

24 GB / 16 GB 是本课的教学场景，用于表达容量关系，不代表所有 P100 配置。