16 小时通过 NVIDIA NCA-AIIO：备考计划与 7 大考试重点

16 小时通过 NVIDIA NCA-AIIO：备考计划与 7 大考试重点

我最近通过了 NVIDIA-Certified Associate: AI Infrastructure and Operations（NCA-AIIO） 认证考试。本文将分享我的备考方法、考试重点，以及在准备过程中发现值得深入研究的主题，希望帮助你更高效地准备这项考试。

⚠️ 重要提醒：这套加速学习方法需要相关知识基础。我的日常工作就是诊断和运维大规模 GPU 集群，包括排查 64 个以上节点的 NCCL 问题和定位慢节点（straggler）。这些经验让我能够在短时间内掌握课程内容。建议根据自己的专业背景合理安排备考时间。

为什么我要考这项认证？

我目前的日常工作包括诊断超大规模 GPU 集群，同时持续积累 AI 基础设施方面的专业知识。要做好这项工作，不能只看应用层暴露出的现象，还需要深入理解平台底层的硬件和软件。

这场考试给了我一个很好的契机，可以系统梳理 NVIDIA 的产品和软件栈：

  • 建立系统化的知识框架：把工作中零散接触的组件串联起来，从 CUDA、DCGM 一直延伸到 DGX SuperPOD。
  • 补齐知识盲区：找出日常工作较少涉及、但对 AI 基础设施十分重要的领域，例如 DPU、数据中心供电和散热。
  • 检验实践理解：验证自己对训练与推理架构、GPU 监控和集群编排的掌握程度。
  • 获得专业认证：通过 NVIDIA 官方认证，证明自己具备 AI 基础设施与运维方面的基础能力。

考试信息

项目 内容
认证名称 NVIDIA-Certified Associate: AI Infrastructure and Operations（NCA-AIIO）
认证级别 Associate（入门级）
考试时间 60 分钟
题目数量 50 题（平均每题只有 1.2 分钟）
考试费用 125 美元；部分地区可能另计税费
考试语言 英语
有效期 两年；可以通过重新参加考试完成续证
考试形式 在线远程监考

考试范围与占比

  1. Essential AI Knowledge（AI 基础知识）— 38%
    • NVIDIA 软件栈，包括 CUDA、cuDNN、TensorRT、RAPIDS、NeMo、NIM 和 Triton
    • 训练与推理在架构需求上的差异
    • AI、机器学习与深度学习的概念，以及 GPU 与 CPU 的架构差异
  2. AI Infrastructure（AI 基础设施）— 40%
    • AI 训练任务的硬件需求与 GPU 基础设施扩展
    • 数据中心供电、散热和设施需求
    • 网络需求，包括 InfiniBand、RoCE 和 AI 集群网络
    • DPU 的用途与优势，以及本地部署与云端部署之间的取舍
  3. AI Operations（AI 运维）— 22%
    • 使用 DCGM、Base Command Manager 等工具管理和监控 AI 数据中心
    • 使用 Kubernetes、Slurm 进行集群编排和作业调度
    • GPU 监控关键指标与虚拟化注意事项

AI Infrastructure 的占比最高，达到 40%，建议把最多的学习时间投入这一领域。

学习资源

  1. 官方 Study Guide（必读）：先阅读 NVIDIA 官方考试指南 PDF，了解考试目标和形式。1
  2. NVIDIA AI Infrastructure and Operations Fundamentals（Coursera）：NVIDIA 认证页面目前列出的学习路径。NVIDIA 估计典型完成时间为 7 小时，我实际投入约 8 小时。23
  3. ExamPro NCA-AIIO：第三方课程和模拟考试资源。4
  4. AI 生成的模拟题：使用 Gemini 或其他大语言模型，根据获准上传的资料和自己的笔记生成练习题，再根据结果定位知识盲区。5

我的备考计划（约 16 小时）

我采用了与此前备考 AWS AI Practitioner 类似的策略：先用官方课程建立知识框架，再用模拟题诊断薄弱环节，最后集中复习错题。

第一阶段：通过官方课程打基础（约 8 小时）

我完成了 Coursera 上的 NVIDIA AI Infrastructure and Operations Fundamentals 课程。3 这是 NVIDIA 认证页面目前列出的学习路径，覆盖考试的三个领域。2 即使你平时就在运维 GPU 集群，这门课也能帮助你补齐日常工作之外的知识。对我而言，收获最大的部分是数据中心设施和 DPU。

第二阶段：用模拟考试诊断薄弱环节（约 4 小时）

我使用了 ExamPro 的 NCA-AIIO 课程和练习题。4 大量做题可以系统定位知识不足的部分，并标记需要复习的主题。每次练习后，我都会立即复盘错题，明确下一步需要加强的内容。

第三阶段：复盘并整理笔记（约 4 小时）

  • 我把错题和容易混淆的概念整理成结构化笔记。人的工作记忆有限，因此，一份能在考前快速浏览的精简笔记非常重要。
  • 我使用 Gemini 根据获准上传的资料和自己的笔记生成更多模拟题。5 这是本次备考中投入产出比最高的方法：AI 生成的问题多次命中我遗漏的内容。不过，大语言模型也可能给出错误答案，务必逐一用官方文档核实；未经许可，不要上传受授权限制的课程材料或机密信息。

7 个容易混淆的考试重点

以下 7 个主题是我备考时最容易混淆的内容，并不能替代完整考试大纲。整体时间分配仍应以前文的官方 38%／40%／22% 领域占比为准。

1. MIG 最多可划分为七个实例，但并非所有型号

考试速记：A100、H100、H200、B200 和 GB200 最多支持七个 MIG GPU Instance，而不是八个。6 这些是这份备考总结中最重要的旗舰数据中心 GPU 示例。

但“七个”并不是所有支持 MIG 的产品都适用的统一上限。A30 最多支持四个，当前 RTX PRO Blackwell 型号则依型号最多支持两个或四个。6 实际部署时，应查询 NVIDIA 的受支持 GPU 与配置文件表。如果共享 GPU 的工作负载数量超过该型号的 MIG 上限，系统可能使用时间分片（time-slicing）或其他软件共享机制，而不是更多 MIG 实例。Kubernetes GPU time-slicing 会交错执行工作负载，但与 MIG 不同，replica 之间没有显存或故障隔离。7

2. GPU Operator 管软件部署；HPA 与 Cluster Autoscaler 管扩缩容

GPU Operator 的职责是简化 NVIDIA 软件组件的部署和生命周期管理，包括驱动程序、Container Toolkit、Kubernetes Device Plugin 和 DCGM Exporter。8 它不会根据负载自动扩缩应用副本或集群节点。相关工作通常由 Horizontal Pod Autoscaler 和 Cluster Autoscaler 等机制负责。

3. DCGM 监控 GPU；Base Command Manager 管理集群

  • DCGM：提供 GPU 遥测、诊断、健康检查、拓扑和作业统计，包括温度、功耗和 XID 错误等指标与事件。9
  • Base Command Manager：负责集群级的部署、工作负载管理和基础设施监控。10

当场景强调部署和管理整个集群时，Base Command Manager 通常更符合题意；如果重点是 GPU 遥测、诊断或健康状态，则更可能是 DCGM。

4. DPU 的三大使命：卸载、加速和隔离

BlueField 等 DPU 的核心价值可以归纳为三个动词：从主机 CPU 卸载（offload）基础设施服务，使用专用硬件引擎对其进行加速（accelerate），并将基础设施控制平面与应用工作负载隔离（isolate）。11 这是我在考试后标记为需要继续复习的主题之一。

5. 先看传输端点：GDS、GPUDirect RDMA 与 CUDA P2P

  • GPUDirect Storage（GDS）：在 GPU 显存与受支持的本地或远程存储之间提供直接 DMA 数据路径，避免使用 CPU 系统内存中的中转缓冲区。12
  • GPUDirect RDMA：让第三方 PCIe 设备与 GPU 显存直接交换数据；常见设备是网卡，也可以是视频采集设备或存储适配器。13
  • CUDA 点对点访问（P2P）：在受支持的系统拓扑中，让一块 GPU 直接访问另一块 GPU 的显存，通常通过 PCIe 或 NVLink 实现。14

这些名称相似，但连接的端点并不相同：

技术 主要数据路径 避免的中转环节
GPUDirect Storage GPU ↔ 本地或远程存储 CPU 中转缓冲区
GPUDirect RDMA GPU ↔ 第三方 PCIe 设备，通常为网卡 将数据暂存到主机内存
CUDA P2P 受支持系统拓扑内的 GPU ↔ GPU 通过主机内存中转

判断时应先找出场景中的两个端点：网络数据直接进入 GPU 显存，通常指向 GPUDirect RDMA；存储与 GPU 显存之间的文件或块 I/O，通常指向 GDS；同一受支持系统内的 GPU 显存互访，则指向 CUDA P2P。

6. DGX H100：1 GbE BMC、10 GbE 起步与四套 SuperPOD 网络

  • 系统有一个专用于带外 BMC 管理的 1 GbE RJ45 接口。15
  • 带内系统管理接口最低从 10 GbE 起；1 GbE 接口属于 BMC。15
  • NVIDIA 的 DGX H100 SuperPOD 参考架构使用 四套独立网络：计算网络、存储网络、带内管理网络和带外管理网络。这是特定参考设计，并非所有 AI 集群的统一规则。16

这类硬件细节题需要熟悉架构图。与其孤立地背数字，不如直接看懂 DGX H100 的系统端口图和 DGX SuperPOD 网络架构图。

7. 训练通常看吞吐量；推理通常看时延

  • 训练：通常侧重吞吐量和大批次，并需要 InfiniBand 等高带宽、低时延的横向扩展网络。
  • 推理：通常侧重时延和服务效率，常见做法包括使用较小批次、在合适场景采用低精度格式，以及 TensorRT、Triton 等优化或服务软件。

我做的几乎每套第三方模拟题都会考到这一差异。应把它们理解为常见的设计侧重点，而不是绝对规则；现实中同样存在高吞吐量或大批次推理、低精度训练，以及对时延敏感的分布式训练。

总结与心得

NCA-AIIO 属于入门级认证，但覆盖面很广，包括 GPU 架构、NVIDIA 软件栈、数据中心网络与设施，以及集群运维。对我而言，最大的收获并不是认证本身，而是借此系统梳理 NVIDIA 平台，并找出几个值得继续深入研究的主题：

  • DPU 的三大使命：卸载、加速和隔离
  • GPUDirect Storage、GPUDirect RDMA 与 CUDA P2P 的区别
  • DGX H100 的带外管理架构

16 小时对我来说已经足够，是因为考试内容与我的日常工作有较高重合度。建议把这套计划当作备考框架，而不是时间承诺；根据自己的知识盲区灵活增加学习时间。

参考资料

  1. NVIDIA NCA-AIIO 考试指南（PDF） ↩

  2. NVIDIA-Certified Associate: AI Infrastructure and Operations ↩ ↩2

  3. AI Infrastructure and Operations Fundamentals — Coursera ↩ ↩2

  4. NVIDIA NCA-AIIO Certification Course — ExamPro ↩ ↩2

  5. Google Gemini ↩ ↩2

  6. NVIDIA Multi-Instance GPU 用户指南 — 支持的 GPU ↩ ↩2

  7. NVIDIA GPU Operator — 在 Kubernetes 中使用 GPU 时间分片 ↩

  8. NVIDIA GPU Operator 简介 ↩

  9. NVIDIA DCGM — 功能概览 ↩

  10. NVIDIA Base Command Manager ↩

  11. NVIDIA BlueField-2 DPU 数据表（PDF） ↩

  12. NVIDIA GPUDirect Storage — 概览指南 ↩

  13. NVIDIA GPUDirect RDMA — 概览 ↩

  14. NVIDIA GPUDirect Storage — 设计指南 ↩

  15. NVIDIA DGX H100/H200 用户指南 — 系统简介 ↩ ↩2

  16. NVIDIA DGX H100 SuperPOD 参考架构 — 网络 ↩

« TPU 的 4x4x4 到底在乘什么？一篇看懂 TPU Slice 与 GPU 设计哲学
Eason Cao
Eason Cao Eason is an engineer working at FANNG and living in Europe. He was accredited as AWS Professional Solution Architect, AWS Professional DevOps Engineer and CNCF Certified Kubernetes Administrator. He started his Kubernetes journey in 2017 and enjoys solving real-world business problems.
comments powered by Disqus
Table of Content
Newsletter

訂閱並取得更新