16 小時通過 NVIDIA NCA-AIIO：備考計畫與 7 大考試重點

16 小時通過 NVIDIA NCA-AIIO：備考計畫與 7 大考試重點

我最近通過了 NVIDIA-Certified Associate: AI Infrastructure and Operations（NCA-AIIO） 認證考試。這篇文章將分享我的備考方法、考試重點整理，以及過程中發現值得深入研究的主題，讓你能更有效率地準備這項考試。

⚠️ 重要提醒：這套加速學習方法需要相關知識基礎。我的日常工作包括診斷與維運大規模 GPU 叢集、排查超過 64 個節點的 NCCL 問題，以及找出慢節點（stragglers）。這些經驗讓我能在短時間內掌握課程內容。建議依據自己的專業背景安排備考時間。

為什麼我要考這張證照？

我的日常工作包括診斷超大規模 GPU 叢集，同時持續累積 AI 基礎設施方面的專業知識。要做好這項工作，不能只看應用層呈現的現象，還需要深入理解平台底層的硬體與軟體。

這場考試給了我一個很好的理由，去系統性地認識 NVIDIA 的產品與軟體堆疊：

  • 系統化的知識架構：從 CUDA、DCGM 到 DGX SuperPOD，把平常工作中零散接觸的元件串成完整的圖像
  • 補足知識盲點：找出自己平常沒接觸到、但對 AI 基礎設施至關重要的主題（例如 DPU、資料中心電力與冷卻）
  • 實務驗證：確認自己對訓練/推論架構、GPU 監控、叢集編排的理解
  • 專業資格認證：以 NVIDIA 官方認證證明具備 AI 基礎設施與維運的基礎能力

考試資訊

項目 內容
認證名稱 NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO)
認證等級 Associate（入門級）
考試時間 60 分鐘
題數 50 題（平均每題僅 1.2 分鐘）
費用 US$125；部分地區可能另計稅金
語言 英文
有效期 2 年（可重考續證）
考試形式 線上遠端監考

考試範圍與比重

  1. Essential AI Knowledge（基礎 AI 知識）— 38%
    • NVIDIA 軟體堆疊（CUDA、cuDNN、TensorRT、RAPIDS、NeMo、NIM、Triton…）
    • Training vs Inference 的架構需求差異
    • AI / ML / DL 概念區分、GPU vs CPU 架構比較
  2. AI Infrastructure（AI 基礎設施）— 40%
    • AI 訓練任務的硬體需求與 GPU 基礎設施擴展
    • 資料中心電力、冷卻與設施需求
    • 網路需求：InfiniBand、RoCE、AI 叢集的網路 fabrics
    • DPU 的用途與優勢、on-prem vs 雲端的取捨
  3. AI Operations（AI 維運）— 22%
    • AI 資料中心管理與監控（DCGM、Base Command Manager）
    • 叢集編排與工作排程（Kubernetes、Slurm）
    • GPU 監控關鍵指標、虛擬化考量

AI Infrastructure 佔比最高（40%），建議把最多時間花在這個領域。

學習資源

  1. 官方 Study Guide（必讀）：NVIDIA 官方考試準備指南 PDF，先讀這份掌握考試重點與格式1
  2. NVIDIA AI Infrastructure and Operations Fundamentals（Coursera）：NVIDIA 認證頁面目前列出的學習路徑。NVIDIA 估計典型完成時間為 7 小時，我實際投入約 8 小時23
  3. ExamPro NCA-AIIO：第三方課程與模擬測驗資源4
  4. AI 模擬出題：用 Gemini（或其他 LLM）根據獲准上傳的資料與自己的筆記生成練習題，再用結果找出盲點5

我的備考計畫（約 16 小時）

我的策略和之前準備 AWS AI Practitioner 時類似：以官方課程建立框架、用模擬測驗診斷盲點、最後集中複習錯題。

第一階段：官方課程打底（約 8 小時）

我完成了 Coursera 上的 NVIDIA AI Infrastructure and Operations Fundamentals 課程3。這是 NVIDIA 認證頁面目前列出的學習路徑，涵蓋考試三大領域2。即使你平常已經在操作 GPU 叢集，這門課仍能幫你補上日常工作較少接觸的知識。對我來說，收穫最大的部分是資料中心設施與 DPU。

第二階段：模擬測驗診斷（約 4 小時）

使用 ExamPro 的 NCA-AIIO 課程與練習題4。透過大量做題，系統性地找出知識不足的地方，並標記需要複習的題目。每次練習後立即檢討答錯的題目，明確掌握需要加強的部分。

第三階段：檢討與筆記（約 4 小時）

  • 把錯題和容易混淆的觀念整理成結構化筆記。人的工作記憶有限，因此，一份能在考前快速瀏覽的精簡筆記非常實用。
  • 使用 Gemini 產生更多模擬題5：我根據獲准上傳的資料與自己的筆記請 AI 出題，這是本次備考中投入產出比最高的方法，因為它多次找出我遺漏的內容。不過，LLM 也可能給出錯誤答案，務必逐一用官方文件核實；未經許可，不要上傳受授權限制的課程材料或機密資訊。

7 個容易混淆的考試重點

以下 7 個主題是我備考時最容易混淆的地方，不是完整考綱的替代品。整體時間分配仍應以前面的官方 38%／40%／22% 領域比重為準。

1. MIG 最多可切成 7 個實例，但並非所有型號

考試速記：A100、H100、H200、B200 與 GB200 最多支援 7 個 MIG GPU Instance，不是 8 個。6 這些是這份備考整理最重要的旗艦資料中心 GPU 範例。

但 7 並不是所有 MIG-capable GPU 的共同上限。A30 最多支援 4 個，目前的 RTX PRO Blackwell 型號則依型號最多支援 2 或 4 個6。實際部署時，應查閱 NVIDIA 對應型號與 profile 的支援表。如果共享 GPU 的工作負載數量超過該型號的 MIG 上限，系統可能使用 time-slicing 或其他軟體共享機制，而不是更多 MIG instance。Kubernetes GPU time-slicing 會交錯執行工作負載，但與 MIG 不同，replica 之間沒有 GPU 記憶體或故障隔離7。

2. GPU Operator 管軟體部署；HPA 與 Cluster Autoscaler 管擴縮

GPU Operator 的職責是簡化 NVIDIA GPU 軟體元件的部署與生命週期管理，包括 Driver、Container Toolkit、Kubernetes Device Plugin 與 DCGM Exporter8。它不會根據負載自動擴縮應用副本或叢集節點；相關工作通常由 Horizontal Pod Autoscaler 與 Cluster Autoscaler 等機制負責。

3. DCGM 監控 GPU；Base Command Manager 管理叢集

  • DCGM：提供 GPU 遙測、診斷、健康檢查、拓撲與工作統計，包括溫度、功耗和 XID error 等指標與事件9
  • Base Command Manager：負責叢集層級的佈建、工作負載管理與基礎設施監控10

如果情境強調整座叢集的佈建與管理，Base Command Manager 通常更符合題意；如果重點是 GPU 遙測、診斷或健康狀態，則更可能是 DCGM。

4. DPU 的三大任務：Offload、Accelerate、Isolate

DPU（如 BlueField）的核心價值可以歸納為三個動詞：把基礎設施服務從主機 CPU 卸載（offload）、用專用硬體引擎加速（accelerate），並將基礎設施控制平面與應用工作負載隔離（isolate）11。這是我考後標記要繼續複習的主題之一。

5. 先看傳輸端點：GDS、GPUDirect RDMA 與 CUDA P2P

  • GPUDirect Storage（GDS）：在 GPU 記憶體與受支援的本地或遠端儲存之間提供直接 DMA 資料路徑，避免使用 CPU 系統記憶體中的 bounce buffer12
  • GPUDirect RDMA：讓第三方 PCIe 裝置與 GPU 記憶體直接交換資料；常見裝置是網卡，也可能是影像擷取裝置或儲存介面卡13
  • CUDA peer-to-peer（P2P）：在受支援的系統拓撲中，讓一張 GPU 直接存取另一張 GPU 的記憶體，通常經由 PCIe 或 NVLink14

名稱雖然相似，但連接的端點並不相同：

技術 主要資料路徑 避免的中轉環節
GPUDirect Storage GPU ↔ 本地或遠端儲存 CPU bounce buffer
GPUDirect RDMA GPU ↔ 第三方 PCIe 裝置，通常是網卡 將資料暫存到主機記憶體
CUDA P2P 受支援系統拓撲內的 GPU ↔ GPU 經由主機記憶體中轉

判斷時應先找出情境中的兩個端點：網路資料直接進入 GPU 記憶體，通常指向 GPUDirect RDMA；儲存與 GPU 記憶體之間的檔案或區塊 I/O，通常指向 GDS；同一受支援系統內的 GPU 記憶體互訪，則指向 CUDA P2P。

6. DGX H100：1 GbE BMC、10 GbE 起跳與 4 套 SuperPOD 網路

  • 系統有一個專供 out-of-band BMC 管理使用的 1 GbE RJ45 介面15
  • In-band 系統管理介面最低從 10 GbE 起；1 GbE 介面屬於 BMC15
  • NVIDIA 的 DGX H100 SuperPOD 參考架構使用 4 套獨立網路：compute、storage、in-band management 與 out-of-band management。這是特定參考設計，並非所有 AI 叢集的統一規則16

這類數字題只能靠熟讀規格，建議直接把 DGX H100 的網路架構圖看熟。

7. 訓練通常看吞吐量；推論通常看延遲

  • 訓練（Training）：通常側重吞吐量和大 batch，並需要 InfiniBand 等高頻寬、低延遲的 scale-out 網路
  • 推論（Inference）：通常側重延遲和服務效率，常見做法包括使用較小 batch、在適合的情境採用低精度格式，以及 TensorRT、Triton 等最佳化或服務軟體

我做的幾乎每套第三方模擬題都會考到這項差異。應把它們理解為常見的設計側重，而不是絕對規則；實務上同樣存在高吞吐量或大 batch 推論、低精度訓練，以及對延遲敏感的分散式訓練。

總結心得

這張證照的難度屬於入門等級，但涵蓋的知識面很廣，從 GPU 架構、軟體堆疊、資料中心網路到叢集維運。對我來說，最大的收穫不是證照本身，而是它給了我一個系統性檢視 NVIDIA 產品與軟體堆疊的機會，並找出幾個值得回頭深入研究的主題：

  • DPU missions: offload, accelerate, isolate
  • GPUDirect Storage、GPUDirect RDMA 與 CUDA P2P 的差異
  • DGX H100 的 out-of-band 管理架構

參考資料

  1. NVIDIA NCA-AIIO Exam Study Guide (PDF) ↩

  2. NVIDIA-Certified Associate: AI Infrastructure and Operations ↩ ↩2

  3. AI Infrastructure and Operations Fundamentals - Coursera ↩ ↩2

  4. NVIDIA NCA-AIIO Certification Course - ExamPro ↩ ↩2

  5. Google Gemini ↩ ↩2

  6. NVIDIA Multi-Instance GPU 使用指南 — 支援的 GPU ↩ ↩2

  7. NVIDIA GPU Operator — 在 Kubernetes 中使用 GPU Time-Slicing ↩

  8. NVIDIA GPU Operator 簡介 ↩

  9. NVIDIA DCGM — 功能概覽 ↩

  10. NVIDIA Base Command Manager ↩

  11. NVIDIA BlueField-2 DPU Datasheet (PDF) ↩

  12. NVIDIA GPUDirect Storage — Overview Guide ↩

  13. NVIDIA GPUDirect RDMA — Overview ↩

  14. NVIDIA GPUDirect Storage — Design Guide ↩

  15. NVIDIA DGX H100/H200 User Guide — System Introduction ↩ ↩2

  16. NVIDIA DGX H100 SuperPOD Reference Architecture — Network Fabrics ↩

« TPU 的 4x4x4 到底在乘什麼？一篇看懂 TPU Slice 與 GPU 設計哲學
Eason Cao
Eason Cao Eason is an engineer working at FANNG and living in Europe. He was accredited as AWS Professional Solution Architect, AWS Professional DevOps Engineer and CNCF Certified Kubernetes Administrator. He started his Kubernetes journey in 2017 and enjoys solving real-world business problems.
comments powered by Disqus
Table of Content
Newsletter

訂閱並取得更新