目錄
CUDA程式調優
本篇深入介紹 CUDA 在 GPU 上的硬體執行基礎，包括執行緒（Thread）、區塊（Block）、網格（Grid）的層次結構與 SM（Streaming Multiprocessor）的設計架構。內容也詳細解析了記憶體架構（如 Global、Local、Shared、Constant Memory 及 Register）的存取原理與效能影響，為後續 CUDA 程式效能調優打下基礎。
GPU 的硬體架構與執行原理
CUDA 執行緒階層（Thread Hierarchy）
邏輯上，CUDA 執行緒可分為三個層級：
Thread：每個 thread 執行一次 kernel function，彼此平等無優先順序。
Block：一組 threads，通常配置於一個 SM（Streaming Multiprocessor）。
Grid：一組 blocks，整個 kernel 呼叫的所有 thread 均屬於同一 grid。
在硬體層面，threads 可劃分為兩級：
Core：執行單一 thread 的實體運算單元。
Warp：32 個 thread 組成的群組，並行執行同一指令。
Streaming Multiprocessor（SM）
GPU 由多個 SM 組成，每個 SM 配備多個 CUDA Core、Warp Scheduler 等。
以 NVIDIA GTX 1080（Compute Capability 6.1）為例：
共 20 個 SM
每個 SM 有 128 個 CUDA Core、4 個 Warp Scheduler
Kernel grid 被分配至可用 SM，各 block 的 threads 在 SM 上並行執行。
SM 採用 SIMT（Single Instruction Multiple Thread） 架構設計，並發執行數百個執行緒，具備：
指令層級平行（ILP）
執行緒層級平行（TLP）
SIMT 模型：單指令多執行緒
Warp 是 SM 的基本執行單元。每個 warp 有 32 個 threads，共同執行相同指令。
若 warp 中有條件分支（如 if/else），SM 需分別執行各分支並切換執行，未執行該分支的 thread 將 idle，造成效率降低。
硬體多工（Hardware Multithreading）
每個 warp 的執行上下文（PC、暫存器等）皆儲存在 on-chip 記憶體中。
Warp scheduler 每個時脈週期（clock cycle）選擇可執行的 warp 發出指令。
SM 包含：
一組暫存器（依 warp 分配）
一塊共享記憶體（依 block 分配）
這些硬體資源限制同時可佈署的 warp/block 數量。
若某 block 所需暫存器或共享記憶體超過上限，kernel 執行將失敗。
warp 數越多，可用來掩蓋指令延遲（latency），效能越佳。
GPU 的記憶體層級架構（Memory Hierarchy）
術語說明：
Cache Line：讀寫記憶體時一次搬移的最小單位（如 32B、64B、128B）。
Memory Transaction：資料從一個記憶體區域搬移至另一區的動作。
Register Spilling：當暫存器不足時，變數被放至 local memory。
Naturally Aligned：資料位址對齊其大小（如 4-byte 變數地址須能整除 4）。
Global Memory（全域記憶體）
最常用、最大但最慢的記憶體，位於裝置記憶體（device memory），由所有 threads 共用。
訪問需經過 memory transaction，要求資料對齊（32B、64B、128B）。
若 warp 中的 threads 訪問連續且對齊的位址，訪問效率高。若不對齊或不連續，則需要更多 transaction，降低效率。
Local Memory（區域記憶體）
每個 thread 的私有記憶體，主要存放暫存器不足時的自動變數。
實際上也是位於 device memory，因此存取延遲與 global memory 相近。
若 warp threads 同步訪問相同結構的欄位，可完全合併（coalesced），提升效率。
Shared Memory（共享記憶體）
每個 block 專屬的 on-chip 記憶體，threads 間共享，存取速度極快，適合作為軟體管理的 cache。
硬體層面由 32 個 bank 組成：
若每個 thread 訪問不同 bank：單一傳輸完成
若 threads 訪問相同 bank 不同位址：產生 bank conflict，序列化訪問
若 threads 訪問相同位址：可觸發 broadcast
Constant Memory（常數記憶體）
用於儲存唯讀資料（對 device code 為唯讀）。由主機透過 cudaMemcpyToSymbol() 寫入。
大小約 64KB，具有 constant cache，加速資料訪問。
Registers（暫存器）
最靠近執行單元的記憶體，速度最快，數量有限。
每個 thread 使用暫存器越少，SM 上可同時佈署的 thread 數越多，並行度與效能越高。
暫存器使用量由編譯器根據啟發式分析決定，可透過 launch bounds 協助最佳化配置。
結論
熟悉 GPU 的硬體與記憶體架構，是進行 CUDA 程式調優的基礎。後續我們將針對效能分析工具與調校方法進行深入探討。
CUDA程式調優 常見問題
CUDA 執行緒階層包含 Thread、Block 與 Grid 三層邏輯結構。Thread 是最小執行單元，Block 是一組 Threads，Grid 是一組 Blocks。硬體層面則有 Core 與 Warp 兩層，其中 Warp 是 32 個 Thread 並行執行相同指令的群組。
SM 是 GPU 中多執行緒的運算核心，負責管理與執行多個 Thread，採用 SIMT（Single Instruction Multiple Thread）架構，能同時執行數百個執行緒，提升運算效能與資源利用率。
GPU 主要的記憶體層級包含 Global Memory、Local Memory、Shared Memory、Constant Memory 與 Registers。Global Memory 是最大但存取最慢的記憶體；Local Memory 是 Thread 私有的；Shared Memory 是 Block 內 Thread 共享的高速快取；Constant Memory 儲存唯讀資料；Registers 是最快速、數量有限的暫存器。
Shared Memory 分為 32 個 bank，若同時有多個 Thread 訪問相同 bank 但不同位址，會發生 bank conflict，導致存取序列化，影響效能。若多個 Thread 訪問相同位址，則會觸發 broadcast，效率較高。
要提升 CUDA 程式效率，需了解 GPU 硬體結構與記憶體層級，善用 Warp 平行執行、避免分支分歧，合理配置 Thread 與 Block 數量，並減少記憶體存取延遲與 bank conflict。
延伸閱讀與資源推薦
以下是幾個推薦的 CUDA 最佳化資源與進一步學習材料：
關於 TAKI Cloud
TAKI Cloud 提供專業的 AI 伺服器租用、GPU 雲端運算並專注於AI伺服器與GPU雲端服務，提供符合國際標準的中華電信 IDC 機房與 24 小時技術支援，協助國內外 AI 團隊快速布署最新大模型，具備多年 A100 / H100 環境管理與支援經驗。
官方網站：www.taki.com.tw
本文作者：張亮
TAKI Cloud 資深系統架構師，專精於 AI 運算優化、CUDA 調校與高效能 GPU 叢集架構，擁有 10 年以上經驗，曾協助多家 AI 新創完成模型加速專案。
RTX - 3090 GPU 主機
視頻渲染、科學模擬和機器學習
支援 DeepSeek-R1 32B
實例
8卡 NVIDIA RTX-4090 24G
數量
1
全台唯一提供高階 AI / GPU 主機租用
價格殺很大 / 量大可談
RTX - 4090 GPU 主機
視頻渲染、科學模擬和機器學習
支援 DeepSeek-R1 70B
實例
8卡 NVIDIA RTX-4090 24G
數量 庫存緊張，欲租從速
1
全台唯一提供高階 AI / GPU 主機租用
價格殺很大 / 量大可談
HGX H100 GPU 主機
原價 499,999元/月 特惠價 450,000元/月
支援 DeepSeek-R1 671B 滿血版
實例
8顆 NVIDIA HGX H100 80G
數量
1
全台唯一提供高階 AI / GPU 主機租用
價格殺很大 / 量大可談
