隨著人工智能的飛速崛起，隨之而來的是算力需求的指數(shù)級增加，CPU 已經(jīng)不足以滿足深度學(xué)習(xí)、大模型計(jì)算等場景的海量數(shù)據(jù)處理需求。GPU 作為一種強(qiáng)大的計(jì)算工具，無論是高性能計(jì)算、圖形渲染還是機(jī)器學(xué)習(xí)領(lǐng)域，在各個(gè)領(lǐng)域展現(xiàn)出了巨大的潛力和應(yīng)用前景。

說起 GPU，繞不過的當(dāng)然是 NVIDIA 這個(gè)公司了，現(xiàn)在市面上火熱的 A100/A800、H100 等 GPU 全是他家的產(chǎn)品。但當(dāng)你有業(yè)務(wù)需求或者個(gè)人需求，想要采購 GPU 的時(shí)候，你會發(fā)現(xiàn)各個(gè)型號的 GPU 令你眼花繚亂。這次我們就來聊聊 NVIDIA 的 GPU 產(chǎn)品，讓你對各個(gè)型號的 GPU 有個(gè)深入的了解。

在選擇 GPU 產(chǎn)品之前，首要任務(wù)是明確自己的應(yīng)用需求。不同的應(yīng)用領(lǐng)域?qū)?GPU 的需求存在差異，因此了解自己的需求是做出明智決策的關(guān)鍵。接下來我們了解下常見的 GPU 應(yīng)用場景。

在游戲和圖形渲染中，GPU 能夠處理復(fù)雜的圖形渲染任務(wù)，使游戲畫面更加逼真和流暢。游戲開發(fā)人員使用 GPU 來創(chuàng)建游戲的視覺效果、光照和物理模擬等。NVIDIA 產(chǎn)品的 GeForce 系列，主要就是面向游戲娛樂領(lǐng)域，我們常說的 RTX4090（文末有免費(fèi)體驗(yàn)入口哦），其中在框架中采用了第三代 RT core，光線追蹤性能最高可提升 2 倍，主要用于游戲開發(fā)、電影制作和虛擬現(xiàn)實(shí)等需要實(shí)時(shí)渲染的領(lǐng)域。當(dāng)然，GeForce 系列的顯卡也可以用于 AI 推理等，只是在計(jì)算能力上沒有像企業(yè)級 GPU 那么強(qiáng)悍。

通常而言，大模型訓(xùn)練會將訓(xùn)練數(shù)據(jù)分成多個(gè)批次，分配給不同的 GPU 進(jìn)行并行處理，這就需要 GPU 具備高效的并行計(jì)算能力和快速的數(shù)據(jù)傳輸能力，以支持并行訓(xùn)練的效率和可擴(kuò)展性。而在計(jì)算精度方面，通常會使用混合精度計(jì)算，即采用較低精度的浮點(diǎn)數(shù)進(jìn)行計(jì)算，在關(guān)鍵位置使用較高精度的浮點(diǎn)數(shù)進(jìn)行修正。這也是大模型計(jì)算和高性能計(jì)算區(qū)別較大的地方。

1. GeForce系列：GeForce 系列是 NVIDIA 面向個(gè)人計(jì)算和游戲市場推出的產(chǎn)品線。GeForce 顯卡是用于游戲、圖形處理和多媒體應(yīng)用的高性能圖形處理器。GeForce 顯卡以其強(qiáng)大的圖形渲染能力、高幀率和流暢的游戲體驗(yàn)而受到廣大游戲愛好者的青睞。

2. Quadro 系列：Quadro 系列是 NVIDIA 專為專業(yè)工作站和專業(yè)圖形應(yīng)用開發(fā)的產(chǎn)品線。Quadro 顯卡具備專業(yè)級的圖形渲染和計(jì)算能力，適用于 CAD、動畫制作、電影后期制作等領(lǐng)域。Quadro 顯卡提供高度可靠性、精確度和穩(wěn)定性，滿足專業(yè)用戶對精確圖形處理和計(jì)算的需求。

3. Tesla 系列：Tesla 系列是 NVIDIA 針對高性能計(jì)算和人工智能領(lǐng)域推出的產(chǎn)品線。Tesla 顯卡采用 GPU 加速計(jì)算，具備強(qiáng)大的并行計(jì)算能力和高性能計(jì)算效率。它們被廣泛應(yīng)用于科學(xué)計(jì)算、深度學(xué)習(xí)、大規(guī)模數(shù)據(jù)分析等領(lǐng)域，加速計(jì)算任務(wù)的執(zhí)行和模型訓(xùn)練。我們常說的 A100、V100 都是屬于 Tesla 系列的顯卡。

計(jì)算能力

計(jì)算能力是 GPU 進(jìn)行并行計(jì)算的指標(biāo)之一，也是 GPU 的核心能力。較高的計(jì)算能力意味著 GPU 具備更強(qiáng)大的計(jì)算能力和支持更高級的計(jì)算功能。具體這些計(jì)算參數(shù)有什么區(qū)別，在應(yīng)用上有哪些不同呢？我們來一一了解下。

• FP64：雙精度浮點(diǎn)數(shù)具有較高的精度和范圍，可以表示更廣泛的數(shù)值范圍和更精確的小數(shù)值。在科學(xué)計(jì)算、工程模擬和需要高精度計(jì)算的應(yīng)用中常常使用雙精度浮點(diǎn)數(shù)。

• FP32 : 單精度，作為訓(xùn)練場景的數(shù)據(jù)格式的標(biāo)準(zhǔn)值。相對于雙精度浮點(diǎn)數(shù)，單精度浮點(diǎn)數(shù)具有較低的精度但更高的計(jì)算速度和較小的存儲需求。在許多機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)中，單精度浮點(diǎn)數(shù)已經(jīng)足夠滿足計(jì)算需求，并且能夠加速計(jì)算過程。

• TF32：從 A100 開始 NVIDIA 提出的數(shù)據(jù)格式。它比 FP32 精度低，比 FP16 精度高，主要用于深度學(xué)習(xí)訓(xùn)練，理論上比FP32+FP16混合精度效果更優(yōu);

• BF16 : Intel x86、ARM采用的，主要用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域。作為一種低精度浮點(diǎn)數(shù)格式，可以在一定程度上平衡計(jì)算精度和計(jì)算效率。它在模型訓(xùn)練和推理中被廣泛使用，可以減少存儲需求和計(jì)算開銷，同時(shí)仍能保持較高的計(jì)算準(zhǔn)確性。

• FP16：半精度浮點(diǎn)數(shù)具有較低的精度但更高的計(jì)算速度和較小的存儲需求，主要用于推理。

• INT8：INT8是一種使用 8 位（1字節(jié)）內(nèi)存來表示整數(shù)的數(shù)據(jù)類型。相對于浮點(diǎn)數(shù)，整數(shù)計(jì)算通常具有更高的計(jì)算效率和較小的存儲需求，主要用于推理。

可能光這樣看文字，大家不是很好理解，我們拿 FP32 來做個(gè)具體的舉例。

FP32 長度有 32 位，其中指數(shù)位占 8 位，精度尾數(shù)占 23 位，最前面是標(biāo)志位。指數(shù)位越大，代表數(shù)值越大，精度的長度越多，表示小數(shù)點(diǎn)后的精度越高。

顯存容量（GPU Memory）

顯存是 GPU 用于存儲模型參數(shù)、計(jì)算中間結(jié)果和圖像數(shù)據(jù)等的內(nèi)存。顯存容量的大小直接影響著能否加載和處理大規(guī)模的數(shù)據(jù)和模型。

CUDA Core

CUDA Core 是 NVIDIA GPU 上的計(jì)算核心單元，用于執(zhí)行通用的并行計(jì)算任務(wù)，是最常看到的核心類型。NVIDIA 通常用最小的運(yùn)算單元表示自己的運(yùn)算能力，CUDA Core 指的是一個(gè)執(zhí)行基礎(chǔ)運(yùn)算的處理元件，我們所說的 CUDA Core 數(shù)量，通常對應(yīng)的是 FP32 計(jì)算單元的數(shù)量。

Tensor core

Tensor Core 是 NVIDIA Volta 架構(gòu)及其后續(xù)架構(gòu)（如Ampere架構(gòu)）中引入的一種特殊計(jì)算單元。它們專門用于深度學(xué)習(xí)任務(wù)中的張量計(jì)算，如矩陣乘法和卷積運(yùn)算。Tensor Core 核心特別大，通常與深度學(xué)習(xí)框架（如 TensorFlow 和 PyTorch）相結(jié)合使用，它可以把整個(gè)矩陣都載入寄存器中批量運(yùn)算，實(shí)現(xiàn)十幾倍的效率提升。

接口形式

SXM 和 PCIe 是兩種不同的接口形式，SXM 接口直接將 GPU 連接到主板上，而 PCIe 接口通過插槽與主板連接。SXM 接口提供更高的帶寬和更低的延遲，適用于高性能計(jì)算和數(shù)據(jù)中心需求。而 PCIe 接口廣泛應(yīng)用于個(gè)人計(jì)算機(jī)、工作站和服務(wù)器等各種計(jì)算設(shè)備。

V100 是 NVIDIA 公司推出的高性能計(jì)算和人工智能加速器，屬于 Volta 架構(gòu)，它采用 12nm FinFET 工藝，擁有 5120 個(gè) CUDA 核心和 16GB-32GB 的 HBM2 顯存，配備第一代 Tensor Cores技術(shù)，支持 AI 運(yùn)算。

A100 采用全新的 Ampere 架構(gòu)。它擁有高達(dá) 6912 個(gè) CUDA 核心和 40GB 的高速 HBM2 顯存。A100 還支持第二代NVLink技術(shù)，實(shí)現(xiàn)快速的 GPU 到 GPU 通信，提升大型模型的訓(xùn)練速度。A100 增加了功能強(qiáng)大的新第三代 Tensor Core，同時(shí)增加了對 DL 和 HPC 數(shù)據(jù)類型的全面支持，以及新的稀疏功能，可將吞吐量進(jìn)一步翻倍。

在跑 AI 模型時(shí)，如果用 PyTorch 框架，相比上一代 V100 芯片，A100 在 BERT 模型的訓(xùn)練上性能提升 6 倍，BERT 推斷時(shí)性能提升 7 倍。

H100 配備 132 個(gè) SM，比 A100 的 108 個(gè) SM 增加了 22%。由于采用新的第四代 Tensor Core，每個(gè) H100 SM 的速度都提升了 2 倍。在每個(gè) Tensor Core 中，新的 FP8 格式和相應(yīng)的 Transformer 引擎又將性能提升了 2 倍。最后，H100 中更高的時(shí)鐘頻率將性能再提升了約 1.3 倍。通過這些改進(jìn)，總體而言，H100 的峰值計(jì)算吞吐量大約為 A100 的 6 倍。

△ 圖片來源于互聯(lián)網(wǎng)，侵刪

△ 圖片來源于互聯(lián)網(wǎng)，侵刪

相信看到這里，大家對 GPU 產(chǎn)品選型已經(jīng)有了一定的想法。在選擇時(shí)，大家可以參考 GPU 制造商的官方文檔、性能比較表等資源，以獲取更詳細(xì)的信息和比較不同 GPU 之間的性能特點(diǎn)。當(dāng)然最重要的是要明確自身業(yè)務(wù)的計(jì)算需求和任務(wù)類型啦。