AI 加速器是什麼？

目前很多 AI 運算工作需要額外的專門 AI 處理功能，才能提供理想的成果。

於是技術人員利用 AI 加速器，滿足因 AI 新興的需求，而他們使用的 AI 加速器可以是整合在解決方案設計的獨立式硬體，也可以是 CPU 內建的功能。兩種形式的 AI 加速器皆可大幅提升 AI 工作負載的效能。目前的 IT 與 AI 環境普遍採用這兩類加速器，所以用戶端運算裝置、邊緣環境與各種資料中心均可看到使用案例。

利用平行運算模型時，即使獨立式架構可選用技術，CPU 最常搭配使用的仍是獨立式硬體 AI 加速器， 所以市面可見一些單一封裝的 CPU/加速器產品。

若要在現代 CPU 啟用 AI，整合式 AI 加速器的作用可說是舉足輕重。這些內建功能提供特定功能或運作最佳的效能（例如向量作業、矩陣數學或深度學習）。有時，整合式 AI 加速器不必使用專門硬體，即可啟用 AI。

如果架構師與開發人員要支援的使用案例有諾大的輸送量和延遲需求，以致十分耗能時，解決方案設計即會採用兩種類型的 AI 加速器。

獨立式硬體 AI 加速器的作用

常見的獨立式硬體 AI 加速器可增強 CPU 功能，處理耗能的 AI 工作負載挑戰。這方法一般稱為平行運算，即兩個運算單元合作處理複雜的問題。換句話說，透過平行運算，搭配使用 CPU 與獨立式硬體 AI 加速器，可大幅縮短 AI 工作負載的處理時間。但在部分情況，獨立式硬體 AI 加速器不必搭配 CPU 使用。

硬體 AI 加速器的類型

從硬體的觀點考量，AI 加速器可指 AI 適用的圖形處理器（GPU）、AI 適用的現場可程式化邏輯陣列（FPGA）等通用元件，或神經處理器（NPU）與張量處理器（TPU）等 AI 專用產品。

討論 AI 加速器與 AI 處理器時，請務必留意 AI 領域仍在發展，所以常出現供應商的專門用語， 而且很多技術目前沒有共通敘詞和標準語言。

GPU

很多人想到 GPU 就想到遊戲或先進 3D 渲染工作，但其實 GPU 也可提供 AI 工作負載強大的加速功能。GPU 是運用最廣泛且經濟實惠的硬體 AI 加速技術， 因為 GPU 可支援 AI 應用程式，包括機器學習、深度學習與電腦視覺。

FPGA

相較於 CPU，FPGA 的獨特之處是可配合特定需求，在硬體層級重新程式化，並因應需求變化提供有效的多樣性。

FPGA 一般用於平行運算架構，提升 AI 效能， 因此尤其適用於邊緣 AI、各種 I/O 通訊協定、低延遲功能、低耗電量。而 FPGA 的長期部署生命週期，更是工業、醫療、測量、航太、國防、汽車應用的理想選擇。此外，FPGA 也可支援網路與資料中心使用案例。

NPU

NPU 專為神經網路運作設計，可用於加速深度學習演算法，是專用的硬體 AI 加速器。相較於 CPU 與 GPU，NPU 是 AI 極為高效的選項， 可提供高速和高頻寬，最適合整合至快速移動的工作流程（例如快速產生影像或回應語音指令）。

專用 AI 加速器

除了 FPGA、GPU 與 NPU 外，市面有很多獨特的晶片產品，提供各種使用案例強大、專用的 AI 效能。如本文提到其他的加速器，這些專用處理解決方案通常可部署在獨立架構，或用來增強 CPU 功能。

獨立式硬體 AI 加速器的助益

獨立式硬體 AI 加速器可在 AI 工作流程提供助益，協助加快實現 AI 計畫的價值。

省電效率

綠能永續與電源使用是 AI 計畫的一大顧慮。硬體 AI 加速器在單一裝置壓縮極致的 AI 效能，方便組織利用加速器減少使用節點，實現 AI 所需的運算力， 而降低的碳足跡可以減少能源消耗。

效能加速

取得 AI 快速的見解、回應或訓練結果需要最佳化運算，才能大幅降低延遲與處理時間。硬體 AI 加速器提供 AI 工作負載所需的專用運算功能，釋放更快的 AI 輸出，並提升業務成果。

可延展性

許多加速器，尤其是專用 AI 硬體會提供額外的功能，所以十分適用於高度複雜的 AI 工作負載所需的大型環境。這些可擴充功能可以搭載記憶體容量，或增加高容量乙太網路連接埠的數量，有助推升大型 AI 和 HPC 系統的連線需求。

整合式 AI 加速器的作用

整合式 AI 加速器引擎是 CPU 內建功能，可提供特定 AI 工作負載或運作類型最佳化的 AI 效能， 而且 NPU 可整合至 CPU 架構，加速 AI 效能。

如果組織要部署精簡、經濟實惠，但仍符合效能需求的 AI，整合式 AI 加速器是最佳選擇，因為整合式加速器可減少解決方案設計的專用硬體需求。再者，整合式 AI 加速器可增強邊緣到雲端的各種 AI 工作負載，包括自然語言處理、推薦系統、影像辨識、生成式 AI 和機器學習。

整合式 AI 加速器的助益

無論是訓練或推斷，整合式 AI 加速器技術都有助組織利用獨立 CPU 架構，實現卓越的 AI 成果。

最佳化 AI 效能

內建 AI 加速有助 CPU 滿足許多主要 AI 使用案例的先進效能需求。

降低硬體成本

整合式加速器協助組織啟用 AI 時，大幅減少硬體足跡。內建功能讓組織不必投資獨立式加速器，即可執行許多訓練與推斷工作負載，且最終實現更高效的 AI 解決方案設計。

提升能源效率

內建加速器大幅提升每瓦效能，不僅有助減少耗電量，也極力降低 AI 對環境的影響。

簡化開發

只要利用整合式 AI 加速，解決方案架構師就能避免採用專用硬體衍生的複雜性， 並進一步減少更改程式碼或應用程式的需求。

AI 加速器解決方案

從 AI 日益普及可以想見，AI 加速器會逐步部署在各層級的技術環境：

• 在終端使用者裝置方面，GPU 與整合式 NPU 常用來提升 AI 工作負載效能。
• 在邊緣方面，FPGA 有助多方擴展 AI 功能，提供靈活和效率優勢。
• 在資料中心方面，GPU 與專用 AI 加速器會大規模用來支援極端複雜的 AI 工作負載，例如財務模型與科學研究。
• 特定的 CPU 產品會提供整合式 AI 加速器，並可在邊緣、資料中心、雲端與用戶端運算選用。

鑑於 AI 越來越普遍、先進，兩種類行的 AI 加速器想必會持續支援新一代功能，並發揮重要的作用。