硬體在 AI 中的角色
硬體在人工智慧中的角色既重要且涵蓋多個面向。不同元件會影響 AI 運算的不同方面，即系統使用的 AI 硬體類型將大幅影響執行某些 AI 工作的能力。
例如，處理器的速度直接影響 AI 模型執行計算的速度。記憶體與儲存裝置會影響同時可以處理多少資料，以及存取資料的速度。系統的整體設計（包括散熱與供電）會隨著時間推移影響持續的效能，需要進行最佳化，以便處理持續的 AI 工作負載。
AI 硬體的助益
AI 硬體元件的種類繁多，且每個元件都有不同的優缺點。根據您對系統要求的 AI 工作，包含或省略某些元件可能更合理。
AI 處理器與加速器
AI 處理器提供完成 AI 工作所需的運算能力，而整合式與獨立式的 AI 加速器則用於釋放先進的 AI 效能。
需要注意的是，許多技術尚未出現通用描述項與標準化語言，且包含許多廠商專用術語。
您應該瞭解的 AI 硬體類型包括：
- CPU： 中央處理器在 AI 系統中扮演基礎角色，滿足資料預先處理、模型協調與控制流程等的 AI 應用程式通用需求。
處理小型 AI 模型時，CPU 提供高度的靈活性，非常適合需要單執行緒高效能、低延遲且複雜循序邏輯的各種 AI 工作負載與使用案例，例如即時系統與不太複雜的自然語言處理工作。
CPU 也可能配備整合式加速器，即有助於最佳化 AI 效能的加速器引擎。
-
GPU：圖形處理器最初專為渲染圖形設計，是一種獨立式硬體 AI 加速器，擅長同時執行許多計算。和 CPU 相比，它處理大型資料集的速度和效率要快得多，大幅加速 AI 模型的訓練，並讓 GPU 成為深度學習與電腦視覺的理想選擇。
-
TPU： 張量處理器是專為 AI 工作負載設計的另一種 AI 加速器， 用於處理大規模學習工作，提供高效能與能源效率。此架構可執行快速的矩陣乘法與卷積，這是許多 AI 演算法的基礎。相較於 CPU，TPU 可大幅加速運算，實現更快速的複雜模型訓練，並在雲端環境中更高效地使用 AI 服務。
-
NPU： 神經處理器是一款專門的 AI 加速硬體元件，適用於神經網路與機器學習模型的運算，旨在以類似於人類大腦的方式處理資料。NPU 針對通用人工智慧作業與機器學習工作最佳化，例如矩陣乘法、卷積與啟動功能。NPU 是 AI 極其高效的選項，提供高速與高頻寬，非常適合整合至快速移動的工作流程。
- FPGA： 現場可程式化閘陣列是一種非常多功能的 AI 硬體解決方案， 可重新配置，並可程式化，滿足各種 AI 工作需求，無需更換硬體就能更新與修改。用於平行運算架構，以便提升 AI 效能，特別適合邊緣的即時處理、電腦視覺工作與邊緣神經網路推斷，其中裝置和應用程式需要具有適應性和高效能。
記憶體
記憶體提供執行 AI 工作所需的關鍵基礎架構。可確保您的處理器可隨時取得資料與指令，讓 AI 演算法快速高效的執行，並減少 AI 營運的瓶頸。記憶體的容量與速度直接影響其處理大型資料集與複雜模型的能力，這兩者都是 AI 效能的關鍵要素。
雖然所有的運算系統都具有某種形式的記憶體容量，但您可以透過不同類型的硬體最佳化系統的 AI 處理容量。每種記憶體類型在 AI 系統中都其地位，通常會相互結合使用，根據您的 AI 效能需求來平衡速度、容量與成本：
- 隨機存取記憶體（RAM）：RAM 是 AI 系統的主要記憶體元件，為活躍資料與模型參數提供快速、臨時的儲存空間。RAM 可快速讀取和寫入資料，非常適合處理持續的資料運算。然而，它的波動性與容量可能是大規模 AI 作業的限制因素。
- 視訊 RAM（VRAM）：VRAM 是用於 GPU 的專用記憶體元件。雖然用於處理圖形資料，但執行平行作業的能力可提升某些複雜的 AI 工作效率，因此對訓練神經網路與深度學習模型很有用。VRAM 通常比標準 RAM 更貴，容量也更小。
- 高頻寬記憶體（HBM）：HBM 專為高效能運算設計，提供極高的頻寬，並讓處理器之間的資料傳輸速度更快。非常適合訓練大型神經網路，或透過 GPU 與 AI 加速器執行複雜的模擬。與其他形式的記憶體相比，HBM 也較昂貴，而且容量也較少。
- 非揮發性記憶體：固態硬碟（SSD）與硬碟（HDD）等非揮發性記憶體，為 AI 資料提供長期儲存空間。其優勢在於無需維護或插電即可保留資料，但明顯慢於 RAM 或 VRAM。非揮發性記憶體在 AI 系統中的主要用途是資料持久性，而非主動處理。
AI 硬體解決方案
您為系統選擇的 AI 硬體類型取決於您在哪裡執行 AI 應用程式、資料集的大小，以及所需的處理速度。
用戶端運算
用戶端運算處理器通常存在於個人電腦與行動裝置中。雖然標準電腦包含 CPU 與 GPU，但傳統上，這些元件的功能設計並不是為了滿足 AI 應用程式的處理需求，而是需要使用雲端執行 AI 模型並分析 AI 資料集。然而，隨著 AI 採用指數級的成長，搭載專用硬體的新 AI 電腦已推出，並搭載整合式 NPU，可在裝置本身高效執行 AI 工作負載。這有助於提供更快的處理與回應（即使沒有網際網路連線），又因為資料不是在雲端收發，也有助於降低成本與資料安全風險。最近的創新技術也讓更多的 AI 工作負載能在僅有 CPU 的架構上執行。
邊緣
邊緣運算應用程式在更接近資料生成位置的地方收集、處理、儲存資料並採取行動，需要更快的資料分析和近乎即時的回應能力。邊緣產生的深入解析可用於工業、醫療、測試與測量、航太、國防與汽車應用。這可能會對人類安全產生立即的影響（例如自動駕駛情境）、影響工業營運（例如在製造業自動化中與物聯網裝置一起使用），或在應用於零售業、醫療保健與電信使用案例時，實現更優異的體驗。在邊緣方面，CPU 和 FPGA 有助多方擴展 AI 功能，提供靈活和效率優勢。
資料中心
在內部部署和雲端資料中心環境中，CPU、GPU 與專用的 AI 加速器的組合用來處理集中式伺服器環境中的大型 AI 工作負載。CPU 適合各種工作負載與應用程式（特別是延遲或每核心效能至關重要的工作負載與應用程式），而 GPU 和其他專用的 AI 加速器可與 CPU 一起使用，滿足極其複雜的 AI 工作負載更高的運算需求。
