AI 在邊緣的角色
無論最終目標是加速診斷的自動化醫療成像工作流程，還是提升金屬製造工廠的運作效率，AI 在邊緣的角色都是相同的，也就是利用資料採取更快速的行動。AI 領域是透過稱為推論的任務實現目標。
在推論期間，即時輸入資料會傳送至先前經訓練的 AI 模型，可以執行諸如決策、發送警報、提供深入解析或完成影像排序等任務之功能。
邊緣 AI 經常使用物聯網 (IoT) 裝置，包括攝影機、資料來源和感應器，收集及分析現實世界的資料。假設一家能源或公用事業公司希望確保其塔架、管道或電網免受不良行為者侵害。安全影片和感應器資料可在邊緣處理，以近即時的方式自動提醒營運商相關威脅。憑藉幾乎即時收集和處理資料的能力，邊緣 AI 大幅拓展了組織能力，在邊緣實現一系列採用 AI 技術的應用程式和體驗。從銀行自助終端運行的聊天機器人，到具有自動車道輔助和防撞功能的汽車，再對城市街道或工廠車間的安全隱患或事件進行近乎實時的警報，邊緣 AI 在各行各業的用例非常多。
邊緣 AI 相較於傳統 AI
傳統上，AI 主要以雲端為基礎，資料發送至資料中心，在那進行處理並於分析後回傳。這種以雲端為中心的運算基礎架構模型，並不適合時間急迫的企業流程與營運。
許多企業推論用例都受益於資料快速分析。這往往需要即時資料處理，且具備嚴格的延遲要求。通常需要在連線能力差的地方實作，使得在與雲端之間的傳輸過程中容易受到封包遺失造成的延遲和錯誤的影響。
為了因應這些需求和挑戰，邊緣 AI 在資料來源（例如工廠車間、醫院或店面）執行資料分析。演算法在現場部署，資料在中央中心處理，或直接在搭載內建處理器的邊緣裝置上處理。
混合式邊緣 AI
邊緣 AI 與雲端 AI 這兩種方法並不相互排斥。隨著邊緣 AI 發展，在邊緣和雲端之間分配推論工作負載的混合式邊緣方法有望獲得廣泛採用。此理念可藉由雲端更深層的脈絡來強化輕量、近即時的邊緣深入解析。
混合邊緣將邊緣的速度和效率與可擴充的雲端式資源組合在一起，促進具有不同部署環境和效能需求的尖端應用程式。混合式方法也讓企業將多種模型的輸入整合至流程。
雖然邊緣人工智慧通常與電腦視覺相關，但邊緣 AI 領域正在迅速拓展，涵蓋涉及生成式 AI (GenAI)、自然語言（文字轉語音、聊天機器人）和機器人技術的多模型應用。這些新興用例有望徹底改變產業。在製造業中，生成式 AI 驅動的軟體可以促進敏捷且動態的供應鏈，而自駕車 和智慧基礎設施可以幫助智慧城市減輕環境壓力並最佳化交通流量。
邊緣 AI 的優勢
邊緣 AI 可協助企業因應各種複雜挑戰，解決實際問題。將 AI 引入邊緣的部分優勢包括：
- 營運速度和效率：對創新來說，AI 型邊緣自動化十分關鍵，可實現近即時的自動操作，消除與雲端處理的相關延遲。將延遲和網路瓶頸降至最低，提升資料傳輸速率。
- 成本效益： 來自感應器和裝置的資料量不斷增長，使得邊緣運算比將資料傳送到雲端後回傳更具成本效益。減少頻寬消耗，減少雲端資源，有助於降低營運開支。
- 節約能源：有效節能的邊緣 AI 裝置旨在促進低功耗運算，並比雲端處理明顯提高效率。同時，路由器與交換器等網路硬體功耗減少，因為進出資料中心的流量已降至最低。
- 安全和資料主權：將敏感資料保留在邊緣，有助於確保本地控制、自治和遵守法規，進而降低安全和隱私風險。
邊緣 AI 考量
相較於在公有雲或私有雲執行 AI，將 AI 功能引進邊緣環境會帶來新的挑戰，包括：
- 將 AI 加到現有投資：許多邊緣環境採用傳統的固定功能基礎架構，配備各種專有設備和軟體。格式不相容的專有技術在與邊緣解決方案整合時，可能會帶來技術挑戰。
- 訓練與微調模型： 邊緣 AI 模型獨一無二，必須根據特定產業或使用案例動態調整。在這些情況下，人類領域知識往往至關重要。企業需要操作簡易的工具，協助非資料科學家的專家將專業知識轉化為 AI 功能。
- 因應硬體多樣性：邊緣原生應用程式可能會涵蓋多個節點、作業系統、連線能力通訊協定、運算與儲存需求、能源與成本限制，以及法規遵循問題。開發者需要找到方法處理這樣錯綜複雜度，並且支援分散式異質運算環境。
- 保護及管理分散式應用程式： 企業在尋求支援先進的邊緣 AI 時面臨了新挑戰。管理能力對於大規模應用 AI 至關重要，而安全性是過程中每一步的必備條件。
- 針對惡劣或受限條件進行規劃：邊緣環境會對 AI 硬體造成不同類型的壓力，例如熱、濕氣或振動。適用於交通監控或品質保障等使用案例的邊緣 AI 解決方案通常需要置於實體空間較小的區域。以低功耗實現這一切，對於控制成本和促進綠能永續發展也很重要。
邊緣 AI 解決方案
如何利用邊緣 AI 技術實現業務營運現代化是一項深入且多層面的主題。一些組織（例如製造業和工業組織）將尋求為傳統營運設備新增邊緣技術和「智慧」，逐漸演進採用近即時資料提供價值的數位企業。其他行業（例如金融和醫療保健產業）擁有規模龐大、且以資料為中心的業務，對於人工監控和分析來說過於龐大或分散。這些組織正朝向數位化和資料流程自動化方向發展，加快發現模式和深入解析，並提高效率、合規性和資料安全性。
無論組織試圖解決什麼樣的挑戰，都建議分階段應對 AI 支援。雖然最先進和廣泛的用例將需要邊緣到雲端技術的 AI 技術堆疊，但無需重大基礎設施投資即可開始使用邊緣 AI。擁有當前邊緣環境的企業可能已經準備好開始使用 AI。現有的邊緣運算資源（例如銷售點（POS）系統、工業電腦和醫療保健辦公室的本機伺服器）可支援許多 AI 工作負載，包括電腦視覺。
整合考量
實施邊緣 AI 解決方案的主要挑戰在於克服協調構成解決方案的各種部分，包括運算基礎設施、物聯網裝置和遺留設備涉及的複雜程度。統一技術平台可協助降低這種複雜性，並提升多種 AI 環境之間的互通性，以及異質基礎架構的標準化，打造從邊緣到雲端的統一架構。
硬體考量
無論是在雲端訓練模型、對其進行微調，還是在邊緣部署模型，選擇合適的AI 硬體 都有助於企業調整投資規模並支援效能要求。
AI 處理器支援整個 AI 管道，從極其複雜的模型訓練到更簡單的 AI 需求，包括將 AI 整合到終端使用者裝置：
- 搭載內建加速器引擎的中央處理器 (CPU) 可協助推動許多先進的邊緣 AI 工作負載，無需專用硬體。
- GPU 解決方案 可協助支援資料中心、邊緣或終端使用者裝置中最嚴苛的工作負載。
- FPGAs 通常用作 AI 加速器 和 AI 處理器，協助實現從邊緣到雲端的 AI 工作負載。相較於 CPU 和 GPU，FPGA 更為通用，可重新配置以適應各種用例。FPGA 提供速度、程式化與靈活性的組合，提供高效能，但無需開發客製晶片的成本和複雜性。
選擇採用方法
希望將 AI 應用程式擴展至邊緣的組織通常分為三類：希望購買專門打造的 AI 解決方案或應用程式、希望建置自己的 AI 應用程式，以及希望組合這兩種方法來實現 AI 目標。
打造 AI 解決方案：對於那些想從頭開始建立自己的邊緣 AI 解決方案的組織來說，與供應商無關的邊緣原生軟體平台可助於建置、部署和迭代 AI 工作流程，並具有最廣泛的互通性和協定支援。部署後邊緣原生平台也更加簡化在所有分散式邊緣環境中管理和更新 AI 軟體的方式。
審查平台時，務必尋找：
- 支援邊緣常見的異質運算環境
- 開放標準有助於面向未來的 AI 工作
- 專業程式碼和低程式碼開發選項
- 導入現有應用程式的能力
- 整合式遙測儀表板可協助大小合適的硬體並為應用程式進行最佳化
- 整合式安全功能
- 類雲端的自動擴充和容器化功能
選購現成的人工智慧解決方案：企業組織也可以從解決方案提供者或系統整合商購買人工智慧解決方案。這些供應商提供針對特定產業用例和需求量身打造的整合式軟硬體系統。選擇具備互通 AI 功能的市場就緒解決方案非常重要，並且具備成功產業和特定領域部署的良好記錄。
採取組合方式： 許多組織發現，將自己的開發工作與預先建置的元件相結合，可能是實現 AI 成功最高效的方法。提供一系列演示邊緣 AI 用例的教學課程和資源，有助於加快價值實現並簡化開發。此外，還有大量的軟體資源 可助於簡化開發工作，包括框架、工具包、行業特定的開發工具、參考架構和參考實作。
