資料分析是什麼?
知識就是力量,但資訊的價值受限於您怎麼運用它。現今資料分析領域利用機器學習(ML)和深度學習(DL)AI 等 AI 技術,將結構化、半結構化和非結構化的資料轉換成商業智慧(BI)。
最終,使用 AI 增強的資料分析所期望的結果是,協助企業領導者做出正確的決策,以實現組織目標。
資料分析在近年逐步發展
資料的指數級成長(從千兆位元到拍位元等),繼續為企業帶來挑戰,即使是那些具備堅實分析基礎架構的企業也不例外。資料來源數量和類型的不斷成長,也促成了更多不同的系統(即所謂的資料孤島),用於收集及處理資料。為了跟上發展,企業必須以更快的速度分析資料,而資料分析師則需要不斷發展自己的技能,否則可能會錯失深入解析。投入 ML、AI 和強大的運算,從這些大型資料集中收集、分析及擷取深入解析。
AI 對資料分析的影響
AI 有助於將傳統資料分析工作流程中的重要步驟自動化,讓過程更快、每個步驟都能取得更佳的結果。
由於 AI 能夠大規模地高效工作,和單憑人類作業員相比,可以幫助分析師獲得更深入的解析,辨別資料中更複雜的模式。AI 分析的潛力具有巨大的價值,但權衡取捨需要更多開發時間,才能建構及訓練用於自動化分析的 AI 模型,並尋找具有確保成功所需技能的 AI 建構者。
資料管線
AI 支援的資料分析是通過稱為「資料管道」的方法建構。雖然流程可能因企業而異,但資料分析解決方案會透過大致相同的核心資料管道階段來運作:
- 資料輸入、探索與預先處理
- 模型選擇與訓練
- 生產部署
資料輸入、預先處理與探索
首先,從許多不同的來源收集不同類型的資料,例如與客戶的互動、社群媒體貼文,以及包括音訊和影片在內的多媒體。這些資料可能是結構化或非結構化。結構化資料是狹義定義的資訊,適合預先定義的架構,例如試算表中的數字資料。非結構化資料則無所不包,可以是便利貼上的塗鴉或是語音檔案。
收集所有資料後,即可進行預先處理的重要步驟。這項步驟包括準備資料,供 AI 或人類資料科學家進行分析和建模。這可以透過擷取、載入、轉換(ELT)流程進行,其中資料擁有者會視需要對其進行結構化,或透過擷取、載入、轉換(ELT)流程進行,該流程在使用前需清理資料。
資料整理成一致的格式後,就會開始資料探索。在這個過程中,資料科學家試圖利用統計資料、概率計算以及圖表和繪圖等資料視覺化,來瞭解資料並形成全方位的檢視。為了揭示模式和興趣點、包括 AI 在內的各種分析工具,協助資料科學家辨識不同特徵之間的關係,例如資料集的結構、異常值的存在以及資料值的分佈。
模型選擇與訓練
在這個階段,資料科學家仰賴 AI 模型或演算法,透過描述性分析來理解資料,或是透過預測性建模來計算未來的結果。預測建模是一種用於建立統計模型的數學方法,根據輸入測試資料來預測未來的行為。
資料科學家可以使用一或多種數學方法(稱為演算法),根據需要獲得準確的模型,藉此回答手頭的問題。演算法範例包括迴歸、叢集、決策樹/規則、時序/序列、k 最近鄰和隨機森林。最終,資料科學家會選擇他們認為能利用可用的運算容量,產生最佳結果的模型與演算法。
選擇演算法後,資料科學家就會開始訓練。訓練基本上會自動調整演算法中的各種參數,然後將這些參數用於測試資料以進行預測。這項調整旨在盡可能地準確擷取所謂監督機器學習中已知結果的資料。一種稱為無監督機器學習的另類技術,反而是仰賴演算法將資料獨立分組及理解。
為了加速模型選擇與調整,資料科學家可以使用現成模型(又稱基礎模型)作為起點。這些模型可自訂及微調,以符合特定使用案例的需求。整體而言,微調基礎模型的過程比從頭建構更簡單、更快捷,因此成為簡化及加速部署路徑的不二法門。
生產部署
在資料管道的最後階段(生產部署階段),資料科學家在新資料上釋放經過訓練的演算法,以取得新的結果。在這個階段,經過訓練的模型可以向使用者或其他系統提供分類與預測。模型處理新資料後,資料科學家仍可選擇最佳化模型,確保輸出盡可能的準確並產生深入解析。
AI 如何改變資料管道?
AI 的引進不會改變傳統資料分析的管道,但的確影響了準備要求。也就是説,必須為 ML 和 DL 演算法準備資料,這些演算法可以將處理大量資料的複雜、冗長過程自動化。AI 為資料分析帶來各種優勢,舉凡速度、一致性,以及在超越人類專家資料複雜性和資料量的極端規模下工作的能力。
四種資料分析類型
這四種資料分析類型始於傳統方法,著重於透過資料瞭解目前與歷史現實。它們稱為描述性和診斷性分析。進階分析方法包括預測性和規範性分析,旨在超越紀實、預測未來事件和趨勢,並依照業務目標調整可能的行動方案。
- 描述性分析:過去發生什麼事
- 診斷性分析:過去為什麼發生這些事
- 預測性分析:未來會發生什麼事
- 規範性分析:未來的最佳途徑是什麼
資料分析領域日新月異,AI 的影響力和採用率也持續成長。AI 實現新型的進階資料分析,例如:
- 認知分析:利用語義技術與 ML、DL、AI 演算法,將人類智慧應用於資料分析。
- AI 支援的分析:將 ML 演算法、自然語言處理(NLP)和其他 AI 應用程式與分析工具結合,從複雜的資料中擷取更深入的見解和理解。AI 支援的分析也可以用於自動化分析任務,實現更快的工作流程,並讓組織中更多人能存取資料。
- 即時分析:資料到達後便會立即開始分析,因此能備妥深入解析以利即時決策。詐欺偵測、交叉銷售機會、可變定價、異常偵測以及管理感應器資料等眾多使用案例都使用即時分析。
- 記憶體內的分析:利用記憶體而非磁碟上的資料,即可減少延遲,更快地分析更大的資料集。將資料儲存在記憶體中,對於即時分析也很重要。
進階分析解決方案與巨量資料
「巨量資料」一詞用於說明極大的資料集,通常包含超過 1 TB 的資訊。巨量資料是非結構化的;高容量;高速度,表示它可以大量即時到達;而且種類繁多,表示它包含多種資料格式和類型。由於巨量資料的規模和特點,它需要 ML、AI 和強大的運算才能在資料管道中移動。
進階分析解決方案可加速處理來自更多不同來源(包括邊緣 IoT 裝置和感應器)的大量非結構化資料。企業部署進階分析解決方案,為詐欺偵測、情緒分析和工業設備預測性維護等使用案例因應這些更棘手的巨量資料工作負載。
資料分析使用案例
資料分析可應用於世界各地,幾乎所有產業都能涵蓋其中。使用資料瞭解微觀或宏觀範圍的情況和事件的做法,表示每個企業都有機會在它們創造的資料中找到價值。使用資料分析的常見方式包括:
- 客戶分析:利用客戶行為資料,透過市場區隔和預測性分析,協助做出重大業務決策。
- 需求預測:利用歷史資料的預測性分析,估計及預測客戶未來對產品或服務的需求。最終,這有助於企業做出更明智的供應決策。
- 異常偵測:辨識與大多數資料存在顯著偏差,且不符明確定義之典型行為概念的罕見項目、事件或觀察結果。
- 人流分析:將人群移動以資料的形式顯示,有助於揭露行為背後的隱藏模式。
- 時序分析:提供對觀察之資料的理解,讓企業得以建立模型,用於預測、監測甚至回饋和前饋控制。
- 社群媒體分析:從社群頻道收集的資料中尋找意義,以支援業務決策,並透過社群媒體測量基於這些決策的行動績效。
- 客戶建議:提供符合每位客戶口味和喜好的個人建議,涵蓋他們與企業之間的所有接觸點。
組織將這些資料分析使用案例應用於各行各業,例如:
- 零售:零售商可以使用資料分析來預測需求、實體店的動線分析,並透過電子郵件、店內廣告和社群媒體進行個人化客戶建議。
- 製造業:製造商可以透過生產線上的電腦視覺檢查,利用資料分析來分析客戶和異常偵測。
- 電信業:通訊服務供應商可以利用資料分析以偵測網路流量異常,透過時間序列分析來預測網路堵塞。
- 醫學研究: 研究人員可以利用異常偵測,提升醫療影像或病患資料分析的準確性,進而辨識可能會忽略的健康風險因素。
透過資料分析和 Intel 做出更具策略性的決策
AI 支援的資料分析,對於想確保競爭力並推動創新的組織而言不可或缺。更積極主動使用資料的企業,會比裹足不前的企業成功。
Intel 可透過專為 AI 打造的高效能硬體和最佳化的軟體解決方案,讓企業更輕鬆部署強大的分析解決方案。
立即進一步瞭解用於 AI 增強進階分析的 Intel® 技術。