作者:Yingwu Gao

Yingwu Gao
是產品工程和 AI 實踐副總裁,負責企業產品工程與創新,包括 AI、數據科學和云計算。她所帶領的團隊在定義和打造全新市場相關產品和服務方面(例如企業 AI、云 AI 解決方案和 Pact.AI 平臺創新)扮演著至關重要的角色。

 

AI 如何將數據轉化為資產:價值實現之旅

對您的企業而言,最寶貴的資產是什么?根據公司性質的不同,您的答案可能包括銷售(如銷售人員和支持軟件)、供應鏈(如庫存、倉庫和運輸)等。  

如今,越來越多的企業認為數據本身就是一種資產。實際上,數據本身并不是資產,但它可以成為資產。數據無疑會將您的所有資產結合在一起,并通過卓越的軟件為其提供支持。但是,隨著來自各種來源(如機器、人員和數字進程)的數據以前所未有的速度爆炸式增長,激增的數據呈現出一種未知狀態——原封未動、未經處理,遠未實現其作為資產的潛力。  

矛盾的是數據越來越普遍,但無處不在的數據并不等同于有用數據。要使海量數據本身成為資產,并像所有其他資產一樣發揮業務價值,企業必須部署人工智能 (AI) 技術。 

價值實現之旅

最大限度地挖掘數據價值對企業而言至關重要。在瞬息萬變的市場中,組織需要不斷尋找促進增長的驅動力。他們處于持續的壓力之下,必須最大限度地改善運營效果并提高生產效率,以期實現投資回報的最大化。可以說,他們害怕錯失消費者行為轉變或新興創新推動技術所帶來的機會。為了抓住這些機會,企業需要不斷分析大量數據的含義。能夠洞察數據者,便是未來的贏家。但這一切的前提是——將數據轉化為資產。 

這一過程談何容易?數據具有多種格式,包括結構化數據和非結構化數據。正是這種復雜的性質為數據價值的實現帶來了挑戰。例如,您的數據可視化軟件可以從運營數據中獲取見解,但前提是數據采用 CSV 文件等結構化格式。然而,現代數據很少采用結構化格式,因為標準商業智能軟件無法按原樣使用它們。如今,物流公司會通過其車隊的智能傳感器收集各種數據(包括 GPS 定位、車輛狀況、圖像、環境聲音,以及來自其他系統的交通和天氣數據),并使用這些數據以不同方式運營現有業務,甚至拓展全新業務。 

在與數據科學家交談時,他們向我講述了耗費大量時間對數據進行工程處理(清理、組織和轉換)以提高預測模型準確性的艱難時光。由于他們經常需要處理 PB 級的結構化及非結構化數據,這一過程的難度進一步加劇。這項任務對任何一個人或一組人來說都過于艱巨。將數據開發成真正的資產是一項任重而道遠的任務,就像黃金精煉過程一樣。AI 可以在這一旅程中大展身手,實現流程的自動化和智能化,并從數據中獲取見解,從而實現業務成果。 

搭載 AI 技術的數據管道

在人們的印象中,AI 往往是指播放音樂的數字助理或為下次購買提供建議的推薦引擎。機器學習可以在幫助公司管理數據管道方面發揮日益重要的作用。搭載 AI 技術的數據管道可以減輕數據科學家的壓力,代替他們對數據進行工程處理,使他們能夠專注于自己的本職工作——對數據進行復雜建模。

以下是價值實現之旅的模式:

數據提取:首先,從不同的來源獲取和導入數據(通常為原始數據),并實時進行流式傳輸或分批提取。然后,使用 ML 嵌入式安全性和合規性方法,通過自動或混合流程從機器、系統、環境、人員以及介質等處收集和檢索所選數據,并將其存儲在數據湖或數據倉庫等目標位置。最后,按需捕獲正確的數據,開始價值實現之旅。

數據準備:要將數據集轉換為可用形式,數據預處理或“數據整理”至關重要。在開始處理和分析之前,需要對數據進行清理和轉換,然后再進行重新格式化、篩選、聚合、標準化和擴充。這一過程可通過 ML AI 自動實現并且必不可少,能夠為數據提供上下文信息以獲得見解并消除由于數據質量低下而導致的偏差。在進行特征工程之后,需要進一步處理數據,以便提取域相關字符,然后再針對數據進行算法培訓。

建模與評分:使用學習算法(ML DL)根據所準備的數據對模型進行培訓,該數據通常是要學習的培訓數據集。學習算法會在培訓數據中尋找數據模式,并輸出捕獲了這些模式的模型。培訓完成后,將對生成的模型進行評分、驗證并測試其準確性。隨后,根據評分結果調整超參數,以獲得更全面、更準確的結果。該模型可用于新數據集,以便從業務問題中獲取切實可行的見解,從而進行預測、推薦和決策等。

數據提供:部署到生產環境中后,便可以提供和交付數據輸出和模型,然后用于加深數據理解、優化業務運營并提高管理能力。通過模型對未來結果進行預測是數據價值實現的最佳示例。

該數據管道是一個正反饋環。隨著新數據的流入,搭載 AI 技術的數據管道將不斷提高饋送到 AI 模型中的數據質量。當然,這時必須謹慎處理。如果未能妥善處理來自結構化和非結構化數據源的數據流,則有偏差甚至受污染的數據就會進入 AI 模型,將您的潛在業務資產轉變為業務風險。

數據價值實現既是科學又是藝術,必須不斷進行投入和學習,才能提取數據的真正價值并將其轉化為真知灼見。要使數據真正成為一種資產,人工智能和人類創造力需要相輔相成,以便衡量所獲得的見解、發現數據模式并預測未知結果。憑借這種系統思維以及將 AI 應用到整個數據流程的方法,您的數據流將發揮價值,數據湖將保持健康狀態,使得數據生態系統實現可持續的蓬勃發展。這樣一來,數據可能會成為您最寶貴的資產。

Pact.AI

文思海輝的 Pact.AI 可提供完整的端到端產品組合,包括數據科學和數據工程服務、智能數據管道管理、預測和認知分析、AI 應用支持和解決方案加速器以及 AI 轉換,助您實現自己的 AI 產品愿景。使用 Pact.AI,您可以將數據轉化為最寶貴的資產。聯系我們,詳細了解 Pact.AI 如何助您將數據轉化為 AI 資產。