隨著大數(shù)據(jù)時代來臨、無人駕駛和車聯(lián)網(wǎng)的快速發(fā)展,汽車研發(fā)部門需要處理的數(shù)據(jù)量激增、數(shù)據(jù)類型不斷擴展。相關(guān)數(shù)據(jù)涵蓋車內(nèi)高頻CAN 數(shù)據(jù)和車外ADAS 視頻非結(jié)構(gòu)化數(shù)據(jù)、位置地理空間數(shù)據(jù)、車輛運營數(shù)據(jù)、用戶CRM 數(shù)據(jù)、WEB 數(shù)據(jù)、APP 數(shù)據(jù)、和MES 數(shù)據(jù)等。
在此背景下,整車廠研發(fā)部門關(guān)心的是:如何將企業(yè)內(nèi)部的研發(fā)、實驗、測試、生產(chǎn)數(shù)據(jù),社會用戶的用車數(shù)據(jù),互聯(lián)網(wǎng)第三方數(shù)據(jù)等結(jié)合起來,將異構(gòu)數(shù)據(jù)和同構(gòu)數(shù)據(jù)整合到一起,并在此基礎(chǔ)上,實現(xiàn)業(yè)務(wù)系統(tǒng)、分析系統(tǒng)和服務(wù)系統(tǒng)的一體化;怎樣利用深度的駕駛員行為感知、智能的車輛預(yù)防性維護(hù)、與實時的環(huán)境狀態(tài)交互,通過大數(shù)據(jù)與機器學(xué)習(xí)技術(shù),建立面向業(yè)務(wù)服務(wù)與產(chǎn)品持續(xù)優(yōu)化的車聯(lián)網(wǎng)智能分析;最終利用數(shù)據(jù)來為產(chǎn)品研發(fā)、生產(chǎn)、銷售、售后提供智能決策支撐。這些都是整車廠在大數(shù)據(jù)時代下亟待解決的問題。
針對這一需求,經(jīng)緯恒潤探索出以EXCEEDDATA 大數(shù)據(jù)分析平臺為核心的汽車工程大數(shù)據(jù)整體解決方案。借助EXCEEDDATA 大數(shù)據(jù)分析平臺,企業(yè)可以集成、處理、分析、以及可視化海量級別的數(shù)據(jù),可實現(xiàn)對原始數(shù)據(jù)的高效利用,并將原始數(shù)據(jù)轉(zhuǎn)化成產(chǎn)品所需的智能,從而改進(jìn)業(yè)務(wù)流程、實現(xiàn)智慧決策的產(chǎn)業(yè)升級。
產(chǎn)品介紹
· 先進(jìn)的技術(shù)架構(gòu)
? EXCEEDDATA 采用分布式架構(gòu)、包含集成處理(ETL)與分析挖掘兩大產(chǎn)品功能體系,共支持超過20 多個企業(yè)常見傳統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)源系統(tǒng),超過50 多個分析處理算法、以及超過豐富的可視化智能展現(xiàn)庫。用戶可以自主的、靈活的將各種來源的原始數(shù)據(jù)與分析處理串聯(lián)應(yīng)用,建立科學(xué)的數(shù)據(jù)模型,得出預(yù)測結(jié)果并配以互動的可視化智能,快速高效的將大數(shù)據(jù)智能實現(xiàn)至業(yè)務(wù)應(yīng)用中。
? 平臺包括分布式大數(shù)據(jù)分析引擎、智能終端展示、以及API。大數(shù)據(jù)分析引擎為MPP 架構(gòu),建立在開源的Apache Hadoop 與Apache Spark 之上,可簡易的scale-out 擴展。在分析引擎的基礎(chǔ)上包含數(shù)據(jù)源庫、數(shù)據(jù)轉(zhuǎn)換匹配器、數(shù)據(jù)處理操作庫、機器學(xué)習(xí)算法庫、可視化圖形庫等子模塊。智能終端展示為行業(yè)通用的B/S 架構(gòu),用戶通過支持跨操作系統(tǒng)和瀏覽器的HTML5/JS 界面與API 來與平臺互動。
· 廣泛的數(shù)據(jù)類型和存儲格式支持能力
EXCEEDDATA 平臺支持?jǐn)?shù)值、字符、時間、向量、列表等17 種數(shù)據(jù)類型,還可支持多種Hadoop 數(shù)據(jù)存儲格式,如HDFS 的文件存儲格式和Hive 的表存儲格式。為數(shù)據(jù)分析人員節(jié)省大量的數(shù)據(jù)格式轉(zhuǎn)換和文件系統(tǒng)轉(zhuǎn)移的準(zhǔn)備時間。分析員可快速的從既有數(shù)據(jù)源中靈活的獲取數(shù)據(jù),盡快開展數(shù)據(jù)分析任務(wù)。
· 豐富的算法模塊和直觀的編程環(huán)境
EXCEEDDATA 平臺提供豐富的機器學(xué)習(xí)算法,共六大類函數(shù)對數(shù)據(jù)進(jìn)行匯總、分析、分類或聚類,并配以靈活的算法流程引擎和可拉動式界面。業(yè)務(wù)人員可輕松地選擇和組合多個數(shù)據(jù)源和算法模塊,快速構(gòu)建分析流程,對業(yè)務(wù)進(jìn)行綜合分析。
機器學(xué)習(xí)算法包
· 網(wǎng)絡(luò)分析類型:Graph Analytics
· 推薦引擎類型:Recommendation Engine
· 時間路徑類別:Time & Path
· 聚類分析類別:Cluster Analytics
· 決策樹分析類型:Decision Tree
· 樸素貝葉斯分析類型:Na?ve Bayes
· 統(tǒng)計分析類別:Statistical Analysis
多維度大數(shù)據(jù)的分析與預(yù)測算法包
· 行為網(wǎng)絡(luò)算法, 包括圖譜統(tǒng)計、最短路徑等
· 中英文語言分析算法,包括TF-IDF、Word2Vec等
· 地理分析算法
· 分類挖掘:邏輯回歸、向量機、樸素貝葉斯、決策樹、梯度提升決策樹、隨機森林
· 回歸預(yù)測:線性回歸、嶺回歸、套索回歸、保序回歸
· 聚類:KMeans 、高斯混合模型
· 關(guān)聯(lián)推薦:Apriori、FPGrowth、Alternate Least Squares(協(xié)同過濾)
· 時間路徑:sessionize、去重、分區(qū)、路徑(遍歷、順序、起始點)
· 網(wǎng)絡(luò)地理:最短路徑、方塊分區(qū)索引、異狀邊際定位
· 統(tǒng)計處理:直方分布、密度分布、聚合、排序、過濾等
豐富的數(shù)據(jù)呈現(xiàn)方式
EXCEEDDATA 平臺提供豐富的數(shù)據(jù)智能展現(xiàn),包括折線圖、柱狀圖、餅圖、散點圖、多拿圖、堆疊圖、平行坐標(biāo)圖等30 多種圖示方式??蓭椭鷺I(yè)務(wù)人員進(jìn)行多視圖、多層次的分析,挖掘出數(shù)據(jù)深層次的商業(yè)價值,快速發(fā)現(xiàn)數(shù)據(jù)背后的規(guī)律。