微美全息開發(fā)基于數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分析與監(jiān)測算法系統(tǒng)
近年來, 互聯(lián)網(wǎng) 及其相關(guān)技術(shù)促進(jìn)了計算機(jī)、網(wǎng)絡(luò)和通信的整合,數(shù)據(jù)處理總量越來越大,各產(chǎn)業(yè)的信息化程度越來越高,社會的數(shù)據(jù)化趨勢越來越明顯。面對海量數(shù)據(jù),決策者很難直接從中提取有價值的知識,這導(dǎo)致對數(shù)據(jù)分析工具的強(qiáng)烈需求。
數(shù)據(jù)挖掘是信息技術(shù)自然演進(jìn)產(chǎn)生的高級數(shù)據(jù)分析工具。數(shù)據(jù)挖掘是從龐大的數(shù)據(jù)庫或數(shù)據(jù)系統(tǒng)中發(fā)現(xiàn)對用戶有價值的東西,并從龐大的觀測數(shù)據(jù)集中提取和分析用戶不容易檢測或判斷的關(guān)系,然后給用戶提供有價值的結(jié)論。在大數(shù)據(jù)時代,做好數(shù)據(jù)分析與數(shù)據(jù)監(jiān)測對于提高企業(yè)的運(yùn)營效率及保障數(shù)據(jù)安全具有重要意義。
據(jù)了解,WIMI微美全息(NASDAQ:WIMI)開發(fā)了基于數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分析與監(jiān)測算法系統(tǒng)。利用數(shù)據(jù)挖掘技術(shù)對原始數(shù)據(jù)進(jìn)行處理,去除無效信息,保留有價值的信息,并對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,提高效率。算法系統(tǒng)主要分為四個部分:識別對象、數(shù)據(jù)處理、識別過程、結(jié)果和預(yù)警。
首先是識別對象,接下來是數(shù)據(jù)處理,它主要分為三個模塊:數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理和數(shù)據(jù)編碼。其中,數(shù)據(jù)采集模塊負(fù)責(zé)使用編程語言從數(shù)據(jù)庫中獲取異常數(shù)據(jù)監(jiān)測所需的相關(guān)原始數(shù)據(jù)。數(shù)據(jù)預(yù)處理模塊主要包括唯一屬性處理、相關(guān)屬性合并、缺失數(shù)據(jù)處理和數(shù)據(jù)標(biāo)準(zhǔn)化,以使原始數(shù)據(jù)成為有效數(shù)據(jù)。數(shù)據(jù)編碼模塊主要負(fù)責(zé)對標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行編碼,實(shí)現(xiàn)特征數(shù)據(jù)從便于人類理解的語義數(shù)據(jù)到便于機(jī)器處理的數(shù)字?jǐn)?shù)據(jù)的轉(zhuǎn)換,以便使所有數(shù)據(jù)都可以直接輸入到智能算法中,為后續(xù)的智能識別部分奠定基礎(chǔ)。接下來是識別過程部分,輸入數(shù)據(jù),通過人工智能算法進(jìn)行訓(xùn)練。最后一部分是結(jié)果與預(yù)警,使用訓(xùn)練好的模型識別數(shù)據(jù),并對異常數(shù)據(jù)進(jìn)行標(biāo)記和預(yù)警,并將預(yù)警系統(tǒng)反饋給系統(tǒng),形成完整的工作流程。
對于異常數(shù)據(jù)的識別可以理解為數(shù)據(jù)的分類,數(shù)據(jù)識別過程和結(jié)果輸出通過神經(jīng)網(wǎng)絡(luò)作為識別算法來實(shí)現(xiàn)。其利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對異常數(shù)據(jù)的監(jiān)測和分析,給出正常和異常數(shù)據(jù)的識別結(jié)果,并將異常數(shù)據(jù)反饋給系統(tǒng)。
神經(jīng)網(wǎng)絡(luò)是對人腦的模擬。它構(gòu)建了大量的神經(jīng)元,并將這些神經(jīng)元組合成一個網(wǎng)絡(luò)。而BP神經(jīng)網(wǎng)絡(luò)為神經(jīng)網(wǎng)絡(luò)添加了一個隱藏層,該網(wǎng)絡(luò)將具有更好的分類和內(nèi)存功能。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程通常可以分為兩個方向,即正向傳播和反向傳播。網(wǎng)絡(luò)的數(shù)據(jù)信息通過輸入層,數(shù)據(jù)的每個特征對應(yīng)于輸入層中的一個神經(jīng)元,由于BP神經(jīng)網(wǎng)絡(luò)是一種完全連接的方法,因此將輸入層的信息與其連接權(quán)重相結(jié)合,得到它們的加權(quán)和,然后它們就可以到達(dá)隱藏層。該層是網(wǎng)絡(luò)的核心處理部分,接收到的數(shù)據(jù)被進(jìn)一步處理,然后傳遞到輸出層。輸出層也是如此。對數(shù)據(jù)進(jìn)行處理后,可以獲得相應(yīng)的實(shí)際輸出信息。
信息化的時代,面對數(shù)據(jù)量的爆炸式增長,數(shù)據(jù)庫技術(shù)也得到越來越廣泛的運(yùn)用。WIMI基于數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分析與監(jiān)測算法系統(tǒng)的應(yīng)用面很廣,其可在 金融 、電信、零售、電子商務(wù)等行業(yè)得到應(yīng)用。