如何幫助中國移動駕馭實時大數(shù)據(jù)
中國移動
China Mobile
項目背景
手機惡意軟件日益泛濫,傳統(tǒng)的安全防護手段能夠在網(wǎng)絡側(cè)偵測和防范已發(fā)現(xiàn)的惡意軟件,但對于未知的惡意軟件,目前還缺乏高效的分析方法。
項目實施
客戶收益
案例詳情
揭秘中國經(jīng)典的大數(shù)據(jù)項目
多大的數(shù)據(jù)算大數(shù)據(jù)?一百萬?一億?一百億?這個問題誰也給不出一個確切答案,當然也不是單純的量大就能被稱為大數(shù)據(jù)。但是數(shù)據(jù)量越大,在分析和計算方面對技術(shù)的要求就越高,這一點是毋庸置疑的。中國移動這個項目,可以說是中國商業(yè)領(lǐng)域里數(shù)據(jù)規(guī)模最大的大數(shù)據(jù)項目之一了。
隨著智能手機的普及,手機惡意軟件日益泛濫。根據(jù)百度安全實驗室的最新數(shù)據(jù),2014年第三季度,安卓平臺惡意軟件和高危軟件的總數(shù)已經(jīng)突破了200萬個,達到歷史了新高。這些惡意軟件會造成用戶隱私泄露、信息丟失、設備損壞、話費損失等諸多問題,給客戶利益帶來極大危害,同時給電信運營商的網(wǎng)絡運營帶來了極大的不利影響。傳統(tǒng)的安全防護手段能夠在網(wǎng)絡側(cè)偵測和防范已發(fā)現(xiàn)的惡意軟件,但對于未知的惡意軟件,目前還缺乏高效的分析方法。
中國移動考慮,有必要建立一套信息安全分析系統(tǒng)。對核心網(wǎng)數(shù)據(jù)進行全量分析。不過,擺在中國移動面前的一個現(xiàn)實問題是:全網(wǎng)數(shù)據(jù)量的峰值為數(shù)百萬條/秒,每小時增量數(shù)據(jù)上千億條。即將建設的這套系統(tǒng)要對這些龐大的數(shù)據(jù)進行實時的信息安全掃描,找出有問題的記錄,并進行實時攔截處理。
作為最重要的技術(shù)提供商,國內(nèi)知名的一站式大數(shù)據(jù)分析平臺服務商永洪科技參與承建了該系統(tǒng)。永洪科技利用自主研發(fā)的大數(shù)據(jù)平臺。采集分析來自運營商移動核心網(wǎng)的關(guān)鍵日志數(shù)據(jù),通過模式識別算法,幫助移動運營商從海量數(shù)據(jù)中分析發(fā)現(xiàn)惡意軟件的蛛絲馬跡。
永洪科技的技術(shù)原理是,通過在上百臺服務器上搭建(多節(jié)點并行計算)大數(shù)據(jù)集市和敏捷BI系統(tǒng),來支撐這一系統(tǒng)所需要的龐大的數(shù)據(jù)分析計算。從架構(gòu)上分為:〔服務器集群由5個子集群組成,分別是:
1、前置機集群:用于接收全國各個省的日志數(shù)據(jù)。
2、流計算集群:用于掃描數(shù)據(jù),將匹配的日志數(shù)據(jù)放入數(shù)據(jù)庫。
3、數(shù)據(jù)庫集群:用于累積匹配的數(shù)據(jù)并做評判,最終生成疑似數(shù)據(jù),放入MPP集群,并上報總部。
4、 MPP集群:存儲疑似數(shù)據(jù),用于數(shù)據(jù)分析和挖掘。
5、管理集群:用于集群監(jiān)控、配置管理、BI前端等。
一個可以實時分析,幫助決策的好用產(chǎn)品。管理人員進行上網(wǎng)流量監(jiān)控,發(fā)現(xiàn)可能存在的風險;業(yè)務人員進行綜合經(jīng)營分析;通過動態(tài)可交互面板進行用戶行為分析。
—— 電信行業(yè)用戶 |
永洪科技
致力于打造全球領(lǐng)先的數(shù)據(jù)技術(shù)廠商