大數(shù)據平臺建設實施方案設計
1、傳統(tǒng)建設模式問題分析:
在政府信息化建設過程中,與大數(shù)據平臺集中建設模式相比,傳統(tǒng)系統(tǒng)分散建設模式存在數(shù)據難以利用、信息孤立、缺乏公共服務與決策支持、信息共享與交換難以實現(xiàn)、統(tǒng)計口徑不一致和缺乏監(jiān)控與預測等問題。
數(shù)據難以利用:由于缺乏數(shù)據資產的統(tǒng)籌規(guī)劃,當前數(shù)據分散在單位各系統(tǒng)中,我們擁有“大數(shù)據”,卻只使用了“小數(shù)據”!
信息孤立:在一個單位的各個部門之間由于種種原因造成部門與部門之間完全孤立,各種信息無法或者無法順暢地在部門與部門之間流動。
缺乏公共服務與決策支持:缺少統(tǒng)計分析工具,難以實現(xiàn)數(shù)據的深度挖掘,缺乏對公眾的服務與對領導的導決策支持。
信息共享與交換難以實現(xiàn):各部門往往把數(shù)據當成自己的“私有財產”,造成數(shù)據的交換與共享難實現(xiàn)。
統(tǒng)計口徑不一致:由于數(shù)據相對分散,難以實現(xiàn)“一數(shù)一源”,數(shù)據統(tǒng)計口徑難以統(tǒng)一。
缺乏監(jiān)控與預測:由于數(shù)據分散且數(shù)據監(jiān)控的工具和制度缺失,難以實現(xiàn)對數(shù)據流向的監(jiān)控與預測。
2、大數(shù)據技術特征及優(yōu)勢分析:
大數(shù)據,是指大量的結構化和非結構化數(shù)據,在合理時間內通過擷取、管理、處理,最終整理成為幫助企業(yè)經營決策的能力。它具備大容量、高速度、多樣性和高價值四個特點。
大容量:數(shù)據體量大:對計算和存儲的要求,從TB級別,躍升到PB級別。
高速度:生成速度快:實時性,必須快速識別和快速響應才能適應業(yè)務需求。
多樣性:來源多:政府內部、互聯(lián)網、物聯(lián)網等;格式多:包括音頻、圖片等非結構化數(shù)據。
高價值:浪里淘沙卻又彌足珍貴,雖然價值密度較低,但是價值點比較高。大數(shù)據的熱潮帶來了創(chuàng)新的思維方式,通過解放生產者的思想,升級生產技術,改變生產方式,進而釋放了生產力。
決策思維:更加重視各類事物的關聯(lián)關系,不僅僅局限于因果關系;更加重視快速預測,立即采取行動而不是等一個精確的結論。
管理思維:數(shù)據使流程更加透明,有助于推動管理的扁平化,提升管理效率;數(shù)據使視野更為全局,有助于合理調配資源,提升管理效益。
服務思維:數(shù)據可以是一種服務,引導公眾的信息消費需求,換取民眾滿意度;數(shù)據可以是一種服務,以數(shù)據能力匯聚資源,決策領導支撐。
3、大數(shù)據平臺的戰(zhàn)略意義
政府部門為更好的實現(xiàn)政務公開,為領導決策和公眾服務,需要盡早布局大數(shù)據,明確大數(shù)據在單位信息化建設的戰(zhàn)略定位,以解“成本之壓”、釋“滿意度之困”,促“決策科學”。
4、大數(shù)據價值分析
相比較傳統(tǒng)分析方法,大數(shù)據分析有其獨特價值:海量數(shù)據挖掘,洞察更精準。
5、政府大數(shù)據平臺的規(guī)劃思路與目標
戰(zhàn)略目標:通過大數(shù)據匯聚、大數(shù)據轉化和大數(shù)據變現(xiàn)三個環(huán)節(jié)的處理,挖掘大數(shù)據資產的價值,對內可以提升精確營銷、精益管理和精準建設能力,對外可以提供豐富的信息數(shù)據產品服務,創(chuàng)造價值藍海。
發(fā)展策略:采集融合→統(tǒng)一建?!鷶?shù)據管理→能力服務→多樣應用→對外變現(xiàn)。
6、大數(shù)據核心要素
大數(shù)據應用架構:對內運營效率提升,對外面向數(shù)據開放,引入生態(tài)多樣化應用。
大數(shù)據平臺架構:逐層開放解耦、資源云化管理、數(shù)據服務能力沉淀解耦應用。
數(shù)據架構與存儲:以Hadoop為核心集中存儲、MPP等按需存儲、統(tǒng)一建模。
數(shù)據整合采集:整合B/O/M等多域數(shù)據、互聯(lián)網數(shù)據,實現(xiàn)數(shù)據統(tǒng)一采集,確保DWD邏輯層面一致性,減少冗余。