手機(jī)訪問(wèn)更快捷
更多流量 更易傳播
隨時(shí)掌握行業(yè)動(dòng)態(tài)
網(wǎng)絡(luò)課堂 行業(yè)直播
產(chǎn)品推薦:水表|流量計(jì)|壓力變送器|熱電偶|液位計(jì)|冷熱沖擊試驗(yàn)箱|水質(zhì)分析|光譜儀|試驗(yàn)機(jī)|試驗(yàn)箱
同類(lèi)產(chǎn)品
摘要:隨著社會(huì)經(jīng)濟(jì)和信息化的發(fā)展,物聯(lián)網(wǎng)服務(wù)平臺(tái)也得到了迅猛的發(fā)展,這也標(biāo)志著大數(shù)據(jù)技術(shù)時(shí)代接踵而來(lái),并且滲透到了我們生活中的各個(gè)方面,由于人們對(duì)于信息化服務(wù)的要求也在不斷提高,而大數(shù)據(jù)技術(shù)具有復(fù)雜性和多樣性的特點(diǎn),進(jìn)而物聯(lián)網(wǎng)服務(wù)平臺(tái)的發(fā)展就必須要有效借助大數(shù)據(jù)技術(shù)。本文分析了大數(shù)據(jù)技術(shù)以及物聯(lián)網(wǎng)服務(wù)平臺(tái)的含義,找出了兩者之間的關(guān)系,并對(duì)泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)的運(yùn)用進(jìn)行了探究。
關(guān)鍵詞:泛在電力物聯(lián)網(wǎng);大數(shù)據(jù)平臺(tái)
引言
建設(shè)泛在電力物聯(lián)網(wǎng),是國(guó)家電網(wǎng)有限公司推進(jìn)“三型兩網(wǎng)”建設(shè)的重要內(nèi)容和關(guān)鍵環(huán)節(jié)。而其中,如何構(gòu)建一個(gè)強(qiáng)大的數(shù)據(jù)平臺(tái),是加快推進(jìn)泛在電力物聯(lián)網(wǎng)建設(shè)的前提和基礎(chǔ)。
1大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用價(jià)值
現(xiàn)如今,物聯(lián)網(wǎng)的架構(gòu)主要包括:感知層、網(wǎng)絡(luò)層和應(yīng)用層。感知層能夠采集信息、識(shí)別物體等感知功能,從而形成大量數(shù)據(jù)。比如微博每天評(píng)論功能可以達(dá)到1.2億條評(píng)論,上傳新的短片和視頻近800萬(wàn)個(gè),將這樣龐大的數(shù)據(jù)的信息匯集在一起,能夠形成PB級(jí)別的數(shù)據(jù)量,物聯(lián)網(wǎng)產(chǎn)業(yè)憑借PB級(jí)別的數(shù)據(jù)量,能夠掌握消費(fèi)者的整體用戶細(xì)習(xí)慣。物聯(lián)網(wǎng)的網(wǎng)絡(luò)層能夠?qū)崿F(xiàn)數(shù)據(jù)信息的傳輸和交流,網(wǎng)絡(luò)層是基于感知層收集到的數(shù)據(jù),進(jìn)行分析、加工,挖掘用戶的喜好、習(xí)慣,從眾多的信息中找到共性,并對(duì)產(chǎn)品做出調(diào)整和優(yōu)化,來(lái)滿足不同用戶的需求,實(shí)現(xiàn)定制化服務(wù),而這也是物聯(lián)網(wǎng)應(yīng)用大數(shù)據(jù)技術(shù)的目的。從物聯(lián)網(wǎng)產(chǎn)業(yè)的角度來(lái)講,大數(shù)據(jù)技術(shù)可以為物聯(lián)網(wǎng)提供從客戶到?jīng)Q策方面的各類(lèi)商業(yè)信息,進(jìn)而促使物聯(lián)網(wǎng)產(chǎn)業(yè)不斷發(fā)展。
2大數(shù)據(jù)與物聯(lián)網(wǎng)的關(guān)系
2.1大數(shù)據(jù)豐富物聯(lián)網(wǎng)應(yīng)用
大數(shù)據(jù)發(fā)展下的物聯(lián)網(wǎng),讓大數(shù)據(jù)的價(jià)值得到了很好的體現(xiàn),在物聯(lián)網(wǎng)技術(shù)應(yīng)用中,通過(guò)搭建遙感勘測(cè)、智能建筑、智能運(yùn)輸、檢測(cè)保護(hù)等信息手段,收集大數(shù)據(jù),然后對(duì)收集的數(shù)據(jù)進(jìn)行分析,把有用的數(shù)據(jù)篩選出來(lái)形成有價(jià)值以及有用的信息,實(shí)現(xiàn)其作用。一家頂級(jí)汽車(chē)公司,通過(guò)使用遙感技術(shù)來(lái)識(shí)別車(chē)主的身份,該技術(shù)可以有效記憶車(chē)主的重量、開(kāi)車(chē)姿勢(shì)等一系列的信息,如果出現(xiàn)和這些數(shù)據(jù)不吻合的人駕駛車(chē)輛,傳感器就會(huì)把信息反饋給車(chē)主,避免車(chē)輛被盜。大數(shù)據(jù)技術(shù)是物聯(lián)網(wǎng)中的技術(shù)手段,不僅僅是收集各種數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行分析處理以后,找出問(wèn)題來(lái)完善物聯(lián)網(wǎng)系統(tǒng),它也使得物聯(lián)網(wǎng)的應(yīng)用更加的豐富多彩。
2.2物聯(lián)網(wǎng)促進(jìn)大數(shù)據(jù)
我們目前正處于大數(shù)據(jù)時(shí)代,物聯(lián)網(wǎng)的發(fā)展,產(chǎn)生數(shù)據(jù)的終端由PC向包含PC在內(nèi)的智能手機(jī),平板電腦等多樣化的終端,以及利用各行業(yè)、各領(lǐng)域的感知設(shè)備,快速入網(wǎng)并且匯總在一起,物聯(lián)網(wǎng)中傳感器把各種各樣的信息轉(zhuǎn)化成電信號(hào),然后利用網(wǎng)絡(luò)輸送到上層應(yīng)用系統(tǒng),物聯(lián)網(wǎng)在很短的時(shí)間內(nèi)就能夠產(chǎn)生大量的信息,在物聯(lián)網(wǎng)上,進(jìn)而產(chǎn)生大量的數(shù)據(jù)。大量的非結(jié)構(gòu)化的數(shù)據(jù)快速增長(zhǎng)的趨勢(shì)已經(jīng)在悄然形成。然而這些數(shù)據(jù)的增長(zhǎng)并不是線性的,它是隨著越來(lái)越多的傳感器的研究、制造、使用,數(shù)據(jù)量會(huì)產(chǎn)生一種不可阻擋的指數(shù)性增長(zhǎng)趨勢(shì)。
3構(gòu)建相適應(yīng)的大數(shù)據(jù)平臺(tái)
隨著泛在電力物聯(lián)網(wǎng)的加快建設(shè),現(xiàn)有的互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)平臺(tái)將遇到巨大的挑戰(zhàn),因?yàn)殡娏?shù)據(jù)規(guī)模將增加幾個(gè)數(shù)量級(jí),數(shù)據(jù)分析的量也更多,實(shí)時(shí)性要求也更高。因此,需要進(jìn)一步加大信息技術(shù)的創(chuàng)新力度,構(gòu)建和完善適應(yīng)泛在電力物聯(lián)網(wǎng)建設(shè)需求的大數(shù)據(jù)平臺(tái)。
這個(gè)新一代的大數(shù)據(jù)平臺(tái),要有以下幾個(gè)特點(diǎn):充分利用泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)特點(diǎn),在技術(shù)上做各種優(yōu)化,大幅度提高數(shù)據(jù)插入、查詢的性能,降低電網(wǎng)運(yùn)營(yíng)成本;必須能實(shí)時(shí)處理各種數(shù)據(jù)插入、查詢請(qǐng)求,提升電網(wǎng)運(yùn)行效率;必須是水平擴(kuò)展的,隨著數(shù)據(jù)量的增加,只需要增加服務(wù)器擴(kuò)容即可;支持邊緣計(jì)算與云計(jì)算的邊緣協(xié)同;必須是易于維護(hù)的,降低對(duì)運(yùn)維人員的要求;必須是開(kāi)放的,有業(yè)界流行的標(biāo)準(zhǔn)SQL接口,便于各種應(yīng)用集成;必須通過(guò)Python、R或其他接口來(lái)方便集成各種機(jī)器學(xué)習(xí)、人工智能算法。
當(dāng)前,國(guó)內(nèi)外諸多互聯(lián)網(wǎng)企業(yè)已經(jīng)注意到物聯(lián)網(wǎng)興起后,傳統(tǒng)的大數(shù)據(jù)技術(shù)正面臨新的考驗(yàn)和挑戰(zhàn),并開(kāi)始著手研發(fā)新一代大數(shù)據(jù)平臺(tái)。相信隨著泛在電力物聯(lián)網(wǎng)建設(shè)不斷加快,必將構(gòu)建新一代的能源電力大數(shù)據(jù)平臺(tái),從而進(jìn)一步挖掘和利用好電網(wǎng)的數(shù)據(jù)資源,提升電網(wǎng)運(yùn)營(yíng)的效率和效益,保障電網(wǎng)安全穩(wěn)定運(yùn)行,為社會(huì)提供新的應(yīng)用和服務(wù)。
4泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)量將大幅增加
電力行業(yè)歷來(lái)重視數(shù)據(jù)和信息技術(shù),從上世紀(jì)80年代起,就采用實(shí)時(shí)數(shù)據(jù)庫(kù)處理發(fā)電以及電網(wǎng)采集的各種數(shù)據(jù)。但隨著電網(wǎng)規(guī)模的擴(kuò)大,數(shù)據(jù)采集量的大幅增加,傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)和IT架構(gòu)已經(jīng)無(wú)法滿足海量數(shù)據(jù)的處理需求。最近幾年,電力行業(yè)開(kāi)始采用互聯(lián)網(wǎng)行業(yè)的大數(shù)據(jù)平臺(tái)技術(shù),最典型的就是將Kafka、Hadoop、HBase、Spark、Redis等技術(shù)集成在一起處理海量數(shù)據(jù)。比如智能電表的用電信息采集系統(tǒng)、電費(fèi)的計(jì)算等,都采用這類(lèi)方案。
從配網(wǎng)的情況來(lái)看,即使采集點(diǎn)和采集頻率不顯著增加,但以D5000、CC2000為代表的主流產(chǎn)品,受限于歷史數(shù)據(jù)處理能力,依然只能?chē)@實(shí)時(shí)采集數(shù)據(jù)、歷史斷面數(shù)據(jù)構(gòu)建應(yīng)用,拓?fù)浞治黾夹g(shù)無(wú)法在時(shí)間維度縱向擴(kuò)展。
電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)(SCADA)作為物聯(lián)網(wǎng)的一部分,不但要看實(shí)時(shí)數(shù)據(jù),還需要看歷史數(shù)據(jù),不單需要實(shí)時(shí)監(jiān)控,更需要故障預(yù)警、趨勢(shì)分析、運(yùn)營(yíng)指標(biāo)分析、效率分析等。通過(guò)快速存取、分析高頻采集數(shù)據(jù),將為電網(wǎng)的安全高效運(yùn)行提供更精準(zhǔn)的數(shù)據(jù)決策支撐。
另一方面,泛在電力物聯(lián)網(wǎng)與通用的物聯(lián)網(wǎng)一樣,不僅會(huì)存在云端的數(shù)據(jù)中心,也會(huì)存在邊緣節(jié)點(diǎn)。這些邊緣節(jié)點(diǎn)具備一定的計(jì)算和存儲(chǔ)能力,能進(jìn)行數(shù)據(jù)的預(yù)處理和緩存,大幅緩解數(shù)據(jù)中心平臺(tái)的壓力,而且能更好地保證邊緣節(jié)點(diǎn)覆蓋的區(qū)域有更好的數(shù)據(jù)實(shí)時(shí)響應(yīng)能力,更好地支撐本地業(yè)務(wù)實(shí)時(shí)智能化決策與執(zhí)行。但是邊緣計(jì)算與云計(jì)算需要通過(guò)緊密協(xié)同才能更好地滿足各種需求場(chǎng)景的匹配,從而邊緣計(jì)算和云計(jì)算的應(yīng)用價(jià)值。
采集點(diǎn)的增加和采集頻次提高,能帶來(lái)什么樣的效益呢?以智能電表為例,如果將所有電表的數(shù)據(jù)采集頻次提高到1次/15分鐘,電網(wǎng)將實(shí)現(xiàn)對(duì)每個(gè)臺(tái)區(qū)線損的實(shí)時(shí)監(jiān)測(cè),而不是現(xiàn)在的T-1模式,從而對(duì)異常線損實(shí)時(shí)處理。同時(shí),對(duì)輸電線路故障實(shí)時(shí)監(jiān)測(cè),再也無(wú)需客戶上報(bào),大大提升運(yùn)維效率和服務(wù)質(zhì)量。
以Hadoop體系為代表的互聯(lián)網(wǎng)大數(shù)據(jù)解決方案,主要處理的是互聯(lián)網(wǎng)領(lǐng)域的非結(jié)構(gòu)化數(shù)據(jù),比如爬蟲(chóng)數(shù)據(jù)、微博與微信數(shù)據(jù)等。但是,泛在電力物聯(lián)網(wǎng)的數(shù)據(jù)與互聯(lián)網(wǎng)數(shù)據(jù)有顯著不同的特點(diǎn),表現(xiàn)在幾個(gè)方面:數(shù)據(jù)都是時(shí)序的,由傳感器和設(shè)備不斷產(chǎn)生,形成一個(gè)數(shù)據(jù)流;除視頻、圖像外,都是結(jié)構(gòu)化的數(shù)據(jù);數(shù)據(jù)是機(jī)器日志類(lèi)型的,不會(huì)有刪除或更新的動(dòng)作;數(shù)據(jù)是有保留時(shí)長(zhǎng)的,到期刪除;數(shù)據(jù)流量是平穩(wěn)可預(yù)測(cè),知道測(cè)點(diǎn)數(shù)、采集頻率,能較為準(zhǔn)確估算流量大小;數(shù)據(jù)需要進(jìn)行實(shí)時(shí)計(jì)算、分析;數(shù)據(jù)的分析、計(jì)算一般都是基于某一個(gè)時(shí)間段和地域進(jìn)行;數(shù)據(jù)量巨大,一天產(chǎn)生幾百億條記錄。
除數(shù)據(jù)特征不一樣之外,在數(shù)據(jù)處理上,泛在電力物聯(lián)網(wǎng)與典型的互聯(lián)網(wǎng)相比,還有不一樣的需求。比如插值計(jì)算、數(shù)學(xué)函數(shù)計(jì)算以及某個(gè)具體時(shí)間點(diǎn)的斷面數(shù)據(jù)等。而且這些數(shù)據(jù)的處理往往與采集設(shè)備的管理直接掛鉤,需要依據(jù)采集設(shè)備的歸屬、地域以及其他屬性進(jìn)行各種分類(lèi)統(tǒng)計(jì)。
結(jié)語(yǔ)
綜上所述,大數(shù)據(jù)技術(shù)在現(xiàn)代的生產(chǎn)生活中的應(yīng)用十分廣泛,而其在物聯(lián)中的應(yīng)用還處于比較初級(jí)的階段,需要研究者對(duì)其進(jìn)行不斷地研究,促進(jìn)大數(shù)據(jù)技術(shù)的發(fā)展,從而提高大數(shù)據(jù)在電力物聯(lián)網(wǎng)中的應(yīng)用價(jià)值。
參考文獻(xiàn):
[1]張亞飛,閻東.大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)產(chǎn)業(yè)中的應(yīng)用分析[J].通訊世界,2018(1).
[2]段為.大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)服務(wù)平臺(tái)中的應(yīng)用[J].電信工程技術(shù)與標(biāo)準(zhǔn)化,2016,29(2):8-13.
相關(guān)產(chǎn)品
免責(zé)聲明
客服熱線: 15024464426
加盟熱線: 15024464426
媒體合作: 0571-87759945
投訴熱線: 0571-87759942
下載儀表站APP
Ybzhan手機(jī)版
Ybzhan公眾號(hào)
Ybzhan小程序