首先把獲取的環(huán)境監(jiān)測(cè)數(shù)據(jù)通過導(dǎo)入程序?qū)氲紿DFS(分布式文件系統(tǒng))內(nèi),,此為預(yù)測(cè)分析的初始數(shù)據(jù)。環(huán)境監(jiān)測(cè)數(shù)據(jù)的分布式存儲(chǔ)架構(gòu)中主要有主節(jié)點(diǎn),、數(shù)據(jù)節(jié)點(diǎn),、數(shù)據(jù)塊,、客戶訪問節(jié)點(diǎn)、環(huán)境質(zhì)量數(shù)據(jù)獲取節(jié)點(diǎn)和環(huán)境監(jiān)測(cè)節(jié)點(diǎn)等,。HDFS的工作過程如下,。
1.當(dāng)有用戶(通過訪問節(jié)點(diǎn))提出查詢請(qǐng)求時(shí),,請(qǐng)求信息(包含查詢時(shí)間和地點(diǎn))被通過主(master)節(jié)點(diǎn)發(fā)送給各個(gè)從(slave)進(jìn)行處理,;主節(jié)點(diǎn)收集處理結(jié)果并返回給用戶。為了加快處理速度,,在實(shí)際使用中可以對(duì)環(huán)境質(zhì)量歷史數(shù)據(jù)進(jìn)行預(yù)處理,實(shí)現(xiàn)分類處理,,把分類信息保存在HDFS系統(tǒng)中,,這樣可以提高用戶的請(qǐng)求處理速度和結(jié)果返回速度。
2.若有環(huán)境監(jiān)測(cè)數(shù)據(jù)需要存儲(chǔ),,相關(guān)節(jié)點(diǎn)會(huì)向主節(jié)點(diǎn)提出存儲(chǔ)請(qǐng)求,,主節(jié)點(diǎn)選擇從節(jié)點(diǎn)并把存儲(chǔ)位置返回給請(qǐng)求存儲(chǔ)的節(jié)點(diǎn),,然后請(qǐng)求存儲(chǔ)節(jié)點(diǎn)就可以直接把環(huán)境監(jiān)測(cè)數(shù)據(jù)發(fā)送給分配的從節(jié)點(diǎn)進(jìn)行存儲(chǔ)。這其實(shí)是HDFS保存數(shù)據(jù)的標(biāo)準(zhǔn)流程,。
環(huán)境監(jiān)測(cè)數(shù)據(jù)的分布式存儲(chǔ)流程大致就是如此,,在整個(gè)數(shù)據(jù)存儲(chǔ)過程中,,HDFS發(fā)揮了很大作用。
掃碼加微信咨詢產(chǎn)品,、免費(fèi)報(bào)價(jià)
裕乾(4006569698,,xguv.cn)是一家智慧化系統(tǒng)集成軟硬件研發(fā)、銷售,、服務(wù)為主的高新技術(shù)企業(yè),。經(jīng)過多年發(fā)展,公司已成為智慧建筑,、智慧工業(yè),、智慧環(huán)保、智慧電力,、智慧水利、智慧農(nóng)業(yè)等領(lǐng)域,,具有自主研發(fā)能力,、自主知識(shí)產(chǎn)權(quán)與自主品牌一體化的先進(jìn)解決方案供應(yīng)商、系統(tǒng)集成綜合服務(wù)商,。