免费视频一区二区性色,国产精品夜色一区二区三区,天天做夜夜做久久做狠狠

大數(shù)據(jù)安全分析07_大數(shù)據(jù)存儲(chǔ)技術(shù)介紹

2021.04.29

鑒于網(wǎng)絡(luò)安全數(shù)據(jù)組成的復(fù)雜性、規(guī)模，以及對(duì)實(shí)時(shí)搜索響應(yīng)的需求，需要通過大數(shù)據(jù)存儲(chǔ)集群快速實(shí)現(xiàn)空間的擴(kuò)容，在PB級(jí)的安全數(shù)據(jù)中做到安全分析查詢的秒級(jí)響應(yīng)，同時(shí)需要為數(shù)據(jù)提供了冗余機(jī)制，保障數(shù)據(jù)的安全。

▼▼Hbase

Hbase是一個(gè)提供高可靠、高性能、可伸縮、實(shí)時(shí)讀寫、分布式的列式數(shù)據(jù)庫(kù)，主要用戶存儲(chǔ)非結(jié)構(gòu)化的松散數(shù)據(jù)。

Hbase與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的一個(gè)重要區(qū)別在于，它采用基于列的存儲(chǔ)，而后者采用基于行的存儲(chǔ)。

Hbase具有良好的橫向擴(kuò)展能力，可以通過不斷增加廉價(jià)的商用服務(wù)器從而提高存儲(chǔ)能力，也可以處理非常龐大的表。

HDFS為Hbase提供可靠的底層數(shù)據(jù)存儲(chǔ)服務(wù)，MapReduce為Hbase提供高性能的計(jì)算能力，Zookeeper為Hbase提供穩(wěn)定服務(wù)和Failover機(jī)制，因此我們說Hbase是一個(gè)通過大量廉價(jià)的機(jī)器解決海量數(shù)據(jù)的高速存儲(chǔ)和讀取的分布式數(shù)據(jù)庫(kù)解決方案。

Hbase適合存數(shù)據(jù)，但對(duì)于模糊匹配查詢不擅長(zhǎng)，且不適合高并發(fā)查詢，它比較適合的場(chǎng)景為：存數(shù)據(jù)量巨大（百T、PB級(jí)別），但查詢簡(jiǎn)單，數(shù)據(jù)不涉及到復(fù)雜關(guān)聯(lián)。

▼▼Mongo DB

MongoDB數(shù)據(jù)庫(kù)是一個(gè)高性能、非關(guān)系型的開源文檔型數(shù)據(jù)庫(kù)，在當(dāng)前分布式數(shù)據(jù)庫(kù)產(chǎn)品使用中最為流行。

MongoDB支持松散的數(shù)據(jù)結(jié)構(gòu)，使用文檔型的存儲(chǔ)方式，可以存放比較復(fù)雜的數(shù)據(jù)類型。

Mongo DB最大的特點(diǎn)是存儲(chǔ)的內(nèi)容是文檔型的，不需要固定的表結(jié)構(gòu)也可以對(duì)指定字段建立索引，實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)的功能。

由于MongoDB的數(shù)據(jù)結(jié)構(gòu)非常簡(jiǎn)單，所以它的讀寫性能也非常高，當(dāng)數(shù)據(jù)量達(dá)到50GB以上時(shí)，Mongo DB數(shù)據(jù)庫(kù)的訪問速度是My SQL數(shù)據(jù)庫(kù)的10倍以上。但是MongoDB存儲(chǔ)的數(shù)據(jù)量達(dá)到10億級(jí)別后，性能會(huì)有明顯的下降，除非另外分庫(kù)。

▼▼ElasticSearch

ElasticSearch和Hbase、MongoDB一樣，是非關(guān)系型數(shù)據(jù)庫(kù)。

ElasticSearch是基于全文搜索引擎(Lucene)構(gòu)建的開源、分布、RESTful搜索引擎，是優(yōu)秀的全文檢索和分析引擎。

ElasticSearch主要是基于高性能數(shù)據(jù)存儲(chǔ)系統(tǒng)構(gòu)建，集海量異構(gòu)數(shù)據(jù)分析處理、元數(shù)據(jù)提取、索引數(shù)據(jù)統(tǒng)一構(gòu)建管理、通用化檢索接口于一體，系統(tǒng)由分布式的全文搜索引擎和海量數(shù)據(jù)索引服務(wù)組成。

針對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行預(yù)處理解析后形成構(gòu)建索引的元數(shù)據(jù)，對(duì)元數(shù)據(jù)分析后，根據(jù)其特性形成索引映射機(jī)制，提取構(gòu)建索引結(jié)構(gòu)數(shù)據(jù)，并提供持久化機(jī)制。以統(tǒng)一的索引資源池為基礎(chǔ)，屏蔽異構(gòu)數(shù)據(jù)的復(fù)雜性，提供統(tǒng)一檢索服務(wù)。

ElasticSearch在解決大數(shù)據(jù)相關(guān)問題中有良好的表現(xiàn)，隨著日志事件搜索量的增加，搜索反應(yīng)時(shí)間不線性增加，說明基于ElasticSearch的大日志實(shí)時(shí)搜索的軟件集成方案設(shè)計(jì)具有可行性。

ElasticSearch是一個(gè)接近實(shí)時(shí)的搜索平臺(tái)，各項(xiàng)數(shù)據(jù)顯示ElasticSearch適合數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)中較其他軟件具有明顯的優(yōu)勢(shì)。

擴(kuò)展 · 本文相關(guān)鏈接

· 大數(shù)據(jù)安全分析06_數(shù)據(jù)解析技術(shù)

· 大數(shù)據(jù)安全分析05_數(shù)據(jù)采集技術(shù)

· 大數(shù)據(jù)安全分析04_數(shù)據(jù)傳輸方式

· 大數(shù)據(jù)安全分析03_數(shù)據(jù)采集對(duì)象與數(shù)據(jù)類型

· 大數(shù)據(jù)安全分析02_大數(shù)據(jù)安全分析技術(shù)框架

· 大數(shù)據(jù)安全分析01_為什么要用大數(shù)據(jù)技術(shù)進(jìn)行安全分析？

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊舉報(bào)。

打開APP，閱讀全文并永久保存查看更多類似文章

架構(gòu)師思維：選擇合適的數(shù)據(jù)存儲(chǔ)方案