建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
我經(jīng)常接觸數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的需求，而現(xiàn)有的大數(shù)據(jù)系統(tǒng)也希望基于大數(shù)據(jù)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，然而Hadoop為核心發(fā)展起來(lái)的軟件適用于OLAP的數(shù)據(jù)分析需求，OLTP這樣的分布式數(shù)據(jù)庫(kù)系統(tǒng)也如火如荼的發(fā)展。
成都創(chuàng)新互聯(lián)長(zhǎng)期為上千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為巴南企業(yè)提供專(zhuān)業(yè)的網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)，巴南網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
在企業(yè)數(shù)據(jù)信息數(shù)據(jù)整合過(guò)程中，往往都是不同數(shù)據(jù)源放到不同的數(shù)據(jù)庫(kù)系統(tǒng)中，沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范化建設(shè)，跨部門(mén)進(jìn)行數(shù)據(jù)協(xié)作，打破數(shù)據(jù)孤島無(wú)法實(shí)現(xiàn)。
分布式系統(tǒng)，幫助解決這些問(wèn)題，我們真正深入了解數(shù)據(jù)價(jià)值的人都知道，建設(shè)統(tǒng)一的數(shù)據(jù)中心，數(shù)據(jù)倉(cāng)庫(kù)，整合行業(yè)數(shù)據(jù)可以進(jìn)行多種維度的數(shù)據(jù)分析，數(shù)據(jù)驅(qū)動(dòng)決策，幫助企業(yè)創(chuàng)新。目前在金融、電商、廣告等行業(yè)已經(jīng)大規(guī)模利用新技術(shù)取得了不菲的成績(jī)。
今天，企業(yè)級(jí)數(shù)據(jù)分析平臺(tái)發(fā)生了很大的變化。
發(fā)生什么了?
那么，對(duì)于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，你有各種各樣的數(shù)據(jù)來(lái)源。您正在收集、清洗和整合數(shù)據(jù)，以便您可以將其呈現(xiàn)在您的數(shù)據(jù)倉(cāng)庫(kù)中，進(jìn)行統(tǒng)計(jì)分析、預(yù)測(cè)分析、商業(yè)智能和其他工作。
好吧，隨著時(shí)間的推移，現(xiàn)在變得更加復(fù)雜了。
我們有云、有移動(dòng)設(shè)備、社交媒體數(shù)據(jù)、機(jī)器數(shù)據(jù)、傳感器數(shù)據(jù)。越來(lái)越多的數(shù)據(jù)來(lái)源，數(shù)據(jù)爆發(fā)式增長(zhǎng)，非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)。
有大量的關(guān)于大數(shù)據(jù)介紹中，你會(huì)看到幻燈片談?wù)撃仨毺幚鞵B級(jí)數(shù)據(jù)量，才能利用上這些新的數(shù)據(jù)分析技術(shù)。但是對(duì)我來(lái)說(shuō)，這是沒(méi)有抓住重點(diǎn)。
數(shù)據(jù)倉(cāng)庫(kù)真正的意義是什么?為什么企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)支出不斷增加。這是因?yàn)椴皇菙?shù)據(jù)量和速度問(wèn)題。隨著發(fā)展，我們只需要增加硬件就能增加我們數(shù)據(jù)處理的規(guī)模，這才是分布式系統(tǒng)的強(qiáng)大之處。
萬(wàn)物互聯(lián)的時(shí)代，隨著數(shù)據(jù)的多樣性和異質(zhì)性從而增加數(shù)據(jù)分析的復(fù)雜性。我們的需求是關(guān)聯(lián)和整合這些數(shù)據(jù)。但是，我們現(xiàn)有的數(shù)據(jù)分析工具，Hadoop或Spark并沒(méi)有帶來(lái)任何神器的解決方案。我們?nèi)匀辉谂鉀Q同樣的問(wèn)題：如何從不同的渠道獲取數(shù)據(jù)、然后將他們關(guān)聯(lián)起來(lái)，這樣企業(yè)可以讓數(shù)據(jù)說(shuō)話，數(shù)據(jù)驅(qū)動(dòng)決策。為了解決這些問(wèn)題，我們需要依賴(lài)更多新的工具。
數(shù)據(jù)倉(cāng)庫(kù)的演變
利用新技術(shù)，使我們能更好的解決實(shí)際業(yè)務(wù)問(wèn)題。
那么，我們來(lái)看看不同的技術(shù)，是如何幫助我們解決與數(shù)據(jù)相關(guān)的需求，為業(yè)務(wù)提供數(shù)據(jù)支撐。
OLAP場(chǎng)景的Hadoop解決方案，OLTP場(chǎng)景的NewSQL解決方案。
流水線式的數(shù)據(jù)分析
我們看到一個(gè)有趣的現(xiàn)象，每個(gè)公司幾乎都建立了一個(gè)數(shù)據(jù)流水線，隨著新數(shù)據(jù)的進(jìn)入，他們利用NoSQL數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)文檔數(shù)據(jù)。就像是一個(gè)無(wú)線容量的數(shù)據(jù)庫(kù)，擁有很好的擴(kuò)展性，并且還能進(jìn)行大數(shù)據(jù)量的高速查詢(xún)和搜索。
我們可以看到很多大規(guī)模使用MongoDB、Hbase、cassandra數(shù)據(jù)庫(kù)，還有NewSQL的發(fā)展。
隨著數(shù)據(jù)多樣性的出現(xiàn)，出現(xiàn)了很多新型的數(shù)據(jù)庫(kù)。
新型數(shù)據(jù)分析需求
越來(lái)越高的數(shù)據(jù)分析需求和數(shù)據(jù)多樣性的探索，導(dǎo)致了數(shù)據(jù)庫(kù)系統(tǒng)的蓬勃發(fā)展，國(guó)產(chǎn)數(shù)據(jù)庫(kù)也有了非常大的進(jìn)步可以進(jìn)入國(guó)際***的數(shù)據(jù)庫(kù)會(huì)議發(fā)表論文，2017年騰訊的開(kāi)源項(xiàng)目VLDB也發(fā)文了，而做為去IOE發(fā)起者的阿里在云端阿里云也如火如荼的發(fā)展數(shù)據(jù)庫(kù)服務(wù)，比如：PolarDB、螞蟻金服金融級(jí)數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)OceanBase都是黑科技級(jí)別的產(chǎn)品。為了在云端兼顧OLTP和OLAP的數(shù)據(jù)分析引擎，各大云廠商阿里云、騰訊云、XX云都使勁的推廣各自的數(shù)據(jù)庫(kù)技術(shù)，也采取與開(kāi)源數(shù)據(jù)庫(kù)廠商廣泛合作的方式。
底層數(shù)據(jù)庫(kù)系統(tǒng)，特別是NewSQL幾大巨頭也有有在長(zhǎng)期招聘相關(guān)職位?？梢?jiàn)目前分布式OLTP/OLAP數(shù)據(jù)庫(kù)發(fā)展的勢(shì)頭，必然是與Cloud相結(jié)合，也只有云化才有機(jī)會(huì)大把撈金，不然開(kāi)源數(shù)據(jù)庫(kù)這樣的生態(tài)下，底層基礎(chǔ)軟件出路在何方?
Analytic DB 的發(fā)展
我們列表 RDBMS -> MPP -> HADOOP -> NOSQL -> NEWSQL 主流的系統(tǒng)，根據(jù)我接觸過(guò)的公司或產(chǎn)品來(lái)列舉，個(gè)人認(rèn)知有限，如未能列表全面，歡迎補(bǔ)充。
RDBMS
MPP
Hadoop Ecosystem
NoSQL
NewSQL
雖然NoSQL因其性能、可伸縮性與可用性而廣受贊譽(yù)，但其開(kāi)發(fā)與數(shù)據(jù)重構(gòu)的工作量要大于SQL存儲(chǔ)。因此，有些人開(kāi)始轉(zhuǎn)向了NewSQL，它將NoSQL的優(yōu)勢(shì)與SQL的能力結(jié)合了起來(lái)。
- OLAP場(chǎng)景做到***的Hadoop生態(tài)。
- OLTP場(chǎng)景的NewSQL數(shù)據(jù)庫(kù)的發(fā)展。
文章標(biāo)題：數(shù)據(jù)倉(cāng)庫(kù)：過(guò)去、現(xiàn)在和未來(lái)
標(biāo)題路徑：http://m.fisionsoft.com.cn/article/cdiejdp.html
