新聞中心
在現(xiàn)代企業(yè)信息化建設(shè)領(lǐng)域中,數(shù)據(jù)一直是其中最為核心的資產(chǎn)之一。而為了滿足不同業(yè)務(wù)場景下的不同需求,經(jīng)常會(huì)引入多種不同的數(shù)據(jù)庫,使得企業(yè)的數(shù)據(jù)存儲(chǔ)環(huán)境變得十分復(fù)雜和異構(gòu)。如何有效地管理和使用這些異構(gòu)的數(shù)據(jù)庫已經(jīng)成為了眾多企業(yè)管理者和DBA面臨的重要挑戰(zhàn)之一。tddl數(shù)據(jù)庫異構(gòu)性是一種解決多種數(shù)據(jù)庫兼容問題的技術(shù),本文將對(duì)TDDL數(shù)據(jù)庫異構(gòu)性進(jìn)行詳細(xì)的介紹和分析。

創(chuàng)新互聯(lián)專注于高唐網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供高唐營銷型網(wǎng)站建設(shè),高唐網(wǎng)站制作、高唐網(wǎng)頁設(shè)計(jì)、高唐網(wǎng)站官網(wǎng)定制、小程序設(shè)計(jì)服務(wù),打造高唐網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供高唐網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
一、TDDL數(shù)據(jù)庫異構(gòu)性的定義
TDDL(Taobao Distributed Data Layer)是阿里巴巴集團(tuán)的開源數(shù)據(jù)庫中間件,是一種輕量級(jí)、高性能、可擴(kuò)展的分庫分表解決方案。TDDL數(shù)據(jù)庫異構(gòu)性是指TDDL在支持MySQL、Oracle、SqlServer等多種數(shù)據(jù)庫的同時(shí),可以實(shí)現(xiàn)這些不同類別的數(shù)據(jù)庫之間的無縫兼容,大大降低了跨種類數(shù)據(jù)庫訪問的難度和復(fù)雜性。
通過TDDL分庫分表可以水平擴(kuò)展表數(shù)據(jù),自動(dòng)管理分庫分表的邏輯,降低數(shù)據(jù)處理的成本。同時(shí),TDDL提供了數(shù)據(jù)源路由和可插拔式的數(shù)據(jù)源適配器,支持多種數(shù)據(jù)源,這些特性能夠很好的解決異構(gòu)數(shù)據(jù)庫帶來的兼容性問題。
在具體應(yīng)用中,用戶可以將TDDL與各種ORM框架(如MyBatis、Hibernate等)相結(jié)合,通過ORM框架的SQL語句來操作數(shù)據(jù)庫,而TDDL則負(fù)責(zé)對(duì)SQL進(jìn)行解析、路由、日志打印等操作,避免了手動(dòng)多數(shù)據(jù)源的麻煩。
二、TDDL數(shù)據(jù)庫異構(gòu)性的優(yōu)勢
1. 降低系統(tǒng)的復(fù)雜度
TDDL的異構(gòu)性可以幫助企業(yè)降低多個(gè)異類數(shù)據(jù)庫的管理難度,減少數(shù)據(jù)庫帶來的管理復(fù)雜度,提高系統(tǒng)的可維護(hù)性和穩(wěn)定性。
2. 支持分庫分表,強(qiáng)大的擴(kuò)展性
TDDL支持分庫分表,可以將數(shù)據(jù)分散到不同的存儲(chǔ)節(jié)點(diǎn),同時(shí)提供waterfall/sharding兩種分表算法,而且可以根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整分庫分表配置,這使得系統(tǒng)具有強(qiáng)大的可擴(kuò)展性。
3. 路由規(guī)則自定義,高性能的數(shù)據(jù)讀取
TDDL支持按照一定規(guī)則自定義路由規(guī)則,并采用對(duì)數(shù)據(jù)讀取進(jìn)行分片的方式,可以實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速訪問。另外,TDDL還支持讀寫分離,可以根據(jù)負(fù)載情況自行切換主備庫,提高系統(tǒng)的讀寫性能。
三、TDDL數(shù)據(jù)庫異構(gòu)性的應(yīng)用
TDDL適用于具有數(shù)據(jù)庫異構(gòu)性的中大型企業(yè)和應(yīng)用系統(tǒng),不僅兼容多種不同類型的數(shù)據(jù)庫,又支持強(qiáng)大的分庫分表功能和路由規(guī)則自定義,可以實(shí)現(xiàn)高性能、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)和管理。
TDDL的典型應(yīng)用場景包括:
1. 異構(gòu)數(shù)據(jù)庫的混合應(yīng)用
許多企業(yè)在不同的業(yè)務(wù)中會(huì)使用不同類型的數(shù)據(jù)庫,比如Oracle、MySQL、SQLserver等,此時(shí),TDDL通過路由規(guī)則的定制和數(shù)據(jù)源適配器的靈活應(yīng)用,可以實(shí)現(xiàn)這些不同數(shù)據(jù)庫之間的混合應(yīng)用,從而解決數(shù)據(jù)庫兼容問題,提高系統(tǒng)的可靠性和穩(wěn)定性。
2. 分庫分表的存儲(chǔ)和數(shù)據(jù)管理
在數(shù)據(jù)量極大的應(yīng)用系統(tǒng)中,數(shù)據(jù)存儲(chǔ)和管理往往成為性能瓶頸,此時(shí),TDDL可以通過路由規(guī)則來將數(shù)據(jù)分散到不同的節(jié)點(diǎn)上,實(shí)現(xiàn)分庫分表和數(shù)據(jù)管理,從而提高系統(tǒng)的性能和穩(wěn)定性,以及數(shù)據(jù)的可擴(kuò)展性。
3. 高可用性和冗余性的維護(hù)
TDDL支持讀寫分離,可根據(jù)負(fù)載情況自行切換主備庫,從而實(shí)現(xiàn)高可用性和冗余性的維護(hù),提高系統(tǒng)的穩(wěn)定性和可靠性。
四、TDDL數(shù)據(jù)庫異構(gòu)性的使用前提
1. 跨異種數(shù)據(jù)庫的需求
使用TDDL的前提是存在多種不同類別的數(shù)據(jù)庫需求,從而需要跨異種數(shù)據(jù)庫的引用。
2. 大數(shù)據(jù)量的存儲(chǔ)和管理
TDDL的分庫分表適用于大數(shù)據(jù)量的存儲(chǔ)和管理,因此需要存儲(chǔ)和管理的數(shù)據(jù)量較大,且數(shù)據(jù)規(guī)??焖僭鲩L。
3. 系統(tǒng)中使用ORM框架
TDDL主要配合ORM框架使用,需要系統(tǒng)中使用ORM框架并對(duì)自定義路由規(guī)則、數(shù)據(jù)源適配器和三層架構(gòu)等有深入的理解。
五、TDDL數(shù)據(jù)庫異構(gòu)性的未來
TDDL數(shù)據(jù)庫異構(gòu)性可以解決多種異構(gòu)數(shù)據(jù)庫兼容性問題,從而提高系統(tǒng)的性能和可靠性。在未來,TDDL將會(huì)繼續(xù)加強(qiáng)功能個(gè)性化定制和面向云計(jì)算、大數(shù)據(jù)、等創(chuàng)新應(yīng)用的支持能力,使得TDDL的應(yīng)用場景更加廣泛,性能更加優(yōu)越。
TDDL數(shù)據(jù)庫異構(gòu)性是實(shí)現(xiàn)多種異構(gòu)數(shù)據(jù)庫兼容的一種解決方案。在實(shí)際應(yīng)用中,通過TDDL可以方便地進(jìn)行分庫分表、路由規(guī)則匹配和數(shù)據(jù)源適配等操作,從而提高系統(tǒng)的可擴(kuò)展性和可維護(hù)性,同時(shí)實(shí)現(xiàn)數(shù)據(jù)的高性能存儲(chǔ)和管理。未來,隨著云計(jì)算、大數(shù)據(jù)和等新技術(shù)的推廣和應(yīng)用,TDDL的應(yīng)用前景將更加廣泛,帶來更加優(yōu)越的性能和效果。
相關(guān)問題拓展閱讀:
- mysql中間件有哪些
- 阿里巴巴采用自己研發(fā)的分布式數(shù)據(jù)庫系統(tǒng)叫什么,它有哪些特點(diǎn)
mysql中間件有哪些
mysql-proxy是官方提供的mysql中間件產(chǎn)品可以實(shí)現(xiàn)負(fù)載平衡,讀寫分離,failover等,但其不支持大數(shù)據(jù)量的分庫分表且性能較差。下面介紹幾款能代替其的mysql開源中間件產(chǎn)品,Atlas,cobar,tddl,讓我們看看它們各自有些什么優(yōu)點(diǎn)和新特性吧。
Atlas
Atlas是由 Qihoo 360, Web平臺(tái)部基礎(chǔ)架構(gòu)行喊兆團(tuán)隊(duì)開發(fā)維護(hù)的一個(gè)基于MySQL協(xié)議的數(shù)據(jù)中間層項(xiàng)目。它是在mysql-proxy 0.8.2版本的基礎(chǔ)上,對(duì)其進(jìn)行了優(yōu)化,增加了一些新的功能特性。360內(nèi)部使用Atlas運(yùn)行的mysql業(yè)務(wù),每天承載的讀寫請(qǐng)求數(shù)達(dá)幾十億條。
Altas架構(gòu):
Atlas是一個(gè)位于應(yīng)用程序與MySQL之間,它實(shí)現(xiàn)了MySQL的客戶端與服務(wù)端協(xié)議,作為服務(wù)端與應(yīng)用程序通訊,同時(shí)作為客戶端與MySQL通訊。它對(duì)應(yīng)用程序屏蔽了DB的細(xì)節(jié),同時(shí)為了降低MySQL負(fù)擔(dān),它還維護(hù)了連接池。
以下是一個(gè)可以參考的整體架構(gòu),LVS前端做負(fù)載均衡,兩個(gè)Altas做HA,防止單點(diǎn)故障。
Altas的一些新特性:
1.主庫宕機(jī)不影響讀
主庫宕機(jī),Atlas自動(dòng)將宕機(jī)的主庫摘除,寫操作會(huì)失敗,讀操作不受影響。從庫宕機(jī),Atlas自動(dòng)將宕機(jī)的從庫摘除,對(duì)應(yīng)用沒有影響。在mysql官方的proxy中主庫宕機(jī),從庫亦不可用。
2.通過管理接口,簡化管理工作,DB的上下線對(duì)應(yīng)用完全透明,同時(shí)可以手動(dòng)上下線。
3.自己實(shí)現(xiàn)讀寫分離
(1)為了解決讀寫分離存在寫完馬上就想讀而這時(shí)可能存在主從同步延遲的情況,Altas中可以在SQL語句前增加 /*master*/ 就可以將讀請(qǐng)求強(qiáng)制發(fā)往主庫。
主庫可設(shè)置多項(xiàng),用逗號(hào)分隔,從庫可設(shè)置多項(xiàng)和權(quán)重,達(dá)到負(fù)載均衡。
4.自己實(shí)現(xiàn)分表
(1)需帶有分表字段。
(2)支持SELECT、INSERT、UPDATE、DELETE、REPLACE語句。
(3)支持多個(gè)子表查詢結(jié)果的合并和排序。
這里不得不吐槽Atlas的分表功能,不能實(shí)現(xiàn)分布式分表,所有的子表必須在同一臺(tái)DB的同一個(gè)database里且所有的子表必須事先建好,Atlas沒有自動(dòng)建表的功能。
5.之前官方滲褲主要功能邏輯由使用lua腳本編寫,效率低,Atlas用C改寫,QPS提高,latency降低。
6.安全方面的提升
(1)通過配置文件中的pwds參數(shù)進(jìn)行連接Atlas的用戶的權(quán)限控制。
(2)通過client-ips參數(shù)對(duì)有權(quán)限連接Atlas的ip進(jìn)行過濾。
(3)日志中記錄所有通過Altas處理的SQL語句,包括客戶端IP、實(shí)際執(zhí)行該語句的DB、執(zhí)行成功與否、執(zhí)行所耗費(fèi)的時(shí)間 ,如下面例子。
圖4
7.平滑重啟
通過配置文件中設(shè)置lvs-ips參數(shù)實(shí)現(xiàn)平滑重啟功能,否則重啟Altas的瞬間那些SQL請(qǐng)求都會(huì)失敗。該參數(shù)前面掛接的lvs的物理網(wǎng)卡的ip,注意不是虛ip。平滑重啟的條件是至少有兩臺(tái)配置相同的Atlas且掛在lvs之后。
source:
alibaba.cobar
Cobar是阿里巴巴(B2B)部門開發(fā)的一種關(guān)系型數(shù)據(jù)的分布式處理系統(tǒng),它可以在分布式的環(huán)境下看上去像傳統(tǒng)數(shù)據(jù)庫一樣為您提供海量數(shù)據(jù)服務(wù)。那么具體說說我們?yōu)槭裁匆盟?,或說cobar–能干什么?以下是我們業(yè)務(wù)運(yùn)行中會(huì)存在的一些問題:
1.隨著業(yè)務(wù)檔租的進(jìn)行數(shù)據(jù)庫的數(shù)據(jù)量和訪問量的劇增,需要對(duì)數(shù)據(jù)進(jìn)行水平拆分來降低單庫的壓力,而且需要高效且相對(duì)透明的來屏蔽掉水平拆分的細(xì)節(jié)。
2.為提高訪問的可用性,數(shù)據(jù)源需要備份。
3.數(shù)據(jù)源可用性的檢測和failover。
4.前臺(tái)的高并發(fā)造成后臺(tái)數(shù)據(jù)庫連接數(shù)過多,降低了性能,怎么解決。
針對(duì)以上問題就有了cobar施展自己的空間了,cobar中間件以proxy的形式位于前臺(tái)應(yīng)用和實(shí)際數(shù)據(jù)庫之間,對(duì)前臺(tái)的開放的接口是mysql通信協(xié)議。將前臺(tái)SQL語句變更并按照數(shù)據(jù)分布規(guī)則轉(zhuǎn)發(fā)到合適的后臺(tái)數(shù)據(jù)分庫,再合并返回結(jié)果,模擬單庫下的數(shù)據(jù)庫行為。
Cobar應(yīng)用舉例
應(yīng)用架構(gòu):
應(yīng)用介紹:
1.通過Cobar提供一個(gè)名為test的數(shù)據(jù)庫,其中包含t1,t2兩張表。后臺(tái)有3個(gè)MySQL實(shí)例(ip:port)為其提供服務(wù),分別為:A,B,C。
2.期望t1表的數(shù)據(jù)放置在實(shí)例A中,t2表的數(shù)據(jù)水平拆成四份并在實(shí)例B和C中各自放兩份。t2表的數(shù)據(jù)要具備HA功能,即B或者C實(shí)例其中一個(gè)出現(xiàn)故障,不影響使用且可提供完整的數(shù)據(jù)服務(wù)。
cabar優(yōu)點(diǎn)總結(jié):
1.數(shù)據(jù)和訪問從集中式改變?yōu)榉植迹?/p>
(1)Cobar支持將一張表水平拆分成多份分別放入不同的庫來實(shí)現(xiàn)表的水平拆分
(2)Cobar也支持將不同的表放入不同的庫
(3) 多數(shù)情況下,用戶會(huì)將以上兩種方式混合使用
注意?。篊obar不支持將一張表,例如test表拆分成test_1,test_2, test_3…..放在同一個(gè)庫中,必須將拆分后的表分別放入不同的庫來實(shí)現(xiàn)分布式。
2.解決連接數(shù)過大的問題。
3.對(duì)業(yè)務(wù)代碼侵入性少。
4.提供數(shù)據(jù)節(jié)點(diǎn)的failover,HA:
(1)Cobar的主備切換有兩種觸發(fā)方式,一種是用戶手動(dòng)觸發(fā),一種是Cobar的心跳語句檢測到異常后自動(dòng)觸發(fā)。那么,當(dāng)心跳檢測到主機(jī)異常,切換到備機(jī),如果主機(jī)恢復(fù)了,需要用戶手動(dòng)切回主機(jī)工作,Cobar不會(huì)在主機(jī)恢復(fù)時(shí)自動(dòng)切換回主機(jī),除非備機(jī)的心跳也返回異常。
(2)Cobar只檢查MySQL主備異常,不關(guān)心主備之間的數(shù)據(jù)同步,因此用戶需要在使用Cobar之前在MySQL主備上配置雙向同步。
cobar缺點(diǎn):
開源版本中數(shù)據(jù)庫只支持mysql,并且不支持讀寫分離。
source:
TDDL
淘寶根據(jù)自己的業(yè)務(wù)特點(diǎn)開發(fā)了TDDL(Taobao Distributed Data Layer 外號(hào):頭都大了 ?_Ob)框架,主要解決了分庫分表對(duì)應(yīng)用的透明化以及異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制,它是一個(gè)基于集中式配置的 jdbc datasource實(shí)現(xiàn),具有主備,讀寫分離,動(dòng)態(tài)數(shù)據(jù)庫配置等功能。
TDDL所處的位置(tddl通用數(shù)據(jù)訪問層,部署在客戶端的jar包,用于將用戶的SQL路由到指定的數(shù)據(jù)庫中):
淘寶很早就對(duì)數(shù)據(jù)進(jìn)行過分庫的處理, 上層系統(tǒng)連接多個(gè)數(shù)據(jù)庫,中間有一個(gè)叫做DBRoute的路由來對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一訪問。DBRoute對(duì)數(shù)據(jù)進(jìn)行多庫的操作、數(shù)據(jù)的整合,讓上層系統(tǒng)像操作一個(gè)數(shù)據(jù)庫一樣操作多個(gè)庫。但是隨著數(shù)據(jù)量的增長,對(duì)于庫表的分法有了更高的要求,例如,你的商品數(shù)據(jù)到了百億級(jí)別的時(shí)候,任何一個(gè)庫都無法存放了,于是分成2個(gè)、4個(gè)、8個(gè)、16個(gè)、32個(gè)……直到1024個(gè)、2023個(gè)。好,分成這么多,數(shù)據(jù)能夠存放了,那怎么查詢它?這時(shí)候,數(shù)據(jù)查詢的中間件就要能夠承擔(dān)這個(gè)重任了,它對(duì)上層來說,必須像查詢一個(gè)數(shù)據(jù)庫一樣來查詢數(shù)據(jù),還要像查詢一個(gè)數(shù)據(jù)庫一樣快(每條查詢?cè)趲缀撩雰?nèi)完成),TDDL就承擔(dān)了這樣一個(gè)工作。在外面有些系統(tǒng)也用DAL(數(shù)據(jù)訪問層) 這個(gè)概念來命名這個(gè)中間件。
下圖展示了一個(gè)簡單的分庫分表數(shù)據(jù)查詢策略:
主要優(yōu)點(diǎn):
1.數(shù)據(jù)庫主備和動(dòng)態(tài)切換
2.帶權(quán)重的讀寫分離
3.單線程讀重試
4.集中式數(shù)據(jù)源信息管理和動(dòng)態(tài)變更
5.剝離的穩(wěn)定jboss數(shù)據(jù)源
6.支持mysql和oracle數(shù)據(jù)庫
7.基于jdbc規(guī)范,很容易擴(kuò)展支持實(shí)現(xiàn)jdbc規(guī)范的數(shù)據(jù)源
8.無server,client-jar形式存在,應(yīng)用直連數(shù)據(jù)庫
9.讀寫次數(shù),并發(fā)度流程控制,動(dòng)態(tài)變更
10.可分析的日志打印,日志流控,動(dòng)態(tài)變更
mysql-proxy是官方提供的mysql中間件產(chǎn)品可以實(shí)現(xiàn)負(fù)載平衡,讀寫分離,failover等,但其不支持大數(shù)據(jù)量的分庫分表且性能較差。下面介紹幾款能代替其的mysql開源中間件產(chǎn)品,含清Atlas,明圓cobar,tddl,讓我們看看它們各自有些什么優(yōu)點(diǎn)和新特性吧。
Atlas
Atlas是由 Qihoo 360, Web平臺(tái)部基礎(chǔ)架構(gòu)團(tuán)隊(duì)開發(fā)維護(hù)的一個(gè)基于MySQL協(xié)議的數(shù)據(jù)中間層項(xiàng)目。它是在mysql-proxy 0.8.2版本的基礎(chǔ)上,對(duì)其進(jìn)行了優(yōu)化,增加了一些新的功能特性。360內(nèi)部使用Atlas運(yùn)行的mysql業(yè)務(wù),每天承載的讀寫請(qǐng)求數(shù)達(dá)幾十億條。
Altas架構(gòu):
Atlas是一個(gè)位于應(yīng)用程序與MySQL之間激老塌,它實(shí)現(xiàn)了MySQL的客戶端與服務(wù)端協(xié)議,作為服務(wù)端與應(yīng)用程序通訊,同時(shí)作為客戶端與MySQL通訊。它對(duì)應(yīng)用程序屏蔽了DB的細(xì)節(jié),同時(shí)為了降低MySQL負(fù)擔(dān),它還維護(hù)了連接池。
以下是一個(gè)可以參考的整體架構(gòu),LVS前端做負(fù)載均衡,兩個(gè)Altas做HA,防止單點(diǎn)故障。
Altas的一些新特性:
1.主庫宕機(jī)不影響讀
主庫宕機(jī),Atlas自動(dòng)將宕機(jī)的主庫摘除,寫操作會(huì)失敗,讀操作不受影響。從庫宕機(jī),Atlas自動(dòng)將宕機(jī)的從庫摘除,對(duì)應(yīng)用沒有影響。在mysql官方的proxy中主庫宕機(jī),從庫亦不可用。
2.通過管理接口,簡化管理工作,DB的上下線對(duì)應(yīng)用完全透明,同時(shí)可以手動(dòng)上下線。
3.自己實(shí)現(xiàn)讀寫分離
(1)為了解決讀寫分離存在寫完馬上就想讀而這時(shí)可能存在主從同步延遲的情況,Altas中可以在SQL語句前增加 /*master*/ 就可以將讀請(qǐng)求強(qiáng)制發(fā)往主庫。
主庫可設(shè)置多項(xiàng),用逗號(hào)分隔,從庫可設(shè)置多項(xiàng)和權(quán)重,達(dá)到負(fù)載均衡。
4.自己實(shí)現(xiàn)分表
(1)需帶有分表字段。
(2)支持SELECT、INSERT、UPDATE、DELETE、REPLACE語句。
(3)支持多個(gè)子表查詢結(jié)果的合并和排序。
這里不得不吐槽Atlas的分表功能,不能實(shí)現(xiàn)分布式分表,所有的子表必須在同一臺(tái)DB的同一個(gè)database里且所有的子表必須事先建好,Atlas沒有自動(dòng)建表的功能。
5.之前官方主要功能邏輯由使用lua腳本編寫,效率低,Atlas用C改寫,QPS提高,latency降低。
6.安全方面的提升
(1)通過配置文件中的pwds參數(shù)進(jìn)行連接Atlas的用戶的權(quán)限控制。
(2)通過client-ips參數(shù)對(duì)有權(quán)限連接Atlas的ip進(jìn)行過濾。
(3)日志中記錄所有通過Altas處理的SQL語句,包括客戶端IP、實(shí)際執(zhí)行該語句的DB、執(zhí)行成功與否、執(zhí)行所耗費(fèi)的時(shí)間 ,如下面例子。
阿里巴巴采用自己研發(fā)的分布式數(shù)據(jù)庫系統(tǒng)叫什么,它有哪些特點(diǎn)
搜一下:阿里巴巴采用自己研發(fā)的分布式數(shù)據(jù)庫系統(tǒng)叫什么,它有哪些特點(diǎn)
上層的是分布式數(shù)據(jù)庫分表分庫中間件,負(fù)責(zé)和上層應(yīng)用打交道,對(duì)應(yīng)用可表現(xiàn)為一個(gè)獨(dú)立的數(shù)據(jù)庫,而屏蔽底層復(fù)雜的系統(tǒng)細(xì)節(jié)。分布式數(shù)據(jù)庫中間件除了基襪腔虧本的分表分庫功能,還可以豐富一下,比如講讀寫分離或者水平擴(kuò)容功能集成在一起,或者比如讀寫分離本身也可以作為一個(gè)獨(dú)立的中間件。(Cobar, MyCAT, TDDL, DRDS, DDB)
增量數(shù)據(jù)訂閱和消費(fèi)告神,用戶對(duì)數(shù)據(jù)庫操作,比如DML, DCL, DDL等,這些操作會(huì)產(chǎn)生增量數(shù)據(jù),下層應(yīng)用可以通過監(jiān)測這些增量數(shù)據(jù)進(jìn)行相應(yīng)的處理。典型代表C,根據(jù)MySQL的binlog實(shí)現(xiàn)。也有針對(duì)Oracle(redolog)的增量數(shù)據(jù)訂閱與消費(fèi)圓陵的中間件。(C, Erosa)
數(shù)據(jù)庫同步中間件涉及數(shù)據(jù)庫之間的同步操作,可以實(shí)現(xiàn)跨(同)機(jī)房同步以及異地容災(zāi)備份、分流等功能??梢陨婕岸喾N數(shù)據(jù)庫,處理之后的數(shù)據(jù)也可以以多種形式存儲(chǔ)。(Otter, JingoBus, DRC)
數(shù)據(jù)庫與數(shù)據(jù)庫之間會(huì)有數(shù)據(jù)遷移(同步)的動(dòng)作,同款數(shù)據(jù)同步原理比較簡單,比如MySQL主備同步,只要在數(shù)據(jù)庫層進(jìn)行相應(yīng)的配置既可,但是跨數(shù)據(jù)庫同步就比較復(fù)雜了,比如Oracle->MySQL. 數(shù)據(jù)遷移一般包括三個(gè)步驟:全量復(fù)制,將原數(shù)據(jù)庫的數(shù)據(jù)全量遷移到新數(shù)據(jù)庫,在這遷移的過程中也會(huì)有新的數(shù)據(jù)產(chǎn)生;增量同步,對(duì)新產(chǎn)生的數(shù)據(jù)進(jìn)行同步,并持續(xù)一段時(shí)間以保證數(shù)據(jù)同步;原庫停寫,切換新庫。將“跨數(shù)據(jù)庫”這個(gè)含義擴(kuò)大一下——“跨數(shù)據(jù)源”,比如HDFS, HBase, FTP等都可以相互同步。(yugong, DataX)
AanlyticDB,可以兼容Mysql5.x系列和SQL等,阿里巴巴自主團(tuán)李乎研發(fā)、唯一經(jīng)過超大規(guī)模以及核心業(yè)務(wù)驗(yàn)證的PB級(jí)實(shí)時(shí)數(shù)據(jù)倉庫。自2023年之一次在集團(tuán)發(fā)布上線以來,至今已累計(jì)迭代發(fā)布近百個(gè)版本,支撐起集團(tuán)內(nèi)的電商、廣告、菜鳥、文娛、飛豬等眾多在線分析業(yè)務(wù)。阿里巴巴最初通過單節(jié)點(diǎn)Oracle進(jìn)行準(zhǔn)實(shí)時(shí)分析, 后來轉(zhuǎn)到Oracle RAC,隨著業(yè)務(wù)的飛速發(fā)展, 集中式的Shared Storage架構(gòu)需要快速轉(zhuǎn)向分布式,遷移到了Greenplum,但不到一年時(shí)間便遇到擴(kuò)展性和并發(fā)的嚴(yán)重瓶頸。為了迎接更大數(shù)據(jù)集、更高并發(fā)、更高可用擾廳、更實(shí)時(shí)的數(shù)據(jù)應(yīng)用發(fā)展趨勢,從2023年開始,在線分析這個(gè)技術(shù)領(lǐng)域,阿里實(shí)時(shí)塌悉數(shù)倉堅(jiān)定的走上了自研之路。特點(diǎn)和性能參考這個(gè)百度
網(wǎng)頁鏈接
tddl數(shù)據(jù)庫異構(gòu)性的介紹就聊到這里吧,感謝你花時(shí)間閱讀本站內(nèi)容,更多關(guān)于tddl數(shù)據(jù)庫異構(gòu)性,TDDL數(shù)據(jù)庫異構(gòu)性:解決多種數(shù)據(jù)庫兼容問題,mysql中間件有哪些,阿里巴巴采用自己研發(fā)的分布式數(shù)據(jù)庫系統(tǒng)叫什么,它有哪些特點(diǎn)的信息別忘了在本站進(jìn)行查找喔。
香港服務(wù)器選創(chuàng)新互聯(lián),2H2G首月10元開通。
創(chuàng)新互聯(lián)(www.cdcxhl.com)互聯(lián)網(wǎng)服務(wù)提供商,擁有超過10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。
當(dāng)前標(biāo)題:TDDL數(shù)據(jù)庫異構(gòu)性:解決多種數(shù)據(jù)庫兼容問題(tddl數(shù)據(jù)庫異構(gòu)性)
鏈接地址:http://m.fisionsoft.com.cn/article/codihes.html


咨詢
建站咨詢
