新聞中心
數(shù)據(jù)庫(kù)行業(yè)半年度回顧
“多元化+差異化”的齊頭并進(jìn)
2022年上半年,各數(shù)據(jù)庫(kù)廠商及產(chǎn)品都取得了長(zhǎng)足的進(jìn)步,在某些重點(diǎn)技術(shù)領(lǐng)域的突破,無論是產(chǎn)品還是市場(chǎng)方面都得到了不錯(cuò)的反饋,特別是以國(guó)產(chǎn)化、云為代表的廠商及產(chǎn)品表現(xiàn)突出。

創(chuàng)新互聯(lián)公司是一家網(wǎng)站建設(shè)、成都網(wǎng)站制作,提供網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),網(wǎng)站制作,建網(wǎng)站,定制制作,網(wǎng)站開發(fā)公司,成立與2013年是互聯(lián)行業(yè)建設(shè)者,服務(wù)者。以提升客戶品牌價(jià)值為核心業(yè)務(wù),全程參與項(xiàng)目的網(wǎng)站策劃設(shè)計(jì)制作,前端開發(fā),后臺(tái)程序制作以及后期項(xiàng)目運(yùn)營(yíng)并提出專業(yè)建議和思路。
從技術(shù)方向上看,以分布式、云原生、多模異構(gòu)、HTAP、AI自治、安全為代表的技術(shù),成為了各個(gè)產(chǎn)品發(fā)展的重點(diǎn)。在過去數(shù)年,分布式數(shù)據(jù)庫(kù)發(fā)展迅速,是面對(duì)海量規(guī)模及高并發(fā)等場(chǎng)景的利器。通過數(shù)年實(shí)踐,產(chǎn)品的基本功能、穩(wěn)定性、性能等方面已趨于成熟,各家產(chǎn)品開始在易用性、可觀察性、診斷能力、生態(tài)兼容等方向發(fā)力,并陸續(xù)開始有成果落地。相信分布式數(shù)據(jù)庫(kù)的不斷發(fā)展,會(huì)在未來得到更大范圍的使用。
另一個(gè)熱點(diǎn)方向則是HTAP,特別是分布式能力的引入,為AP方向的能力提供了更多算力,也為HTAP帶來更多想象空間。從用戶視角來看,HTAP簡(jiǎn)化了原有技術(shù)棧,統(tǒng)一訪問方式,為用戶帶來更優(yōu)質(zhì)的體驗(yàn)。從發(fā)展來看,各家產(chǎn)品從HTAP能力的初步具備,逐步過渡到更精準(zhǔn)的資源控制、更高效的執(zhí)行效率等階段,改善用戶使用體驗(yàn)。未來對(duì)數(shù)據(jù)庫(kù),特別是分布式數(shù)據(jù)庫(kù)而言,HTAP能力將成為廠商競(jìng)爭(zhēng)的主要方向之一。
在云數(shù)據(jù)庫(kù)領(lǐng)域,云原生數(shù)據(jù)庫(kù)成為焦點(diǎn),各廠商已從傳統(tǒng)數(shù)據(jù)庫(kù)托管類產(chǎn)品的競(jìng)爭(zhēng),過渡到自有云原生數(shù)據(jù)庫(kù)產(chǎn)品的較量,承載規(guī)模、彈性能力、極致性價(jià)比等成為了發(fā)展要點(diǎn),特別是Serverless方向,已成為后續(xù)發(fā)展的主流方向之一。雖然目前尚處于較早期的階段,但其現(xiàn)有能力已非常誘人,未來發(fā)展空間巨大,甚至有可能成為各家發(fā)展的分水嶺,帶來彎道超車的契機(jī)。
在NoSQL領(lǐng)域,以圖、時(shí)序?yàn)榇淼漠a(chǎn)品成為了發(fā)展熱點(diǎn),一大批初創(chuàng)企業(yè)及產(chǎn)品受到了更多關(guān)注。在產(chǎn)品能力上,紛紛從兼容生態(tài)、突出核心、提升易用性等角度切入,并在更多場(chǎng)景上得到使用驗(yàn)證,大大擴(kuò)展了原有的使用空間。此外,AI與數(shù)據(jù)庫(kù)的結(jié)合、新型硬件的使用、安全能力也是各家發(fā)展的方向之一。
從數(shù)據(jù)庫(kù)廠商對(duì)產(chǎn)品研發(fā)的角度上看,大廠重點(diǎn)落在智能化、新硬件、數(shù)據(jù)流轉(zhuǎn)等方向;云廠商在構(gòu)建新一代云原生、Serverless等方向發(fā)力,希望找到突破口實(shí)現(xiàn)產(chǎn)品升級(jí);新興廠商則在某些垂直領(lǐng)域,如HTAP、NoSQL、高兼容等方向著手,尋找差異化競(jìng)爭(zhēng)路線;而開源產(chǎn)品,則更多在企業(yè)級(jí)能力、安全性等方面不斷提升。
數(shù)據(jù)庫(kù)產(chǎn)品半年度盤點(diǎn)
主流數(shù)據(jù)庫(kù)的版本升級(jí)與更新亮點(diǎn)
在如此百花爭(zhēng)鳴的2022上半年,dbaplus社群攜手一眾數(shù)據(jù)庫(kù)行業(yè)專家,匯總、梳理并提煉出主流數(shù)據(jù)庫(kù)近半年的版本更迭、性能優(yōu)化、功能提升等關(guān)鍵信息,希望對(duì)大家了解數(shù)據(jù)庫(kù)發(fā)展趨勢(shì),以及數(shù)據(jù)庫(kù)選型工作有所幫助和啟發(fā)。
本期要點(diǎn)
DB-Engines數(shù)據(jù)庫(kù)排行榜
一、RDBMS
- Oracle Exadata X9M-2和X9M-8新特性
- MySQL發(fā)布8.0.28和8.0.29版本
- MariaDB 10.8新特性
- PostgreSQL發(fā)布15 beta 1和14.4版本
- OceanBase企業(yè)版及社區(qū)版共迭代9個(gè)版本
二、NoSQL
- Redis發(fā)布7.0版本
三、NewSQL
- TiDB共發(fā)布3個(gè)大版本
四、時(shí)序數(shù)據(jù)庫(kù)
- MatrixDB發(fā)布4.4及4.5版本
五、大數(shù)據(jù)生態(tài)圈
- Elastic共發(fā)布4個(gè)大版本
- Greenplum共發(fā)布3個(gè)大版本
- Flink發(fā)布1.15.0版本
- ClickHouse共發(fā)布6個(gè)版本
六、國(guó)產(chǎn)數(shù)據(jù)庫(kù)
- ?SequoiaDB發(fā)布3.6及5.0.3版本?
- 達(dá)夢(mèng)數(shù)據(jù)庫(kù)發(fā)布DM 8.1.2.116版本
- QianBase?發(fā)布1.6.6SP6_1~SP6_3
- ArkDB主要提升及優(yōu)化
- OushuDB 5.0版本更新概要
七、云數(shù)據(jù)庫(kù)
- 華為云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
- 阿里云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
- 騰訊云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
- 京東云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
- 青云2022上半年大數(shù)據(jù)及數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
DB-Engines數(shù)據(jù)庫(kù)排行榜
以下取自2022年6月的數(shù)據(jù),具體信息可以參考http://db-engines.com/en/ranking/,數(shù)據(jù)僅供參考。
DB-Engines排名的數(shù)據(jù)依據(jù)5個(gè)不同的因素:
- Google及Bing搜索引擎的關(guān)鍵字搜索數(shù)量;
- Google Trends的搜索數(shù)量;
- Indeed網(wǎng)站中的職位搜索量;
- LinkedIn中提到關(guān)鍵字的個(gè)人資料數(shù);
- Stackoverflow上相關(guān)的問題和關(guān)注者數(shù)。
RDBMS
Oracle Exadata X9M-2和X9M-8新特性
Oracle Exadata數(shù)據(jù)庫(kù)云平臺(tái)通過集成設(shè)計(jì)為Oracle數(shù)據(jù)庫(kù)帶來出色的性能、可用性和成本效益。
一、最新的Exadata X9M-2和X9M-8特性
- 延續(xù)了X8M在Exadata存儲(chǔ)服務(wù)器中添加了Intel Optane? Persistent Memory,使用100Gb RDMA over Converged Ethernet(RoCE)內(nèi)部網(wǎng)絡(luò)架構(gòu),取代了之前的InfiniBand網(wǎng)絡(luò)架構(gòu)。
- 直接從數(shù)據(jù)庫(kù)使用RDMA訪問智能存儲(chǔ)服務(wù)器中的持久內(nèi)存,繞過整個(gè)操作系統(tǒng)、I/O和網(wǎng)絡(luò)軟件堆棧,顯著降低延遲和提高吞吐量,實(shí)現(xiàn)小于19微秒OLTP IO延遲。
- Exadata X9M這一系列產(chǎn)品相較于X8M在性能上有了進(jìn)一步提升,但報(bào)價(jià)保持不變,性價(jià)比大幅提升。
二、同一Exadata Cloud@Customer上支持自治和非自治數(shù)據(jù)庫(kù)
2022年3月16日,Oracle宣布在同一Exadata專有云數(shù)據(jù)庫(kù)一體機(jī)(Exadata Cloud@Customer)上支持自治和非自治數(shù)據(jù)庫(kù)。多VM自治數(shù)據(jù)庫(kù)允許客戶使用自己的訪問規(guī)則、配額和性能SLO來配置隔離的操作環(huán)境,例如開發(fā)測(cè)試、生產(chǎn)。這反過來又使企業(yè)不僅可以遷移現(xiàn)有數(shù)據(jù)庫(kù)并對(duì)其進(jìn)行現(xiàn)代化改造以獲得云優(yōu)勢(shì),還可以創(chuàng)建一個(gè)符合公司治理標(biāo)準(zhǔn)的自助服務(wù)數(shù)據(jù)庫(kù)應(yīng)用程序開發(fā)平臺(tái)。新的多虛擬機(jī)自治數(shù)據(jù)庫(kù)功能使企業(yè)能夠以更低的成本更輕松地采用ADB,為開發(fā)人員提供用于新應(yīng)用程序的完整且簡(jiǎn)單的自助服務(wù)數(shù)據(jù)庫(kù)。
三、零數(shù)據(jù)丟失恢復(fù)一體機(jī)(ZDLRA)最新的名稱改為RA21
Oracle零數(shù)據(jù)丟失恢復(fù)一體機(jī)(簡(jiǎn)稱RA21)是一個(gè)突破性的數(shù)據(jù)保護(hù)解決方案,不僅消除了數(shù)據(jù)丟失風(fēng)險(xiǎn),大幅降低數(shù)據(jù)保護(hù)給生產(chǎn)服務(wù)器帶來的開銷,還能持續(xù)驗(yàn)證數(shù)據(jù)的完整性和可恢復(fù)性,通過不斷擴(kuò)展來保護(hù)數(shù)以千計(jì)的數(shù)據(jù)庫(kù),同時(shí)為數(shù)據(jù)備份提供完整生命周期保護(hù),包括磁盤備份、磁帶備份和遠(yuǎn)程復(fù)制。
MySQL發(fā)布8.0.28和8.0.29版本
2022年上半年,MySQL 8.0發(fā)布了8.0.28和8.0.29兩個(gè)版本,修復(fù)了大量的bug,在性能和穩(wěn)定性方面進(jìn)一步增強(qiáng)。另外,HeatWave發(fā)布了重磅的機(jī)器學(xué)習(xí)功能,以下是詳細(xì)介紹。
一、優(yōu)化
InnoDB:InnoDB現(xiàn)在支持 ALTER TABLE ... RENAME COLUMN和ALTER TABLE ... DROP COLUMN使用 ALGORITHM=INSTANT。該操作只修改數(shù)據(jù)字典中元數(shù)據(jù),表數(shù)據(jù)不受影響,使操作可以瞬時(shí)完成。如果未明確指定,只要該DDL支持INSTANT操作,會(huì)默認(rèn)使用。
從MySQL 8.0.29開始,可以將瞬時(shí)添加的列添加到表中的任何位置,瞬時(shí)添加或刪除的列會(huì)創(chuàng)建一個(gè)新的行版本。最多允許64行版本。
二、復(fù)制和克隆
replica_parallel_type系統(tǒng)變量現(xiàn)在已被棄用;每當(dāng)讀取或設(shè)置這個(gè)變量,或者在my.cnf中設(shè)置該選項(xiàng)時(shí),服務(wù)器就會(huì)發(fā)出棄用警告。
8.0.29版本引入了binlog_expire_logs_auto_purge系統(tǒng)變量來控制服務(wù)器自動(dòng)清除二進(jìn)制日志文件。
group_replication_set_as_primary函數(shù),可以指定新的master成員,用于覆蓋自動(dòng)選舉過程產(chǎn)生的master成員。
克隆:增加系統(tǒng)變量“clone_delay_after_data_drop”,允許在接收者刪除數(shù)據(jù)之后增加延時(shí),以使接收者在開始克隆之前釋放足夠的空間。
三、運(yùn)維監(jiān)控
Performance Schema的變化:計(jì)時(shí)器THREAD_CPU已添加到Performance Schema PERFORMANCE_TIMERS表中。
tmp_table_size變量現(xiàn)在定義由TempTable存儲(chǔ)引擎創(chuàng)建的單個(gè)內(nèi)存內(nèi)部臨時(shí)表的最大大小。適當(dāng)?shù)拇笮∠拗瓶煞乐箚蝹€(gè)查詢消耗過多的全局TempTable資源。
innodb_open_files變量定義了InnoDB一次可以打開的文件數(shù),現(xiàn)在可以在運(yùn)行時(shí)使用語句進(jìn)行設(shè)置。方法是執(zhí)行SELECT innodb_set_open_files_limit(N)。
8.0.28版本起在全局和每個(gè)用戶的基礎(chǔ)上引入了對(duì)內(nèi)存分配的監(jiān)視和限制?,F(xiàn)在可以通過檢查Global_connection_memory狀態(tài)變量的值來觀察所有用戶連接消耗的總內(nèi)存,該變量必須通過設(shè)置global_connection_memory_tracking = 1來啟用。
字符串:服務(wù)器在使用“SHOW”語句輸出及報(bào)告無效字符時(shí),使用utf8mb3代替之前使用的utf8。
四、開發(fā)
時(shí)間格式:MySQL之前對(duì)時(shí)間格式的分隔符或空白等要求寬松,從8.0.29版本開始,則推薦用戶使用標(biāo)準(zhǔn)格式,使用其他格式將輸出警告信息。
派生的物化表?xiàng)l件推送優(yōu)化現(xiàn)在可以在大多數(shù)的union語句使用。這意味著外部 WHERE條件現(xiàn)在可以推送到物化派生表或視圖的查詢表達(dá)式中的每個(gè)查詢塊中。
函數(shù)FROM_UNIXTIME (), UNIX_TIMESTAMP (),和CONVERT_TZ ()可以處理64位的值,F(xiàn)ROM_UNIXTIME ()現(xiàn)在支持最大的參數(shù)是32536771199.999999秒,對(duì)應(yīng)'3001-01-18 23:59:59.999999' UTC。UNIX_TIMESTAMP ()支持接收最大值'3001-01-18 23:59:59.999999' UTC,對(duì)應(yīng)32536771199.999999秒。
字符集latin1的快捷方式ASCII和UNICODE的快捷方式ucs2被棄用,MySQL的未來版本中將刪除它們。用戶可以使用CHARACTER SET代替。
五、HeatWave
HeatWave用戶現(xiàn)在可以使用內(nèi)置的HeatWave機(jī)器學(xué)習(xí)(ML),這是一種完全托管、高度可擴(kuò)展、經(jīng)濟(jì)高效的機(jī)器學(xué)習(xí)解決方案,適用于存儲(chǔ)在MySQL中的數(shù)據(jù)。HeatWave ML提供了一個(gè)簡(jiǎn)單的SQL接口,用于訓(xùn)練和使用預(yù)測(cè)機(jī)器學(xué)習(xí)模型,新手和經(jīng)驗(yàn)豐富的ML從業(yè)者都可以使用。使用HeatWave ML,用戶只需調(diào)用SQL即可訓(xùn)練模型。同樣,用戶可以使用單個(gè)語句生成預(yù)測(cè),從而輕松地集成到用戶的應(yīng)用程序中。
HeatWave現(xiàn)在支持多達(dá)1017個(gè)基本關(guān)系列(加載到HeatWave中的表),以及多達(dá)1800個(gè)中間關(guān)系列(查詢處理期間使用的中間表)。基本關(guān)系和中間關(guān)系的最大列寬增加到了65532字節(jié)。
MariaDB 10.8新特性
一、Alter修改表結(jié)構(gòu)實(shí)現(xiàn)從庫(kù)無延遲并行復(fù)制
通常,ALTER TABLE主庫(kù)上執(zhí)行完畢后,才會(huì)被復(fù)制并開始在從庫(kù)上執(zhí)行。有了這個(gè)特性后,當(dāng)ALTER TABLE在主庫(kù)上開始執(zhí)行時(shí),它會(huì)立刻被復(fù)制并開始在從庫(kù)上執(zhí)行,完全消除了從庫(kù)的復(fù)制滯后,實(shí)現(xiàn)了從庫(kù)無延遲并行復(fù)制。
使用:
MariaDB[test]> set global binlog_alter_two_phase=1;
MariaDB[test]> set binlog_alter_two_phase=1;
MariaDB[test]> alter table sbtest1 add index IX_pad(pad);
ALTER TABLE回車后,可以立即用mysqlbinlog工具去查看binlog,此時(shí)LTER TABLE語句已經(jīng)記錄在binlog文件里。
二、多源復(fù)制支持MySQL樣式的CHANNEL語法
多源復(fù)制可以實(shí)現(xiàn)數(shù)據(jù)分析部門的需求,將多個(gè)系統(tǒng)的數(shù)據(jù)匯聚到一臺(tái)服務(wù)器上進(jìn)行OLAP(聯(lián)機(jī)分析處理)計(jì)算。在10.7及以上版本里,支持MySQL 5.7多源復(fù)制的語法。
三、支持降序索引
從10.8版本開始支持降序索引(InnoDB引擎)??梢灾苯訉⑺饕x為DESC,這樣在存儲(chǔ)的時(shí)候就是降序保存的,在進(jìn)行降序掃描時(shí),性能會(huì)得到大幅度提升。當(dāng)然,這樣做最大的好處是,我們可以用索引處理(order by a desc,b asc,c desc)混合排序的查詢了。在10.8之前的版本中,排序的字段順序必須一致,否則使用不到索引,通過explain命令查看,結(jié)果中會(huì)出現(xiàn)文件排序(filesort)。
四、MariaDB Xpand分布式數(shù)據(jù)庫(kù)發(fā)布
MariaDB Xpand是一款(MySQL客戶端協(xié)議)在線事務(wù)處理(OLTP)分布式數(shù)據(jù)庫(kù)(對(duì)標(biāo)PostgreSQL協(xié)議的CockroachDB),Xpand則是存儲(chǔ)引擎。
使用MariaDB Xpand需要許可證密鑰(45天非生產(chǎn)試用期)。軟件下載地址 https://mariadb.com/downloads/#xpand
特點(diǎn):
- 符合ACID的分布式數(shù)據(jù)庫(kù),適用于海量數(shù)據(jù)、高并發(fā)和強(qiáng)一致性在線事務(wù)處理(OLTP);
- 彈性動(dòng)態(tài)橫向擴(kuò)容;
- Paxos高可用性;
- 數(shù)據(jù)分布通過Xpand水平劃分為切片,并將切片的副本(默認(rèn)兩個(gè))分布在節(jié)點(diǎn)之間;
- 無限讀寫擴(kuò)展,采用無共享架構(gòu);
- 支持復(fù)雜查詢(例如JOIN和分組聚合操作)。
PostgreSQL發(fā)布15 beta 1和14.4版本
2022年1月至今,PostgreSQL發(fā)布了15 beta 1和14.4等多個(gè)版本,其中值得關(guān)注的增強(qiáng)有:
一、性能增強(qiáng)
- 排序性能提升顯著,尤其是在需要排序的數(shù)據(jù)量超過了work_mem的情況下,in-memory的排序性能也有所提升;
- group by會(huì)自動(dòng)優(yōu)化列的順序;
- postgres_fdw外部表支持下推case when表達(dá)式;
- 窗口函數(shù)row_number(), rank()和count()性能提升;
- full-page-write全頁(yè)寫支持lz4和zstd壓縮算法;
- \copy元命令加載性能提升;
- pg_upgrade和pg_dump性能提升。
二、邏輯復(fù)制增強(qiáng)
- 支持直接發(fā)布某個(gè)模式下的所有表;
- 發(fā)布端支持指定某些列進(jìn)行發(fā)布,比如create publication pub1 for table t2(info);
- 發(fā)布端支持過濾條件,比如create publication p2 for table t1, t2 where (e = 99);
- 原生邏輯復(fù)制支持預(yù)備事務(wù)。
三、并行增強(qiáng)
- select distinct支持并行,并行特性繼續(xù)加強(qiáng);
- postgres_fdw()支持并行提交,之前的版本是本地事務(wù)提交之后再串行提交遠(yuǎn)端事務(wù);
- 外部表的查詢現(xiàn)在可以在更多的情況下使用并行掃描。
四、其他增強(qiáng)
- 支持merge語法,以前的版本可以使用insert ... on conflict替代;
- 新增多種正則表達(dá)式,regexp_count(),regexp_instr(),regexp_like()和regexp_substr();
- 新增SQL/JSON構(gòu)造器;
- 新增SQL/JSON查詢函數(shù),json_exists()、json_query()和json_value();
- 唯一約束和索引支持將NULL視為不同的值,之前的版本需要使用表達(dá)式索引進(jìn)行限制;
- 日志支持JSON格式。
五、相關(guān)動(dòng)態(tài)
CitusData于日前推出了Citus 11.0,并宣布將所有企業(yè)版的特性都進(jìn)行開源。此前,Citus在版本更新時(shí)通常會(huì)同步發(fā)布2個(gè)版本:開源版本和包含一些額外功能的企業(yè)版本。
14.4版本修復(fù)了之前的14.0、14.1和14.2三個(gè)版本中使用create index concurrently和reindex concurrently導(dǎo)致索引損壞的BUG,會(huì)導(dǎo)致數(shù)據(jù)不一致,需要盡快升級(jí)至14.4版本。
OceanBase企業(yè)版及社區(qū)版共迭代9個(gè)版本
2022年1月至今,OceanBase數(shù)據(jù)庫(kù)共計(jì)迭代9個(gè)版本(企業(yè)版及社區(qū)版),進(jìn)一步提升與增強(qiáng)性能、安全性、兼容性、診斷監(jiān)控等企業(yè)級(jí)核心能力。其中,OceanBase 3.2.3作為3.x的LTS版本,是完整HTAP能力的重要里程碑,新特性如下:
一、OceanBase企業(yè)版關(guān)鍵特性
- HTAP能力:全面實(shí)現(xiàn)向量化引擎,支持所有基礎(chǔ)算子向量化,復(fù)雜查詢場(chǎng)景下帶來數(shù)量級(jí)的性能飛躍,TPC-H性能相比OceanBase 2.2.x提升10倍。
- 性能:優(yōu)化Nest Loop Join,性能提升1倍;支持多表關(guān)聯(lián)SQL語句轉(zhuǎn)化為Nest Loop Join執(zhí)行計(jì)劃,通過算子優(yōu)化大幅提升多表關(guān)聯(lián)性能;提升Table API流式掃描性能,OceanBase 3.2.3流式掃描性能達(dá)到HBase 2.4.6的2.2倍。
- 兼容性:Oracle模式新增DBLink功能,支持用戶通過DBLink訪問Oracle的數(shù)據(jù);MySQL模式引入Oracle模式的Sequence功能。兼容MySQL 8.0 CTE和CHECK檢查約束功能。
- 診斷監(jiān)控:存儲(chǔ)過程支持GET DIAGNOSTICS診斷,可使用該功能獲取SQL語句或者存儲(chǔ)過程執(zhí)行時(shí)的錯(cuò)誤信息,幫助用戶快速定位、排查解決問題;OCP引入SQL畫像和事務(wù)畫像功能。
- 安全性:新增備份恢復(fù)完整性校驗(yàn)功能,幫助用戶快速發(fā)現(xiàn)磁盤靜默故障;ODC支持操作記錄審計(jì)功能,自動(dòng)記錄所有的數(shù)據(jù)庫(kù)變更操作。
二、OceanBase社區(qū)版關(guān)鍵特性
- 支持OBKV能力:提供HBase模型和Table模型的NoSQL能力。讀寫綜合性能超越HBase,且能復(fù)用OceanBase底層的強(qiáng)一致和異地容災(zāi)能力,并避免了HBase的性能抖動(dòng)問題。
- 支持兼容MySQL 5.7版本的JSON功能,提供半結(jié)構(gòu)化數(shù)據(jù)支持:很多用戶會(huì)使用JSON類型存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)以彌補(bǔ)關(guān)系模型的不足,相比TEXT和LOB類型,JSON類型存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)時(shí)性能更好,支持高效索引和合法性校驗(yàn)。
- 支持回收站中的對(duì)象恢復(fù),極大降低因誤操作導(dǎo)致的潛在風(fēng)險(xiǎn):表格刪除后進(jìn)入到回收站,F(xiàn)lashback Table能夠?qū)⒒厥照菊`刪除的表格恢復(fù)出來,防止誤操作。
- CDC支持大事務(wù):通過新增持久化模式,數(shù)據(jù)在同步開始前先進(jìn)行本地臨時(shí)存儲(chǔ),避免CDC傳輸大事務(wù)時(shí)因內(nèi)存溢出OOM而導(dǎo)致的斷開鏈接問題。
- 支持Kubernetes Operator:用戶可以通過容器的形式將OceanBase運(yùn)行在公有云或私有化部署的Kubernetes集群。
- 部署更加便捷:面向開發(fā)者提供更加友好的使用體驗(yàn)。將Docker鏡像由2C10G優(yōu)化至2C8G,降低開發(fā)者在個(gè)人電腦使用OceanBase的門檻。另外,新增了ARM架構(gòu)支持。
NoSQL
Redis發(fā)布7.0版本
2022年4月27日,Redis正式發(fā)布7.0版本,該版本持續(xù)開發(fā)了近1年之久,在GA版本前有3個(gè)候選版本,目前相當(dāng)穩(wěn)定,可以用于生產(chǎn)。從Itamar Haber關(guān)于版本更新的介紹中可以看出許多優(yōu)秀的特性和功能來源于Redis用戶的反饋和生產(chǎn)環(huán)境的使用經(jīng)驗(yàn)教訓(xùn),其中值得關(guān)注的更新要點(diǎn)有:
- Redis Functions:使用服務(wù)端的腳本來擴(kuò)展Redis的新方法;
- ACLv2:基于鍵的更細(xì)粒度的訪問權(quán)限管理,允許用戶使用selectors管理多組命令規(guī)則;
- 集群:支持分片(特定節(jié)點(diǎn))發(fā)布/訂閱;
- 大多數(shù)情況下對(duì)子命令的一流的處理(影響ACL類別、info命令的統(tǒng)計(jì)等);
- Multi-Part AOF:將AOF作為多個(gè)AOF文件存儲(chǔ)在一個(gè)文件夾中避免AOF重寫帶來的性能開銷;可以通過配置選項(xiàng)appenddirname設(shè)置存放多個(gè)AOF文件的存放目錄;
- 命令鍵規(guī)格:是客戶端查找key參數(shù)及其讀/寫目的的更好方法;
- 集群:支持主機(jī)名,而不僅僅是IP地址;
- 改進(jìn)了對(duì)網(wǎng)絡(luò)緩沖區(qū)消耗的內(nèi)存的管理,以及一個(gè)用于當(dāng)總內(nèi)存超過限制時(shí)刪除客戶端的配置選項(xiàng)maxmemory-clients;
- 集群:斷開集群總線的連接以防止不受控制的緩沖區(qū)增漲的機(jī)制;
- AOF:時(shí)間戳注釋和支持指定時(shí)間點(diǎn)的恢復(fù),對(duì)于故障恢復(fù)非常有用;
- Lua:支持EVAL腳本中的函數(shù)標(biāo)志;支持Verbatim和Big-Number類型的RESP3協(xié)議的回復(fù);通過redis.REDIS_VERSION,redis.REDIS_VERSION_NUM獲取Redis版本;
- Redis 7.0開始對(duì)RDB文件使用了新版本10格式,與舊版本不兼容,升級(jí)時(shí)需要仔細(xì)閱讀,提前測(cè)試好兼容性,不可回退;
- 為Redis Functions和eval Lua腳本添加API以顯式檢查ACL;
- 鍵空間事件支持新建的key;
- 用listpack替換Hash、List、Zset中的ziplist,以提升性能;
- CLUSTER SHARDS命令棄用CLUSTER SLOTS,解鎖集群管理更多技巧;
- CONFIG SET/GET可以在一次調(diào)用中處理多個(gè)配置;
- 升級(jí)jemalloc版本到5.2.1;
- list類型支持添加存儲(chǔ)大于4GB的元素;
- 配置:repl-diskless-sync(無盤復(fù)制)現(xiàn)在默認(rèn)設(shè)置為yes;
- 移除gopher協(xié)議的支持;
- 現(xiàn)在允許在數(shù)據(jù)加載期間使用CONFIG SET、REWRITE、RESETSTAT等命令,管理起來更加友好;
- SCRIPT LOAD和SCRIPT FLUSH不再傳播到副本/AOF;
- 新增許多命令,如:ZMPOP、BZMPOP、LMPOP, BLMPOP、SINTERCARD、ZINTERCARD等。
Redis 7.0添加了近50個(gè)新命令和選項(xiàng)來擴(kuò)展Redis的現(xiàn)有功能。例如,bitmap、list、set、sorted set和stream類型都添加了支持其數(shù)據(jù)管理用例的功能。此外,緩存語義已擴(kuò)展為支持存在和比較修飾符。
Redis 7.0特別注重在內(nèi)存使用率上優(yōu)化和命令執(zhí)行性能上的提升,對(duì)其管理的每個(gè)子系統(tǒng)基本上都進(jìn)行了多項(xiàng)改進(jìn),包括內(nèi)存、計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)。雖然默認(rèn)情況下啟用了一些優(yōu)化,但其它優(yōu)化可能需要配置才可以生效。
NewSQL
TiDB共發(fā)布3個(gè)大版本
2022年1月至今,TiDB陸續(xù)發(fā)布了5.4、6.0、6.1三個(gè)大版本,在性能、兼容性、穩(wěn)定性、安全性、可用性、可觀測(cè)性、可管理性等方面做了大量改進(jìn),企業(yè)級(jí)HTAP與云數(shù)據(jù)庫(kù)能力得到大幅增強(qiáng)。以上三個(gè)版本累計(jì)發(fā)布新增特性和增強(qiáng)功能145個(gè),修復(fù)問題236個(gè),其中值得關(guān)注的更新有:
- 穩(wěn)定性:TiDB 6.1作為TiDB 6系版本的長(zhǎng)期支持版(Long Term Support),在多個(gè)層面夯實(shí)產(chǎn)品的穩(wěn)定性,例如提升TiKV高壓場(chǎng)景下的內(nèi)存穩(wěn)定性,解決了由于Raft Log復(fù)制流量過大導(dǎo)致的OOM問題。
- 性能:TiDB 5.4版本中TiFlash存儲(chǔ)層大幅優(yōu)化行存到列存轉(zhuǎn)碼效率,在不同并發(fā)情況下實(shí)測(cè)吞吐性能提高60%~90%;新增索引合并查詢優(yōu)化,允許優(yōu)化器在查詢處理中同時(shí)選擇使用多列的索引以減少回表。
- HTAP能力:分析引擎在MPP推出后不斷走向成熟,并于4月1日在GitHub開源。6.0版本中TiFlash新增100多個(gè)常用內(nèi)建函數(shù)以及若干表關(guān)聯(lián)算子,引入了全新的彈性線程池,這使得TiDB MPP模式在短查詢下達(dá)到同等計(jì)算資源倍增的計(jì)算性能,且在高壓力查詢時(shí)穩(wěn)定性更佳。6.1版本中,分區(qū)表的實(shí)驗(yàn)特性GA,新增TiFlash MPP下的窗口函數(shù)支持。
- 可管理性:TiDB 6.0引入數(shù)據(jù)放置框架,提供了針對(duì)分區(qū)/表/庫(kù)級(jí)數(shù)據(jù)在不同標(biāo)簽節(jié)點(diǎn)之間的自由放置接口,用戶可以針對(duì)某張表,某個(gè)數(shù)據(jù)分區(qū)的存儲(chǔ)位置做出自定義的選擇;發(fā)布企業(yè)級(jí)集群管理組件TiUniManager,提供對(duì)TiDB集群的全生命周期可視化管理;開放了智能診斷服務(wù)PingCAP Clinic的預(yù)覽,集成了診斷數(shù)據(jù)采集、智能診斷、智能巡檢、云診斷平臺(tái)等功能。
- 數(shù)據(jù)生態(tài):TiDB 6.0版本中TiCDC對(duì)于增量數(shù)據(jù)的提取、排序、加載、投遞等多個(gè)處理流程都進(jìn)行了優(yōu)化。TiDB 6.1引入了用戶級(jí)別鎖和TiCDC下的Avro格式向Kafka同步數(shù)據(jù)的支持。TiDB 5.4強(qiáng)化了數(shù)據(jù)備份效率,在支持Amazon S3、Google Cloud Storage的基礎(chǔ)上,新增對(duì)Azure環(huán)境的支持。
此外,2022年5月,PingCAP宣布TiDB Cloud在全球范圍正式商用,為用戶提供云上全托管的DBaaS服務(wù),支持用戶在全托管的數(shù)據(jù)庫(kù)上運(yùn)行關(guān)鍵業(yè)務(wù)交易和實(shí)時(shí)分析任務(wù),充分享受云上的性能優(yōu)勢(shì)和業(yè)務(wù)連續(xù)性保障。
時(shí)序數(shù)據(jù)庫(kù)
MatrixDB發(fā)布4.4及4.5版本
2022年上半年,MatrixDB總共更新了2個(gè)版本,4.4~4.5,主要特性包括Mars2存儲(chǔ)引擎、流式計(jì)算、兼容Kubernetes與Prometheus生態(tài)等,在數(shù)據(jù)寫入、數(shù)據(jù)存儲(chǔ)、集群監(jiān)控方面都取得了重大突破,詳細(xì)更新如下:
- Mars2存儲(chǔ)引擎:在Mars存儲(chǔ)引擎的基礎(chǔ)上,開發(fā)出了第二代存儲(chǔ)引擎Mars2。相比一代,Mars2性能更高,并可以在引擎內(nèi)部后臺(tái)自動(dòng)壓縮,不再需要顯式壓縮轉(zhuǎn)換;對(duì)upsert語義支持更好;支持列存壓縮,空間占用更小。
- 監(jiān)控系統(tǒng)升級(jí):與Prometheus生態(tài)完美對(duì)接。
- MatrixGate升級(jí):支持?jǐn)?shù)據(jù)去重;新增超時(shí)設(shè)置,提高健壯性;支持指標(biāo)信息查看,方便了解系統(tǒng)負(fù)載及定位問題。
- 滑動(dòng)窗口流式計(jì)算:在流計(jì)算場(chǎng)景,可以對(duì)最近一段時(shí)間內(nèi)的數(shù)據(jù)持續(xù)地分析運(yùn)算。不同于滾筒窗口的不重疊,滑動(dòng)窗口的時(shí)間窗口是可以重疊的?;瑒?dòng)窗口通常搭配監(jiān)控告警使用,當(dāng)最近一段時(shí)間內(nèi)數(shù)據(jù)滿足預(yù)設(shè)條件時(shí),數(shù)據(jù)服務(wù)端會(huì)向客戶端發(fā)送告警消息。
- Kubernetes支持:與Kubernetes生態(tài)完美兼容,可以在Kubernetes上部署MatrixDB集群。
- MxBench性能測(cè)試工具:MxBench是MatrixDB數(shù)據(jù)加載和查詢的壓測(cè)工具,可以根據(jù)用戶給定的設(shè)備數(shù)量、時(shí)間范圍、指標(biāo)數(shù)量配置快速生成隨機(jī)數(shù)據(jù),自動(dòng)創(chuàng)建數(shù)據(jù)表,串行或并發(fā)進(jìn)行數(shù)據(jù)加載和查詢。用戶可以靈活配置指標(biāo)類型、采集頻率、空值率、隨機(jī)度等,還可以指定查詢的線程數(shù)、定制查詢語句等。
- 查詢統(tǒng)計(jì)組件:通過將相同的查詢匯總到一起,來統(tǒng)計(jì)查詢執(zhí)行次數(shù)、耗時(shí)、資源占用信息等。對(duì)數(shù)據(jù)庫(kù)執(zhí)行過的SQL進(jìn)行統(tǒng)計(jì)和監(jiān)控,從而更好地了解各種類型查詢的資源消耗,以及發(fā)現(xiàn)分析慢查詢。
大數(shù)據(jù)生態(tài)圈
Elastic共發(fā)布4個(gè)大版本
截至2022年6月底,Elastic.co發(fā)布了4個(gè)大版本,從7.17.X~8.2.X,每個(gè)大版本中間包括幾個(gè)小升級(jí)版本;7.17.X與8.0.X屬于同步發(fā)行版本,7.17.X版本的主要作用是幫助7.X版本升級(jí)并順利遷移到8.X版本,作為中間的過渡版本。2022年最重要的是結(jié)束了7.X版本延續(xù),發(fā)布了8.X,并側(cè)重更多的智能搜索能力特性。
7.17.X~8.2.X版本的增強(qiáng)與提升:
1、Elasticsearch Java Api Client:自7.15版本開始,在Java編程語言范圍內(nèi),Elastic.co官方推薦開發(fā)者使用Java Api Client進(jìn)行應(yīng)用集成,同比Java High Level REST Client更加輕量,更少依賴,更適合Java語言最新特性,至此到8.0版本開始,從官方層面不再更新維護(hù)Java High Level REST Client,也是作為一個(gè)時(shí)代的演變的結(jié)束。
2、Security:
- 自8.0版本開始,Elasticsearch默認(rèn)會(huì)啟動(dòng)基本的安全策略,并自動(dòng)配置生成安全證書,同時(shí)啟用ssl/https;
- 集群內(nèi)部tcp通信需要配置ca證書,新節(jié)點(diǎn)加入已有集群,可以通過專用工具生成臨時(shí)的token;
- 集群外部訪問也需要配置https證書,同時(shí)需要使用分配的用戶名與密碼訪問。
3、KNN aearch api:
- KNN,全稱“k-nearest neighbor”,直譯“近鄰算法”,是數(shù)據(jù)挖掘或者機(jī)器學(xué)習(xí)中經(jīng)典樸素簡(jiǎn)單的算法之一;
- Elasticsearch在較早時(shí)間,引入了向量字段類型“dense_vector”,支持了更多的智能搜索,如NLP、圖像、語音等領(lǐng)域搜索,但是由于查詢時(shí)采用腳本動(dòng)態(tài)計(jì)算模型,性能上容易出現(xiàn)瓶頸,8.0版本引入KNN算法模型,可有效滿足更大規(guī)模的向量檢索,同比性能提升數(shù)倍;
- Elasticsearch目前引入的KNN算法模型并非樸素的算法,而是目前業(yè)界最流行的“HSSW Algorithm”,詳細(xì)參考wiki。
4、PyTorch for nlp:8.0版本引入了PyTorch模型支持,更方便地支持NLP應(yīng)用 。
5、Storage savings:8.0版本發(fā)布,針對(duì)keyword、match_only_text、text類型,采用了更高效的文本編碼算法,節(jié)約了更多的存儲(chǔ)空間,若是應(yīng)用于日志領(lǐng)域,效果應(yīng)該更明顯。實(shí)際上從7.0到7.17版本,中間也有多次存儲(chǔ)空間的效能提升。
6、Doc value only search:
- 針對(duì)一些簡(jiǎn)單的字段類型,elasticsearch提供了基于doc_value的檢索能力, 通過犧牲原有倒排索引的檢索能力,換取了更快的索引寫入速度、更高的壓縮存儲(chǔ)能力,更快統(tǒng)計(jì)聚合與排序性能;
- 目前支持的字段包括:numeric數(shù)值類型、date日期類型、keyword類型、ip地址、boolean布爾類型。
7、OpenJDK upgrade:Elasticsearch當(dāng)前已經(jīng)升級(jí)到OpenJDK 18.X。
Greenplum共發(fā)布3個(gè)大版本
2022年1月1日至今,Greenplum發(fā)布了從6.19.1到最新版6.21.0(6月15日發(fā)布),共三個(gè)大版本。Greenplum 內(nèi)核基于 PostgreSQL,針對(duì)大數(shù)據(jù)場(chǎng)景和用戶需求開發(fā)了眾多優(yōu)秀特性并作了極致優(yōu)化。隨著Greenplum 版本更新至6.20,內(nèi)核部分主要更新內(nèi)容如下:
- Greenplum 6.20.0 引入了新的 contrib 模塊gp_array_agg。該模塊為Greenplum數(shù)據(jù)庫(kù)實(shí)現(xiàn)了一個(gè)并行的array_agg( )聚合函數(shù)。
- 查詢優(yōu)化器(GPORCA)現(xiàn)在支持對(duì)包含堆分區(qū)和AO分區(qū)的分區(qū)表進(jìn)行位圖掃描。
- 查詢優(yōu)化器(GPORCA)支持為有序聚合生成查詢計(jì)劃,從而提高查詢性能。
- GPDB 支持平臺(tái)更加豐富,添加了對(duì)Redhat RHEL8版本的支持。
- 安全方面的改進(jìn)和提升。
- Resource Group:資源組在按百分比分配CPU資源方面,將包括一個(gè)新模式。之前支持彈性模式,若系統(tǒng)有空余資源,可動(dòng)態(tài)分配?,F(xiàn)在,除了現(xiàn)有的彈性模式,還支持強(qiáng)制模式,嚴(yán)格按照配置供給資源,有效滿足了客戶更豐富的場(chǎng)景需求。
- gp_parallel_retrieve_cursor 并行檢索cursor模塊:用戶可以使用它在Greenplum數(shù)據(jù)庫(kù)主節(jié)點(diǎn)上創(chuàng)建一種特殊的cursor,并按需要或并行地直接從Greenplum segment上檢索查詢結(jié)果。Greenplum將這種cursor稱為并行檢索cursor。
- Greenplum新增了對(duì)pg_trgm和btree_gin兩個(gè)插件的默認(rèn)支持:pg_trgm提供了基于三元組搜索的文本相似度計(jì)算函數(shù),以及相應(yīng)的索引運(yùn)算符。btree_gin為常用數(shù)據(jù)類型實(shí)現(xiàn)了 GIN 索引運(yùn)算符類。
- GP2GP功能:greenplum_fdw模塊是一個(gè)外部數(shù)據(jù)包裝器(FDW),用戶可使用它在一個(gè)或多個(gè)Greenplum Database version 6.20+集群上運(yùn)行查詢。通過新的greenplum_fdw模塊和gp_parallel_retrieve_cursor模塊,可訪問存儲(chǔ)在一個(gè)或多個(gè)外部Greenplum數(shù)據(jù)庫(kù)集群中的數(shù)據(jù),達(dá)到并行按需獲取,實(shí)現(xiàn)跨集群cluster的并行和按需檢索數(shù)據(jù)。
- 安全保護(hù)加強(qiáng):Greenplum Database 6.21.0增加了對(duì)scram -sha-256密碼哈希算法和scram -sha-256客戶端身份驗(yàn)證方法的支持,增強(qiáng)密碼安全保護(hù)。
- Diskquota升級(jí)至2.0版本:新版Diskquota增加了hard-limit模式,如果查詢?cè)趫?zhí)行期間超出磁盤配額限制,將強(qiáng)制終止該查詢。與此同時(shí),針對(duì)不同類型的tablespace,新版Diskquota允許用戶定義不同的磁盤配額限制以及可容忍的最大數(shù)據(jù)傾斜比率。
Flink發(fā)布1.15.0版本
- 進(jìn)一步明確了Checkpoint與Savepoint在語義上的區(qū)別,提高了Savepoint的性能,并允許用戶更精確的控制Savepoint的生命周期;
- 進(jìn)一步完善了流作業(yè)自動(dòng)伸縮調(diào)度器的能力;
- 為用戶提供了批作業(yè)根據(jù)數(shù)據(jù)量自動(dòng)設(shè)置算子并發(fā)的能力;
- 提供了跨Source水印對(duì)齊的能力;
- 初步實(shí)現(xiàn)了Changelog Statebackend;
- 默認(rèn)打開Final Checkpoint功能,保證有限數(shù)據(jù)作業(yè)流批處理結(jié)果一致;
- 初始提供了SQL作業(yè)狀態(tài)兼容版本升級(jí)的能力;
- 提供了批模式下對(duì)Window table-valued函數(shù)的支持;
- SQL提供了對(duì)Json函數(shù)的支持;
- 進(jìn)一步完善了Application部署模式;
- 增加和完善多個(gè)外部系統(tǒng)連接器;
- 去除了對(duì)特定Scala版本的依賴;
- 優(yōu)化了Python API的性能。
ClickHouse共發(fā)布6個(gè)版本
2022年1月至今,ClickHouse主要發(fā)布了6個(gè)stable version, 其中包含一個(gè)LTS版本:v22.3。在這些版本中,ClickHouse在性能、集成度、可用性、穩(wěn)定性方面取得了長(zhǎng)足的進(jìn)步。其中值得關(guān)注的特性有:
- schema自動(dòng)推導(dǎo):ClickHouse在v22.1加入了該特性,能自動(dòng)根據(jù)外部文件后綴判斷對(duì)應(yīng)的壓縮方法和數(shù)據(jù)格式,還能從ORC、Parquet、CSVWithNamesAndTypes、TSVWithNamesAndTypes等格式的文件中自動(dòng)獲取schema。
- 副本粒度的并行查詢:在生產(chǎn)集群中,一個(gè)ClickHouse分片下通常由多個(gè)副本。默認(rèn)情況下每個(gè)查詢只能使用分片下某一個(gè)副本的計(jì)算和存儲(chǔ)資源。因此ClickHouse在v22.1增加了一個(gè)新配置:allow_experimental_parallel_reading_from_replicas,在開啟的情況下ClickHouse將會(huì)在一個(gè)分片的多個(gè)副本間分擔(dān)查詢?nèi)蝿?wù),提升了集群資源的利用率。
- 列的稀疏編碼:ClickHouse在v22.1中加入了該實(shí)驗(yàn)特性。列的稀疏編碼是一種特殊的列編碼,類似于LowCardinality,但它對(duì)用戶完全透明:如果某一列主要包含零值,ClickHouse會(huì)自動(dòng)將其編碼為稀疏格式并自動(dòng)優(yōu)化稀疏編碼列的計(jì)算。
- Hive表引擎:ClickHouse在v22.1中加入該特性。通過它可實(shí)現(xiàn)對(duì)Hive數(shù)倉(cāng)的SELECT查詢,目前支持ORC/Parquet/TEXT格式的Hive表查詢,并通過分布式查詢、本地文件緩存、行列裁剪、元數(shù)據(jù)緩存等方式不斷優(yōu)化Hive表引擎的性能。
- Projection Is Production Ready:Projection可讓同一個(gè)ClickHouse表中擁有多份不同的數(shù)據(jù)表示,例如在一張表中同時(shí)存儲(chǔ)聚合和明細(xì)數(shù)據(jù)。ClickHouse會(huì)自動(dòng)優(yōu)化查詢,為其選擇最合適的Projection。區(qū)別于物化視圖,Projection可保證表的數(shù)據(jù)一致性。在v22.2中,Projection這個(gè)重量級(jí)特性已經(jīng)是Production Ready狀態(tài)
- ClickHouse Keeper Is Production Ready:在ClickHouse中,ClickHouse Keeper是ZooKeeper的替代品。它兼容 ZooKeeper的協(xié)議和數(shù)據(jù)模型,并可無縫替代 ZooKeeper(最高版本3.5)供ClickHouse和其他應(yīng)用使用。它可作為獨(dú)立組件運(yùn)行,也可以嵌入到 clickhouse-server中運(yùn)行。經(jīng)過不斷優(yōu)化,從v22.3 LTS開始ClickHouse Keeper在讀寫方面都比ZooKeeper更快,同時(shí)消耗更少的內(nèi)存,日志和快照的磁盤占用也更低。在v22.3 LTS中,ClickHouse Keeper已處于Production Ready的狀態(tài)
- 半結(jié)構(gòu)化數(shù)據(jù):ClickHouse在v22.3 LTS中引入了這個(gè)實(shí)驗(yàn)特性。通過半結(jié)構(gòu)化類型,ClickHouse可在未指定JSON schema的情況下分析JSON數(shù)據(jù)。JSON中可任意嵌套array和map等復(fù)雜類型,ClickHouse內(nèi)部會(huì)自動(dòng)調(diào)整對(duì)JSON數(shù)據(jù)的表示。該特性大大提升了ClickHouse分析半結(jié)構(gòu)化數(shù)據(jù)的易用性和性能。
- 事務(wù):ClickHouse在v22.4中引入了事務(wù)作為實(shí)驗(yàn)特性。通過BEGIN TRANSACTION, COMMIT, ROLLBACK語句支持原子地插入多張表或物化視圖,以及從單個(gè)快照進(jìn)行滿足一致性和隔離性的讀取。
- ClickHouse啟動(dòng)加速:v22.4中引入了配置use_metadata_cache,通過它可選擇將元數(shù)據(jù)緩存于內(nèi)嵌的RocksDB存儲(chǔ)引擎中。當(dāng)ClickHouse啟動(dòng)時(shí),它會(huì)盡量從緩存中獲取元數(shù)據(jù),否則退化到從磁盤文件獲取。在極端情況下(700k個(gè)parts), 它能使啟動(dòng)時(shí)間從75分鐘縮短到20秒
- 并行Hash Join:v22.5中引入了并行Hash Join。這種新的Join實(shí)現(xiàn)將Join切分成多個(gè)block然后并行執(zhí)行。這對(duì)大數(shù)據(jù)量的Join尤其有用,在并行度足夠高的情況下可減少80%的查詢時(shí)長(zhǎng)。該特性可通過配置join_algorithm = 'parallel_hash'來開啟。
國(guó)產(chǎn)數(shù)據(jù)庫(kù)
SequoiaDB發(fā)布3.6及5.0.3版本
2022年1月至今,巨杉數(shù)據(jù)庫(kù)SequoiaDB主要發(fā)布了v3.6及v5.0.3兩個(gè)版本,在性能等方面進(jìn)行了優(yōu)化提升。
一、主要特性:
- SQL引擎:新增了建表語句選項(xiàng),支持映射到存儲(chǔ)引擎中已存在的集合;
- 存儲(chǔ)引擎:新增了上下文清理機(jī)制,回收站能力,及Flink 連接器,提供 SequoiaDB 與流式框架對(duì)接的能力。與此同時(shí),對(duì)索引元數(shù)據(jù)納入編目節(jié)點(diǎn)統(tǒng)一管理,增強(qiáng)索引一致性,并提供獨(dú)立索引能力,支持根據(jù)業(yè)務(wù)需要在特定的節(jié)點(diǎn)上創(chuàng)建索引。
二、性能優(yōu)化(主要集中在SQL引擎方面):
- SELECT ... LOCK IN SHARE MODE更新為使用共享鎖,提升操作并發(fā)性能;
- 優(yōu)化部分場(chǎng)景下SELECT COUNT的性能;
- 優(yōu)化多字段IN查詢以及多字段多范圍查詢時(shí)的性能;
- 優(yōu)化聯(lián)合索引關(guān)聯(lián)查詢時(shí),支持BKA JOIN算法以提升對(duì)應(yīng)JOIN操作的性能;
- 優(yōu)化提升OR條件下INDEX MERGE的性能等。
三、工具優(yōu)化:
- SQL引擎:新增實(shí)例組用戶密碼變更工具h(yuǎn)a_inst_group_chpass,元數(shù)據(jù)映射初始化工具sql_enable_mapping,元數(shù)據(jù)映射查看工具sql_get_mapping等;
- 存儲(chǔ)引擎:sdbimprt工具返回唯一索引沖突數(shù)。
達(dá)夢(mèng)數(shù)據(jù)庫(kù)發(fā)布DM 8.1.2.116版本
2022年1月至今,達(dá)夢(mèng)數(shù)據(jù)庫(kù)主要發(fā)布了DM 8.1版本,其中值得關(guān)注的更新如下:
- 基于AWR功能,提供DBA_HIST_TBSPC_SPACE_USAGE動(dòng)態(tài)視圖,通過該視圖可以查詢快照時(shí)間點(diǎn)的表空間的空間使用情況;
- 新增了SVI權(quán)限角色和新的系統(tǒng)視圖,進(jìn)一步控制普通用戶的權(quán)限,增加系統(tǒng)安全性的同時(shí)不影響普通用戶的正常使用;
- 分區(qū)表增刪子表與查詢并發(fā);
- 新增支持兩種加密算法XASJ_SYMM, XASJ_ASYMM;
- 新增支持json_table相關(guān)功能;
- 新增text數(shù)據(jù)類型比較功能;
- 對(duì)多表連接+層次查詢+order by rowid場(chǎng)景的SQL語句執(zhí)行速度進(jìn)行優(yōu)化;
- 對(duì)unpivot查詢獲取執(zhí)行計(jì)劃優(yōu)化。
QianBase?發(fā)布1.6.6SP6_1~SP6_3
易鯨捷QianBase?在2022年上半年結(jié)合用戶需求和項(xiàng)目實(shí)踐,陸續(xù)發(fā)布了QianBase? 1.6.6SP6_1~SP6_3,針對(duì)產(chǎn)品的功能、可用性、穩(wěn)定性及數(shù)據(jù)一致性等方面進(jìn)行進(jìn)一步優(yōu)化,主要新增特性及功能增強(qiáng)包括:
1、數(shù)據(jù)庫(kù):
- 優(yōu)化ESP退出機(jī)制,支持session連接斷開或事務(wù)結(jié)束時(shí)退出ESP,該機(jī)制通過CQD控制;
- 優(yōu)化offender對(duì)于中文字符編碼的支持。
2、存儲(chǔ)引擎:優(yōu)化RegionServer GC策略,支持單個(gè)大事務(wù)多個(gè)分支場(chǎng)景以及多個(gè)大事務(wù)并發(fā)場(chǎng)景。
3、連接服務(wù):
- 增加WMS對(duì)于高并發(fā)場(chǎng)景的支持;
- 優(yōu)化dcsstop機(jī)制。
4、異步復(fù)制:
- 提升JDBCTX從斷點(diǎn)讀取binlog性能;
- JDBCTX支持numeric超過18位解析;
- 修改binlog初始化后默認(rèn)為最大可靠模式并提示配置遠(yuǎn)程集群信息;
- 解決主備切換后DDL導(dǎo)致集群故障的場(chǎng)景。
5、數(shù)據(jù)一致性:
- 解決事務(wù)卡在提交的第二階段但客戶端返回成功的一致性問題;
- 解決update與delete并發(fā)執(zhí)行時(shí)更新丟失的問題。
6、高可用:解決在線balance后鎖殘留問題。
7、其他:優(yōu)化sqcheck功能。
ArkDB主要提升及優(yōu)化
2022年1月至今,ArkDB主要在以下方面進(jìn)行了提升和優(yōu)化:
- Arkolap自動(dòng)優(yōu)化SQL路由策略優(yōu)化;
- ArkDB冷熱數(shù)據(jù)分片管理實(shí)現(xiàn);
- ArkDB冷熱數(shù)據(jù)分片統(tǒng)一讀寫實(shí)現(xiàn);
- ArkDB實(shí)現(xiàn)數(shù)據(jù)寫入的精確統(tǒng)計(jì)分析;
- 穩(wěn)定性提升優(yōu)化;
- 新增存儲(chǔ)引擎ArkFT,用來處理全文索引數(shù)據(jù)處理請(qǐng)求;
- 修改Arkolap存儲(chǔ)引擎的創(chuàng)建方式;
- 通過使用libcurl來優(yōu)化對(duì)ES訪問性能以及功能完備性。
OushuDB 5.0版本更新概要
2022年上半年,OushuDB發(fā)布的5.0版本主要在以下方面進(jìn)行了提升和優(yōu)化:
- 多主節(jié)點(diǎn)架構(gòu),實(shí)現(xiàn)了主節(jié)點(diǎn)集群的高可用,可以水平擴(kuò)展,支持分析型負(fù)載的高并發(fā);
- 多虛擬存儲(chǔ)集群架構(gòu),支持多租戶的存儲(chǔ)資源隔離,有效解決了單一存儲(chǔ)集群資源瓶頸的限制;
- 分區(qū)表元數(shù)據(jù)重構(gòu),極大地降低了元數(shù)據(jù)體量,提升了分區(qū)表操作的性能;
- AO表事務(wù)重構(gòu),減少了對(duì)元數(shù)據(jù)的讀寫,進(jìn)一步提升update/delete性能。
云數(shù)據(jù)庫(kù)
華為云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
一、華為云GaussDB(for openGauss)
GaussDB(for openGauss)主要發(fā)布了2.7.1.200,新特性主要有:
- 行存轉(zhuǎn)向量化:行存轉(zhuǎn)向量化適配,混合負(fù)載時(shí)性能提升。在相同資源環(huán)境和業(yè)務(wù)負(fù)載情況下,TPC-H性能較“行存引擎+行存執(zhí)行框架”提升30%。
- 并行邏輯解碼:在使用JDBC或pg_recvlogical解碼時(shí),通過設(shè)置parallel-decode-num參數(shù)來開啟并行解碼特性,數(shù)據(jù)庫(kù)內(nèi)核通過一個(gè)讀取線程、多個(gè)解碼線程以及一個(gè)發(fā)送線程之間的流水線協(xié)同運(yùn)行進(jìn)行邏輯解碼操作,解碼速度顯著提升。
- Global SysCache:將系統(tǒng)緩存與會(huì)話解耦,綁定到線程上,結(jié)合線程池特性達(dá)到降低內(nèi)存占用的目的,同時(shí)結(jié)合全局緩存,提升緩存命中率,保持性能穩(wěn)定。
- 支持流式容災(zāi):計(jì)劃內(nèi)、計(jì)劃外容災(zāi)切換保證分布式事務(wù)強(qiáng)一致,相比之前的基于OBS的容災(zāi),流式復(fù)制提供更快的性能和更高的可用性,RPO<10秒,RTO<10分鐘。
- 支持NAS備份恢復(fù):可備份到NAS并基于NAS恢復(fù),適合期望把備份文件存放在云外的客戶。
二、華為云GaussDB(for MySQL)
新功能如下:
- 數(shù)據(jù)庫(kù)代理Proxy支持會(huì)話級(jí)一致性讀,解決讀取一致性訴求;
- 數(shù)據(jù)庫(kù)代理Proxy支持規(guī)格變更;
- GaussDB(for MySQL)支持秒級(jí)監(jiān)控,提供1S和5S的監(jiān)控粒度,助力用戶問題排查;
- GaussDB(for MySQL)支持SQL限流功能,提升業(yè)務(wù)穩(wěn)定性;
- GaussDB(for MySQL)支持DAS慢日志導(dǎo)出;
- 支持慢日志脫敏開關(guān)功能,用戶可以自行控制日志是否脫敏;
- 備份恢復(fù)\按時(shí)間點(diǎn)恢復(fù)支持恢復(fù)到當(dāng)前實(shí)例、已有實(shí)例;
- 支持定時(shí)重啟實(shí)例。
三、 華為云RDS系列產(chǎn)品
- 極速型SSD云盤,結(jié)合25GE網(wǎng)絡(luò)和RDMA技術(shù),可以提供單盤最大吞吐量達(dá)1000 MB/s并具有亞毫秒級(jí)低時(shí)延性能;
- 數(shù)據(jù)庫(kù)停機(jī)不計(jì)費(fèi)功能,支持對(duì)數(shù)據(jù)庫(kù)實(shí)例關(guān)機(jī),通過暫時(shí)停止按需實(shí)例以節(jié)省費(fèi)用;
- RDS for MySQL高可用只讀實(shí)例:當(dāng)只讀實(shí)例所在物理機(jī)故障后,備用只讀實(shí)例會(huì)自動(dòng)頂替以達(dá)到高可用,減少由于只讀實(shí)例長(zhǎng)時(shí)間重建和恢復(fù)對(duì)業(yè)務(wù)的影響;
- RDS for MySQL多Proxy功能:云數(shù)據(jù)庫(kù)MySQL支持開通單Proxy或多Proxy功能。其中,多Proxy功能支持創(chuàng)建多個(gè)Proxy實(shí)例并設(shè)置只讀權(quán)重,適用于需要業(yè)務(wù)隔離的場(chǎng)景;
- RDS for PostgreSQL支持升級(jí)內(nèi)核小版本:支持手動(dòng)升級(jí)內(nèi)核小版本,內(nèi)核小版本的升級(jí)涉及性能提升、新功能或問題修復(fù)等;
- 新增SQL Server 2019系列,支持跨版本恢復(fù)。
四、華為云GaussDB(for Redis)
新發(fā)布的核心特性有:
- 企業(yè)級(jí)雙活容災(zāi):支持建立主備容災(zāi)實(shí)例,數(shù)據(jù)實(shí)時(shí)同步,10s RPO;
- 多租隔離能力提升:單實(shí)例支持6w多DB;
- 前綴搜索性能提升:SCAN match prefix*速度比開源Redis快1000倍;
- 服務(wù)化能力提升:WebClient網(wǎng)頁(yè)客戶端、快速規(guī)格選型、監(jiān)控指標(biāo)聚合等;
- 業(yè)務(wù)場(chǎng)景提升:排行榜、延遲隊(duì)列等業(yè)務(wù)場(chǎng)景下性能提升;
- 支持0改造搬遷:完全兼容主從/哨兵/集群模式SDK,業(yè)務(wù)無需改代碼即可上云;
- 兼容性提升:支持布隆過濾器、Redisson分布式鎖API、阻塞命令、key過期事件監(jiān)聽等。
五、文檔數(shù)據(jù)庫(kù)服務(wù)DDS
DDS主要發(fā)布了4.2版本等其他管控特性,新特性主要有:
- 4.2版本正式商用;
- 集群時(shí)間點(diǎn)備份恢復(fù);
- 副本集支持添加只讀節(jié)點(diǎn);
- 支持租戶面小版本升級(jí)。
六、分布式數(shù)據(jù)庫(kù)中間件DDM
- DDM備份恢復(fù)功能:DDM恢復(fù)特性用于誤刪庫(kù)或者RDS for MySQL本身出現(xiàn)異常等業(yè)務(wù)場(chǎng)景,可根據(jù)過去的某個(gè)時(shí)間點(diǎn),將DDM元數(shù)據(jù)數(shù)據(jù)與已經(jīng)PITR恢復(fù)完成的RDS for MySQL實(shí)例進(jìn)行匹配,重建DDM和RDS for MySQL的關(guān)聯(lián)關(guān)系,恢復(fù)DDM;
- 管理員賬號(hào)功能;
- 只讀組可在同VPC內(nèi)跨子網(wǎng)創(chuàng)建功能。
七、數(shù)據(jù)復(fù)制服務(wù)DRS
- 同步場(chǎng)景和災(zāi)備場(chǎng)景支持包周期和多規(guī)格,并統(tǒng)一調(diào)整價(jià)格策略;
- DB2-GaussDB(for openGauss)同步場(chǎng)景下支持DB210.1,11.1,11.5版本;
- MySQL-MySQL、GaussDB(for MySQL)等10+條重要鏈路的常用功能特性拉齊(包括行過濾、增量DDL等);
- 支持同步場(chǎng)景的TiDB-GaussDB(for MySQL)新鏈路;
- 支持同步場(chǎng)景的DB2-Kafka新鏈路;
- 支持同步場(chǎng)景的SQL Server-GaussDB(DWS)新鏈路;
- 支持同步場(chǎng)景的MongoDB副本集-MongoDB副本集新鏈路;
- 同步場(chǎng)景下MySQL-CSS支持行過濾、列過濾、對(duì)象選擇excel導(dǎo)入、任務(wù)克隆等功能;
- 同步場(chǎng)景下MySQL-GaussDB(DWS)支持增加時(shí)間戳、行過濾等常用數(shù)據(jù)加工功能。
阿里云2022上半年數(shù)據(jù)庫(kù)產(chǎn)品更新匯總
一、阿里云數(shù)據(jù)庫(kù)自研產(chǎn)品
1、云原生關(guān)系型數(shù)據(jù)庫(kù)PolarDB
1)PolarDB-X發(fā)布三個(gè)版本
2022年1月,PolarDB-X正式發(fā)布2.0.1版本,更新內(nèi)容包括新增讀寫分離、集群擴(kuò)縮容等特性,兼容maxwell和debezium增量日志訂閱,以及新增其他眾多新特性和修復(fù)若干問題。
2022年3月,PolarDB-X正式發(fā)布2.1.0版本,包含了四大核心特性,全面提升PolarDB-X穩(wěn)定性和生態(tài)兼容性,其中包含基于Paxos的三副本共識(shí)協(xié)議。
2022年4月,PolarDB-X正式發(fā)布2.1.1版本,重點(diǎn)推出冷熱數(shù)據(jù)新特性,可以支持業(yè)務(wù)表的數(shù)據(jù)按照數(shù)據(jù)特性分別存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上,比如將冷數(shù)據(jù)存儲(chǔ)到Aliyun OSS對(duì)象存儲(chǔ)上。
2)PolarDB for PostgreSQL
2022年3月2日,開源PolarDB企業(yè)級(jí)架構(gòu)重磅發(fā)布,首次公開開源PolarDB的總體結(jié)構(gòu)設(shè)計(jì)和企業(yè)級(jí)特性,對(duì)PolarDB for PostgreSQL的存儲(chǔ)計(jì)算分離架構(gòu)、HTAP架構(gòu)、三節(jié)點(diǎn)高可用架構(gòu)進(jìn)行了全面介紹。
PolarDB for PostgreSQL 100%兼容PostgreSQL,采用基于共享存儲(chǔ)的存儲(chǔ)計(jì)算分離架構(gòu),具有極致彈性、毫秒級(jí)延遲,支持HTAP的能力,還支持時(shí)空、GIS、圖像、向量、搜索、圖譜等多模創(chuàng)新特性,可應(yīng)對(duì)企業(yè)對(duì)數(shù)據(jù)處理日新月異的需求。
- 極致彈性:存儲(chǔ)與計(jì)算能力均可獨(dú)立地橫
網(wǎng)站名稱:2022上半年盤點(diǎn):20+主流數(shù)據(jù)庫(kù)重大更新及技術(shù)要點(diǎn)匯總
文章轉(zhuǎn)載:http://m.fisionsoft.com.cn/article/dhogopi.html


咨詢
建站咨詢
