完美世界辰东小说下载,已完结小说排行榜,灵域

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷(xiāo)解決方案

HTAP測(cè)試工具-HyBench初探

隨著IoT、手機(jī)應(yīng)用、人工智能等發(fā)展帶來(lái)數(shù)據(jù)爆炸式增長(zhǎng)，越來(lái)越多的場(chǎng)景需要通過(guò)高效的數(shù)據(jù)管理和處理獲得即時(shí)見(jiàn)解，HTAP因而成為全球數(shù)據(jù)技術(shù)的熱門(mén)趨勢(shì)。HTAP（即混合事務(wù)/分析處理）數(shù)據(jù)庫(kù)能夠同時(shí)支撐在線事務(wù)處理（OLTP）和在線分析處理（OLAP）場(chǎng)景，避免了傳統(tǒng)架構(gòu)中在線與離線數(shù)據(jù)庫(kù)之間大量的數(shù)據(jù)交互。具體而言，OLTP實(shí)現(xiàn)在線交易處理，典型場(chǎng)景如銀行轉(zhuǎn)賬業(yè)務(wù)；OLAP用于數(shù)據(jù)分析和報(bào)告。兩種數(shù)據(jù)庫(kù)本是相互獨(dú)立的系統(tǒng)，而HTAP數(shù)據(jù)庫(kù)將傳統(tǒng)的OLTP和OLAP模式合二為一，基于一站式架構(gòu)同時(shí)處理事務(wù)請(qǐng)求和查詢(xún)分析請(qǐng)求，不僅消除了從關(guān)系型數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)倉(cāng)庫(kù)的數(shù)據(jù)抽取、轉(zhuǎn)換和加載過(guò)程，還支持實(shí)時(shí)地分析最新事務(wù)數(shù)據(jù)，以靈活、高效、易用方式助力企業(yè)應(yīng)對(duì)數(shù)字化時(shí)代挑戰(zhàn)。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),綏濱企業(yè)網(wǎng)站建設(shè),綏濱品牌網(wǎng)站建設(shè),網(wǎng)站定制,綏濱網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,綏濱網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M(mǎn)足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶(hù)成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

圖片

1. HTAP 評(píng)測(cè)

HTAP數(shù)據(jù)庫(kù)核心的技術(shù)評(píng)價(jià)主要包括處理混合負(fù)載的性能、OLAP與OLTP之間的數(shù)據(jù)同步延遲（數(shù)據(jù)新鮮度）兩大方面。雖然目前針對(duì)HTAP型數(shù)據(jù)庫(kù)，有CH-benCHmark、HTAPBench、OLXPBench、HATrick等測(cè)試基準(zhǔn)，但這些測(cè)試基準(zhǔn)在數(shù)據(jù)模型、工作負(fù)載、評(píng)測(cè)指標(biāo)方面無(wú)法支撐對(duì)HTAP的核心技術(shù)進(jìn)行評(píng)價(jià)。

圖片

2. 測(cè)試工具-HyBench

HyBench是由中國(guó)軟件評(píng)測(cè)中心、清華大學(xué)聯(lián)合牽頭，北京奧星貝斯科技有限公司、武漢達(dá)夢(mèng)數(shù)據(jù)庫(kù)股份有限公司、華為技術(shù)有限公司、騰訊云計(jì)算有限公司、阿里云計(jì)算有限公司共同研發(fā)，為數(shù)據(jù)庫(kù)廠商和第三方評(píng)測(cè)機(jī)構(gòu)提供HTAP數(shù)據(jù)庫(kù)基準(zhǔn)性能的評(píng)價(jià)方法及工具。

HyBench的出現(xiàn)，使用戶(hù)可以客觀地評(píng)價(jià)HTAP數(shù)據(jù)庫(kù)性能；幫助數(shù)據(jù)庫(kù)廠商在數(shù)據(jù)庫(kù)研發(fā)過(guò)程中進(jìn)行面向HTAP場(chǎng)景的性能評(píng)價(jià)和壓測(cè)；為第三方評(píng)測(cè)機(jī)構(gòu)提供客觀的數(shù)據(jù)庫(kù)性能測(cè)試服務(wù)。如何權(quán)衡負(fù)載隔離性與數(shù)據(jù)新鮮度并取得平衡，是HTAP數(shù)據(jù)庫(kù)在設(shè)計(jì)過(guò)程中的最大挑戰(zhàn)，同時(shí)也決定了其核心的技術(shù)評(píng)價(jià)為處理OLTP與OLAP混合負(fù)載的能力（性能）和OLAP與OLTP之間的數(shù)據(jù)同步延遲（數(shù)據(jù)新鮮度）兩大方面，此外還應(yīng)該具備基本的單獨(dú)處理OLTP和OLAP負(fù)載的能力。

1)HyBench 架構(gòu)

圖片

2)基準(zhǔn)模型

基準(zhǔn)模型基于在線金融應(yīng)用，模擬轉(zhuǎn)賬業(yè)務(wù)與風(fēng)控結(jié)合的場(chǎng)景，是典型的HTAP數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用場(chǎng)景，測(cè)試數(shù)據(jù)根據(jù)真實(shí)情況采用傾斜分布，工作負(fù)載設(shè)計(jì)了在線事務(wù)轉(zhuǎn)賬與實(shí)時(shí)數(shù)據(jù)分析，評(píng)測(cè)指標(biāo)方面，提出了基于事務(wù)處理吞吐量、查詢(xún)處理吞吐量、混合處理吞吐量以及新鮮度的統(tǒng)一度量指標(biāo)，使得HTAP數(shù)據(jù)庫(kù)的評(píng)價(jià)更全面、準(zhǔn)確。

圖片

3)評(píng)測(cè)指標(biāo)

HyBench選取了OLTP的性能、OLAP的性能、OLTP與OLAP混合負(fù)載性能以及數(shù)據(jù)新鮮度作為衡量指標(biāo)，以下為各測(cè)評(píng)指標(biāo)的定義。

圖片

數(shù)據(jù)新鮮度

數(shù)據(jù)新鮮度指標(biāo)反映OLAP負(fù)載訪問(wèn)到的數(shù)據(jù)的實(shí)時(shí)性，一般有兩種衡量方式：

統(tǒng)計(jì)OLAP分析的最新元組數(shù)目與OLTP所有更新的元組數(shù)目的比率，最高為1
計(jì)算OLAP查詢(xún)到最新數(shù)據(jù)的延遲時(shí)間

HyBench基準(zhǔn)選擇了延遲時(shí)間作為數(shù)據(jù)新鮮度的衡量指標(biāo)，具體的計(jì)算方式為：在每個(gè)表單中有一個(gè)時(shí)間戳字段，在執(zhí)行混合負(fù)載時(shí)，經(jīng)過(guò)間隔時(shí)間段同時(shí)在OLTP與OLAP負(fù)載上進(jìn)行查詢(xún)，對(duì)比結(jié)果集的數(shù)據(jù)差異與時(shí)間戳差異，并將最大的時(shí)間戳差值作為數(shù)據(jù)新鮮度測(cè)量值。時(shí)間戳差值越小，代表延遲時(shí)間越短，則數(shù)據(jù)新鮮度指標(biāo)越優(yōu)。新鮮度是基于 OLXP 負(fù)載測(cè)試的性能度量指標(biāo)，描述了查詢(xún)結(jié)果集數(shù)據(jù)中的最大時(shí)間戳與最新事務(wù)數(shù)據(jù)時(shí)間戳間的差距，理想情況下，查詢(xún)操作總是能讀到最新的數(shù)據(jù)，即查詢(xún)結(jié)果時(shí)間與最新事務(wù)時(shí)間完全一致，此時(shí)性能達(dá)到最優(yōu)。根據(jù)上述描述，可將新鮮度的計(jì)算公式定義為：

圖片

其中，TM 是最新事務(wù)數(shù)據(jù)的時(shí)間戳，TQ 是查詢(xún)結(jié)果集 Q 的最大時(shí)間戳，W 是所查詢(xún)的實(shí)例（OLTP 實(shí)例或 OLAP 實(shí)例）。由于數(shù)據(jù)間同步往往有延遲，故新鮮度以整體數(shù)據(jù)查詢(xún)最大延遲時(shí)間的平均值作為評(píng)價(jià)指標(biāo)，以更好的評(píng)估 OLXP 負(fù)載的性能優(yōu)劣。

H-Score

H-Score指標(biāo)綜合了事務(wù)處理吞吐量TPS、分析查詢(xún)吞吐量QPS、混合負(fù)載吞吐量XPS、數(shù)據(jù)新鮮度以及數(shù)據(jù)規(guī)模因子SF，公式表示如下：

圖片

H-Score是一個(gè)具有創(chuàng)新意義的衡量指標(biāo)，它較全面的包含了量化 HTAP 數(shù)據(jù)庫(kù)性能的各方面因素。H-Score的計(jì)算方式在本質(zhì)上反映工作負(fù)載隔離和數(shù)據(jù)新鮮度之間的權(quán)衡，即工作負(fù)載隔離越好，混合負(fù)載性能 XPS 越高，但數(shù)據(jù)新鮮度指標(biāo)也可能更差。因此 H-Score 作為 HyBench 基準(zhǔn)的測(cè)評(píng)指標(biāo)是客觀合理的。

4)工具原理

圖片

3. HyBench實(shí)踐

1)執(zhí)行方法

圖片

2)配置文件

圖片

3)測(cè)試過(guò)程及結(jié)果

這里構(gòu)造個(gè)簡(jiǎn)單模擬環(huán)境，驗(yàn)證 HyBench 工具的使用。環(huán)境中使用 MySQL 主從庫(kù)，分別模擬 OLTP 和OLAP 環(huán)境。

圖片

測(cè)試的結(jié)果輸出如下：

圖片

本文名稱(chēng)：HTAP測(cè)試工具-HyBench初探
鏈接URL：http://m.fisionsoft.com.cn/article/dposjeo.html