盛世嫡妃凤轻小说,完美的世界 1993 电影,盗墓笔记小说下载

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案

深入了解數(shù)據(jù)庫歸檔，精確掌握數(shù)據(jù)備份與恢復(fù)(數(shù)據(jù)庫歸檔是什么意思)

在當(dāng)今數(shù)字化時(shí)代，數(shù)據(jù)已經(jīng)成為一個(gè)組織的最重要資產(chǎn)之一。因此，數(shù)據(jù)的備份和恢復(fù)變得非常重要。雖然多種不同的技術(shù)可以用于數(shù)據(jù)備份和恢復(fù)，但數(shù)據(jù)庫歸檔是其中更受歡迎和最廣泛使用的一種方法。在本文中，我們將深入了解數(shù)據(jù)庫歸檔，以及如何精確掌握數(shù)據(jù)備份和恢復(fù)。

什么是數(shù)據(jù)庫歸檔？

數(shù)據(jù)庫歸檔是指將數(shù)據(jù)庫中的歷史數(shù)據(jù)轉(zhuǎn)儲到其他介質(zhì)，以便在需要時(shí)進(jìn)行恢復(fù)。它可以確保數(shù)據(jù)的一致性和完整性，并且是數(shù)據(jù)庫備份的最常用方法之一。

與其他數(shù)據(jù)備份方法相比，數(shù)據(jù)庫歸檔具有許多優(yōu)勢。在數(shù)據(jù)庫歸檔時(shí)，只有歷史數(shù)據(jù)被轉(zhuǎn)儲，因此它比完整備份所需的空間要小得多。因?yàn)樗晦D(zhuǎn)儲歷史數(shù)據(jù)，所以恢復(fù)系統(tǒng)所需的時(shí)間更短。

數(shù)據(jù)庫歸檔可以分為兩類：物理歸檔和邏輯歸檔。物理歸檔是指將數(shù)據(jù)庫文件轉(zhuǎn)儲到磁盤或磁帶等介質(zhì)上。邏輯歸檔是指將SQL過程與數(shù)據(jù)存儲到外部文件中。

實(shí)施數(shù)據(jù)庫歸檔可以為組織帶來許多好處。它可以減少恢復(fù)時(shí)間，簡化存儲，提高系統(tǒng)性能，確保數(shù)據(jù)完整性，并使組織能夠更好地規(guī)劃其IT資源。

數(shù)據(jù)庫歸檔的備份和恢復(fù)

備份數(shù)據(jù)庫是指將數(shù)據(jù)庫備份副本保存在不同位置，以便在數(shù)據(jù)丟失或損壞時(shí)恢復(fù)。在備份數(shù)據(jù)庫時(shí)，最常用的方法是文件級備份（將數(shù)據(jù)庫文件復(fù)制到備份位置）和物理備份（使用數(shù)據(jù)庫管理系統(tǒng)的物理備份功能）。

恢復(fù)數(shù)據(jù)庫是指從備份中恢復(fù)數(shù)據(jù)。如果數(shù)據(jù)庫出現(xiàn)故障，您可以使用備份文件恢復(fù)系統(tǒng)。您可以使用收回和應(yīng)用操作，將備份數(shù)據(jù)應(yīng)用于要恢復(fù)的數(shù)據(jù)庫。

在進(jìn)行數(shù)據(jù)庫備份和恢復(fù)時(shí)，需要注意以下幾點(diǎn)：

1. 備份和恢復(fù)應(yīng)在非生產(chǎn)環(huán)境中進(jìn)行：應(yīng)在生產(chǎn)環(huán)境之外的系統(tǒng)上執(zhí)行數(shù)據(jù)備份和恢復(fù)操作。這可以確保在損壞數(shù)據(jù)庫時(shí)不會影響生產(chǎn)環(huán)境。

2. 定期備份數(shù)據(jù)庫：根據(jù)業(yè)務(wù)需求，確定數(shù)據(jù)庫備份頻率。如果數(shù)據(jù)定期更改，則可能需要每小時(shí)或每天備份一次。如果數(shù)據(jù)不經(jīng)常更改，則每周備份一次可能足夠。

3. 測試備份的完整性：在將備份文件存儲到備份服務(wù)器時(shí)，請使用備份校驗(yàn)工具測試備份的完整性。

4. 計(jì)劃恢復(fù)測試：在生產(chǎn)環(huán)境正式使用數(shù)據(jù)庫之前，應(yīng)定期進(jìn)行恢復(fù)測試以確保數(shù)據(jù)恢復(fù)成功。

更佳實(shí)踐建議

以下是一些更佳實(shí)踐，可確保數(shù)據(jù)庫歸檔和備份的成功：

1. 使用最新的數(shù)據(jù)庫軟件版本和更新：轉(zhuǎn)儲和恢復(fù)歷史數(shù)據(jù)可能會出現(xiàn)問題，而最新的數(shù)據(jù)庫軟件版本通常具有更好的歸檔和備份功能。

2. 確保備份服務(wù)器有足夠的空間：您應(yīng)該確定備份服務(wù)器有足夠的空間來存儲定期備份。

3. 不要將備份文件存儲在同一位置：備份文件應(yīng)存儲在另一個(gè)位置或介質(zhì)上，以防止出現(xiàn)單點(diǎn)故障。

4. 實(shí)施多層備份策略：對數(shù)據(jù)庫實(shí)施多層備份策略，可以確保數(shù)據(jù)隨時(shí)可用。例如，在組織的各個(gè)地理位置維護(hù)多個(gè)備份，以及將備份存儲到云中。

5. 自動(dòng)化備份：使用自動(dòng)化備份工具可以減少人工錯(cuò)誤，并確保無論何時(shí)備份都在計(jì)劃范圍內(nèi)。

結(jié)論

將數(shù)據(jù)備份和恢復(fù)納入組織的IT戰(zhàn)略中非常重要。數(shù)據(jù)庫歸檔是備份和恢復(fù)數(shù)據(jù)的重要方法之一，可以幫助組織確保數(shù)據(jù)的完整性和可用性。然而，備份數(shù)據(jù)并非最終目的，而是數(shù)據(jù)恢復(fù)。組織應(yīng)該定期進(jìn)行恢復(fù)測試，以確保在出現(xiàn)數(shù)據(jù)損壞時(shí)能夠成功地恢復(fù)系統(tǒng)。

相關(guān)問題拓展閱讀：

數(shù)據(jù)庫數(shù)據(jù)歸檔，有什么好辦法

數(shù)據(jù)庫數(shù)據(jù)歸檔，有什么好辦法

pt-archiver原理解析

作為MySQL DBA，可以說應(yīng)該沒有不知道pt-archiver了，作為pt-toolkit套件中的重要成員，往往能夠輕松幫助DBA解決數(shù)據(jù)歸檔的問題。例如線上一個(gè)流水表，業(yè)務(wù)僅僅只需要存放最近3個(gè)月的流水?dāng)?shù)據(jù)，三個(gè)月前的數(shù)據(jù)做歸檔即可，那么pt-archiver就可以輕松幫你完成這件事情，甚至你可以配置成自動(dòng)任務(wù)，無需人工干預(yù)。

作為DBA，我們應(yīng)該知其然更應(yīng)該知其所以然，這樣我們也能夠放心地使用pt工具。相信很多DBA都研究過pt-online-schema-change的原理，那么今天我們深入刨一刨pt-archiver的工作原理。

一、原理觀察

土人有土辦法，我們直接開啟general log來觀察pt-archiver是如何完成歸檔的。

命令

pt-archiver –source h=127.0.0.1,u=xucl,p=xuclxucl,P=3306,D=xucl,t=t1 –dest h=127.0.0.1,P=3306,u=xucl,p=xuclxucl,D=xucl_archive,t=t1 –progress 5000 \

–statistics –charset=utf8mb4 –limit=txn-sizesleep 30

常用選項(xiàng)

–yze

指定工具完成數(shù)據(jù)歸檔后對表執(zhí)行’ANAZE TABLE’操作。指定方法如’–yze=ds’，s代表源端表，d代表目標(biāo)端表，也可以單獨(dú)指定。

–ask-pass

命令行提示密碼輸入，保護(hù)密碼安全，前提需安裝模塊perl-TermReadKey。

–buffer

指定緩沖區(qū)數(shù)據(jù)刷新到選項(xiàng)’–file’指定的文燃讓首件并且在提交時(shí)刷新。

只有當(dāng)事務(wù)提交時(shí)禁用自動(dòng)刷新到’–file’指定的文件和刷新文件到磁盤，這意味著文件是作系統(tǒng)塊進(jìn)行刷新，因此在事務(wù)進(jìn)行提交之前有一些數(shù)據(jù)隱式刷新到磁盤。默認(rèn)是每一行操作后進(jìn)行文件刷新到磁盤。

–bulk-delete

指定單個(gè)語句刪除chunk的方式來批量刪除行，會隱式執(zhí)行選項(xiàng)’–commit-each’。

使用單個(gè)DELETE語句刪除每個(gè)chunk對應(yīng)的表行，通常的做法是通過主鍵進(jìn)行逐行的刪除，批量刪除在速度上會有很大的提升，但如果有復(fù)雜的’WHERE’條件就可能會更慢。

–bulk-delete-limit

默認(rèn)值：yes

指定添加選項(xiàng)’–bulk-delete’和’–limit’到進(jìn)行歸檔的語句中。

–bulk-insert

使用LOAD DATA LOCAL INFILE的方法，通過批量插入chunk的方式來插入行(隱式指定選項(xiàng)’–bulk-delete’和’–commit-each’)

而不是通過逐行單獨(dú)插入的方式進(jìn)行，它比單行執(zhí)行INSERT語句插入的速度要快。通過隱式創(chuàng)建臨時(shí)表來存儲需要批量插入的行(chunk)，而不是直接進(jìn)行批量插入操作，當(dāng)臨時(shí)表中完成每個(gè)chunk之后再進(jìn)行統(tǒng)一數(shù)據(jù)加載。為了保證數(shù)據(jù)皮數(shù)的安全性，該選項(xiàng)會強(qiáng)制使用選項(xiàng)’–bulk-delete’，這樣能夠有效保證刪除是在插入完全成功之后進(jìn)行的。

–channel

指定當(dāng)主從復(fù)制環(huán)境是多源復(fù)制時(shí)需要進(jìn)行歸檔哪個(gè)主庫的數(shù)據(jù)，適用于多源復(fù)制中多個(gè)主庫對應(yīng)一個(gè)從庫的情形。

–charset，-A

指定連接字符集。

–check-charset

默認(rèn)值：yes

指定檢查確保數(shù)據(jù)庫連接時(shí)字符集和表字符集相同。

–check-columns

默認(rèn)值：yes

指定檢查確保選項(xiàng)’–source’指定的源端表和’–dest’指定的目標(biāo)表具有相同的字段。

不檢查字段在表的排序和字段類型，只檢查字段是否在源端表和目標(biāo)表當(dāng)中都存在，如果有不相同滑皮的字段差異，則工具報(bào)錯(cuò)退出。如果需要禁用該檢查，則指定’–no-check-columns’。

–check-slave-lag

指定主從復(fù)制延遲大于選項(xiàng)’–max-lag’指定的值之后暫停歸檔操作。默認(rèn)情況下，工具會檢查所有的從庫，但該選項(xiàng)只作用于指定的從庫(通過DSN連接方式)。

–check-interval

默認(rèn)值：1s

如果同時(shí)指定了選項(xiàng)’–check-slave-lag’，則該選項(xiàng)指定的時(shí)間為工具發(fā)現(xiàn)主從復(fù)制延遲時(shí)暫停的時(shí)間。每進(jìn)行操作100行時(shí)進(jìn)行一次檢查。

–columns，-c

指定需要?dú)w檔的表字段，如有多個(gè)則用’,'(逗號)隔開。

–commit-each

指定按每次獲取和歸檔的行數(shù)進(jìn)行提交，該選項(xiàng)會禁用選項(xiàng)’–txn-size’。

在每次獲取表數(shù)據(jù)并進(jìn)行歸檔之后，在獲取下一次數(shù)據(jù)和選項(xiàng)’–sleep’指定的休眠時(shí)間之前，進(jìn)行事務(wù)提交和刷新選項(xiàng)’–file’指定的文件，通過選項(xiàng)’–limit’控制事務(wù)的大小。

–host，-h

指定連接的數(shù)據(jù)庫IP地址。

–port，-P

指定連接的數(shù)據(jù)庫Port端口。

–user，-u

指定連接的數(shù)據(jù)庫用戶。

–password，-p

指定連接的數(shù)據(jù)庫用戶密碼。

–socket，-S

指定使用SOCKET文件連接。

–databases，-d

指定連接的數(shù)據(jù)庫

–source

指定需要進(jìn)行歸檔操作的表，該選項(xiàng)是必須指定的選項(xiàng)，使用DSN方式表示。

–dest

指定要?dú)w檔到的目標(biāo)端表，使用DSN方式表示。

如果該選項(xiàng)沒有指定的話，則默認(rèn)與選項(xiàng)’–source’指定源端表為相同表。

–where

指定通過WHERE條件語句指定需要?dú)w檔的數(shù)據(jù)，該選項(xiàng)是必須指定的選項(xiàng)。不需要加上’WHERE’關(guān)鍵字，如果確實(shí)不需要WHERE條件進(jìn)行限制，則指定’–where 1=1’。

–file

指定表數(shù)據(jù)需要?dú)w檔到的文件。使用類似MySQL DATE_FORMAT()格式化命名方式。

文件內(nèi)容與MySQL中SELECT INTO OUTFILE語句使用相同的格式，文件命名選項(xiàng)如下所示：

%Y：年，4位數(shù)(Year, numeric, four digits)

%m：月，2位數(shù)(Month, numeric (01..12))

%d：日，2位數(shù)(Day of the month, numeric (01..31))

%H：小時(shí)(Hour (00..23))

%i：分鐘(Minutes, numeric (00..59))

%s：秒(Seconds (00..59))

%D：數(shù)據(jù)庫名(Database name)

%t：表名(Table name)

例如：–file ‘/var/log/archive/%Y-%m-%d-%D.%t’

–output-format

指定選項(xiàng)’–file’文件內(nèi)容輸出的格式。

默認(rèn)不指定該選項(xiàng)是以制表符進(jìn)行字段的分隔符，如果指定該選項(xiàng)，則使用’,'(逗號)作為字段分隔符，使用'”‘(雙引號)將字段括起。用法示例：’–output-format=dump’。

–for-update

指定為每次歸檔執(zhí)行的SELECT語句添加FOR UPDATE子句。–share-lock

指定為每次歸檔執(zhí)行的SELECT語句添加LOCK IN SHARE MODE子句。

–header

指定在文件中之一行寫入字段名稱作為標(biāo)題。

–ignore

指定為INSERT語句添加IGNORE選項(xiàng)。

–limit

默認(rèn)值：1

指定每條語句獲取表和歸檔表的行數(shù)。

–local

指定不將OPTIMIZE和ANAZE語句寫入binlog。

–max-lag

默認(rèn)值：1s

指定允許主從復(fù)制延遲時(shí)長的更大值，單位秒。如果在每次獲取行數(shù)據(jù)之后主從延遲超過指定的值，則歸檔操作將暫停執(zhí)行，暫停休眠時(shí)間為選項(xiàng)’–check-interval’指定的值。待休眠時(shí)間結(jié)束之后再次檢查主從延遲時(shí)長，檢查方法是通過從庫查詢的’Seconds_Behind_Master’值來確定。如果主從復(fù)制延遲一直大于該參數(shù)指定值或者從庫停止復(fù)制，則操作將一直等待直到從庫重新啟動(dòng)并且延遲小于該參數(shù)指定值。

–no-delete

指定不刪除已被歸檔的表數(shù)據(jù)。

–optimize

指定工具完成數(shù)據(jù)歸檔后對表執(zhí)行’OPTIMIZE TABLE’操作。指定方法如’–yze=ds’，s代表源端表，d代表目標(biāo)端表，也可以單獨(dú)指定。

–primary-key-only

指定只歸檔主鍵字段，是選項(xiàng)’–columns=主鍵’的簡寫。

如果工具歸檔的操作是進(jìn)行DELETE清除時(shí)最有效，因?yàn)橹恍枳x取主鍵一個(gè)字段而無需讀取行所有字段。

–progress

指定每多少行打印進(jìn)度信息，打印當(dāng)前時(shí)間，已用時(shí)間以及多少行進(jìn)行歸檔。

–purge

指定執(zhí)行的清除操作而不是歸檔操作。允許忽略選項(xiàng)’–dest’和’–file’進(jìn)行操作，如果只是清除操作可以結(jié)合選項(xiàng)’–primary-key-only’會更高效。

–quiet，-q

指定工具靜默執(zhí)行，不輸出任何的執(zhí)行信息。

–replace

指定寫入選項(xiàng)’–dest’指定目標(biāo)端表時(shí)改寫INSERT語句為REPLACE語句。

–retries

默認(rèn)值：1

指定歸檔操作遇到死鎖或超時(shí)的重試次數(shù)。當(dāng)重試次數(shù)超過該選項(xiàng)指定的值時(shí)，工具將報(bào)錯(cuò)退出。

–run-time

指定工具歸檔操作在退出之前需要運(yùn)行的時(shí)間。允許的時(shí)間后綴名為s=秒，m=分，h=小時(shí)，d=天，如果沒指定，默認(rèn)為s。

–safe-auto-increment

默認(rèn)值：yes

指定不使用自增列(AUTO_INCREMENT)更大值對應(yīng)的行進(jìn)行歸檔。

該選項(xiàng)在進(jìn)行歸檔清除時(shí)會額外添加一條WHERE子句以防止工具刪除單列升序字段具有的具有AUTO_INCREMENT屬性更大值的數(shù)據(jù)行，為了在數(shù)據(jù)庫重啟之后還能使用到AUTO_INCREMENT對應(yīng)的值，但這會引起無法歸檔或清除字段對應(yīng)更大值的行。

–set-vars

默認(rèn)：

wait_timeout=10000

innodb_lock_wait_timeout=1

lock_wait_timeout=60

工具歸檔時(shí)指定參數(shù)值，如有多個(gè)用’,'(逗號)分隔。如’–set-vars=wait_timeout=5000’。

–skip-foreign-key-checks

指定使用語句SET FOREIGN_KEY_CHECKS = 0禁用外鍵檢查。

–sleep

指定工具在通過SELECT語句獲取歸檔數(shù)據(jù)需要休眠的時(shí)間，默認(rèn)值是不進(jìn)行休眠。在休眠之前事務(wù)并不會提交，并且選項(xiàng)’–file’指定的文件不會被刷新。如果指定選項(xiàng)’–commit-each’，則在休眠之前會進(jìn)行事務(wù)提交和文件刷新。

–statistics

指定工具收集并打印操作的時(shí)間統(tǒng)計(jì)信息。

統(tǒng)計(jì)信息示例如下：

‘

Started atT07:18:53, ended atT07:18:53

Source: D=db,t=table

SELECT 4

INSERT 4

DELETE 4

ActionCountTimePct

commit 0..27

select 0..87

deleting 0..29

inserting 0..28

other..29

–txn-size

默認(rèn)：1

指定每個(gè)事務(wù)處理的行數(shù)。如果是0則禁用事務(wù)功能。

–version

顯示工具的版本并退出。

–version-check

默認(rèn)值：yes

檢查Percona Toolkit、MySQL和其他程序的最新版本。

–why-quit

指定工具打印當(dāng)非因完成歸檔行數(shù)退出的原因。

在執(zhí)行一個(gè)自動(dòng)歸檔任務(wù)時(shí)該選項(xiàng)與選項(xiàng)’–run-time’一起使用非常方便，這樣可以確定歸檔任務(wù)是否在指定的時(shí)間內(nèi)完成。如果同時(shí)指定了選項(xiàng)’–statistics’，則會打印所有退出的原因。

二、原理解析

根據(jù)general log的輸出，我們整理出時(shí)序表格如下

三、其他說明

咋一看這個(gè)過程貌似也沒有什么問題，但是，假如在原表掃描出數(shù)據(jù)，插入到新表的過程中，舊數(shù)據(jù)發(fā)生了變化怎么辦？

帶著這個(gè)疑問，我們進(jìn)行了源碼的跟蹤，我們在pt-archiver的6839行打上了斷點(diǎn)

然后我分別在幾個(gè)session窗口做了如下動(dòng)作

最后pt-archiver輸出如下：

# A software update is available:

TIME ELAPSED COUNT

T09:13: 0

T09:13: 1

Started atT09:13:21, ended atT09:13:51

Source: A=utf8mb4,D=xucl,P=3306,h=127.0.0.1,p=…,t=t1,u=xucl

Dest: A=utf8mb4,D=xucl_archive,P=3306,h=127.0.0.1,p=…,t=t1,u=xucl

SELECT 1

INSERT 1

DELETE 1

ActionCountTimePct

sleep..89

inserting 0..07

commit 0..03

select 0..01

deleting 0..00

other..00

很明顯，id=3這條記錄并沒有進(jìn)行歸檔（我們這里是改了條件列，實(shí)際生產(chǎn)中可能是更改了其他列，造成歸檔數(shù)據(jù)不準(zhǔn)確）

那么如何來解決這種情況的發(fā)生呢？

顯然，數(shù)據(jù)庫在數(shù)據(jù)庫中可以通過加排它鎖來防止其他程序修改對應(yīng)的數(shù)據(jù)，pt-archiver其實(shí)早就已經(jīng)幫我們考慮到了這樣的情況，pt-archiver提供了兩種選擇

–for-update：Adds the FOR UPDATE modifier to SELECT statements

–share-lock：Adds the LOCK IN SHARE MODE modifier to SELECT statements

四、總結(jié)

pt-archiver作為歸檔工具無疑是MySQL DBA日常運(yùn)維的大利器之一，在使用過程中在知道如何使用的基礎(chǔ)上也能夠知曉其原理

歸檔過程中更好能對歸檔記錄進(jìn)行加鎖操作，以免造成歸檔數(shù)據(jù)不準(zhǔn)確

在主從環(huán)境中，歸檔過程更好控制速度，以免造成主從延遲

盡量控制好chunk的大小，不要過大，造成大事務(wù)

首先，數(shù)據(jù)存檔（data archiving）是將不再經(jīng)常使用的數(shù)據(jù)移到一個(gè)單獨(dú)的存儲設(shè)備來進(jìn)行長期保存的過程。唯拿

Mysql：

1、復(fù)制表并且按照條件插入數(shù)據(jù)（此種方法除了主鍵索引不包括其他索引）

CREATE TABLE lime_survey_549656_as select 指隱搭* from lime_survey_where submitdate

ALTER TABLE lime_survey_549656_change id id int primary key auto_increment;

CREATE TABLE lime_survey_186194_as select * from lime_survey_where submitdate

ALTER TABLE lime_survey_186194_change id id int primary key auto_increment;

CREATE TABLE lime_survey_279575_as select * from lime_survey_where submitdate

ALTER TABLE lime_survey_279575_change id id int primary key auto_increment;

2、數(shù)據(jù)歸檔成功后清理數(shù)據(jù)sql:

deletefrom lime_survey_where submitdate

deletefrom lime_survey_攜枯 where submitdate

deletefrom lime_survey_where submitdate

SQL Server：

關(guān)于數(shù)據(jù)庫歸檔是什么意思的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。

創(chuàng)新互聯(lián)成都網(wǎng)站建設(shè)公司提供專業(yè)的建站服務(wù)，為您量身定制，歡迎來電（028-86922220）為您打造專屬于企業(yè)本身的網(wǎng)絡(luò)品牌形象。
成都創(chuàng)新互聯(lián)品牌官網(wǎng)提供專業(yè)的網(wǎng)站建設(shè)、設(shè)計(jì)、制作等服務(wù)，是一家以網(wǎng)站建設(shè)為主要業(yè)務(wù)的公司，在網(wǎng)站建設(shè)、設(shè)計(jì)和制作領(lǐng)域具有豐富的經(jīng)驗(yàn)。

新聞名稱：深入了解數(shù)據(jù)庫歸檔，精確掌握數(shù)據(jù)備份與恢復(fù)(數(shù)據(jù)庫歸檔是什么意思)
文章網(wǎng)址：http://m.fisionsoft.com.cn/article/coihgsi.html

新聞中心

數(shù)據(jù)庫數(shù)據(jù)歸檔，有什么好辦法

其他資訊

數(shù)據(jù)庫數(shù)據(jù)歸檔，有什么好辦法