新聞中心
Harbor是VMware公司開源的企業(yè)級(jí)DockerRegistry項(xiàng)目,其目標(biāo)是幫助用戶迅速搭建一個(gè)企業(yè)級(jí)的Dockerregistry服務(wù)。 它以Docker公司開源的registry為基礎(chǔ),提供了管理UI,基于角色的訪問控制(Role Based Access Control),AD/LDAP集成、以及審計(jì)日志(Auditlogging) 等企業(yè)用戶需求的功能,同時(shí)還原生支持中文。

成都創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營(yíng)銷推廣、網(wǎng)站重做改版、烏魯木齊網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5建站、商城網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù),價(jià)格優(yōu)惠性價(jià)比高,為烏魯木齊等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
說明
在上一篇《企業(yè)級(jí)安裝與配置Harbor鏡像管理系統(tǒng)》中,我們簡(jiǎn)要說明了單機(jī)版本harbor的配置。然而這種單機(jī)部署顯然無法滿足在生產(chǎn)中需求,必須要保證應(yīng)用的高可用性。
目前有兩種主流的方案來解決這個(gè)問題:
雙主復(fù)制
多harbor實(shí)例共享后端存儲(chǔ)
雙主復(fù)制
主從同步
harbor官方默認(rèn)提供主從復(fù)制的方案來解決鏡像同步問題,通過復(fù)制的方式,我們可以實(shí)時(shí)將測(cè)試環(huán)境harbor倉庫的鏡像同步到生產(chǎn)環(huán)境harbor,類似于如下流程:
在實(shí)際生產(chǎn)運(yùn)維的中,往往需要把鏡像發(fā)布到幾十或上百臺(tái)集群節(jié)點(diǎn)上。這時(shí),單個(gè)Registry已經(jīng)無法滿足大量節(jié)點(diǎn)的下載需求,因此要配置多個(gè)Registry實(shí)例做負(fù)載均衡。手工維護(hù)多個(gè)Registry實(shí)例上的鏡像,將是十分繁瑣的事情。Harbor可以支持一主多從的鏡像發(fā)布模式,可以解決大規(guī)模鏡像發(fā)布的難題:
只要往一臺(tái)Registry上發(fā)布,鏡像就像“仙女散花”般地同步到多個(gè)Registry中,高效可靠。
如果是地域分布較廣的集群,還可以采用層次型發(fā)布方式,如從集團(tuán)總部同步到省公司,從省公司再同步到市公司:
然而單靠主從同步,仍然解決不了harbor主節(jié)點(diǎn)的單點(diǎn)問題。
雙主復(fù)制說明
所謂的雙主復(fù)制其實(shí)就是復(fù)用主從同步實(shí)現(xiàn)兩個(gè)harbor節(jié)點(diǎn)之間的雙向同步,來保證數(shù)據(jù)的一致性,然后在兩臺(tái)harbor前端頂一個(gè)負(fù)載均衡器將進(jìn)來的請(qǐng)求分流到不同的實(shí)例中去,只要有一個(gè)實(shí)例中有了新的鏡像,就是自動(dòng)的同步復(fù)制到另外的的實(shí)例中去,這樣實(shí)現(xiàn)了負(fù)載均衡,也避免了單點(diǎn)故障,在一定程度上實(shí)現(xiàn)了Harbor的高可用性:
這個(gè)方案有一個(gè)問題就是有可能兩個(gè)Harbor實(shí)例中的數(shù)據(jù)不一致。假設(shè)如果一個(gè)實(shí)例A掛掉了,這個(gè)時(shí)候有新的鏡像進(jìn)來,那么新的鏡像就會(huì)在另外一個(gè)實(shí)例B中,后面即使恢復(fù)了掛掉的A實(shí)例,Harbor實(shí)例B也不會(huì)自動(dòng)去同步鏡像,這樣只能手動(dòng)的先關(guān)掉Harbor實(shí)例B的復(fù)制策略,然后再開啟復(fù)制策略,才能讓實(shí)例B數(shù)據(jù)同步,讓兩個(gè)實(shí)例的數(shù)據(jù)一致。
另外,我還需要多吐槽一句,在實(shí)際生產(chǎn)使用中,主從復(fù)制十分的不靠譜。
所以這里推薦使用下面要說的這種方案。
多harbor實(shí)例共享后端存儲(chǔ)
方案說明
共享后端存儲(chǔ)算是一種比較標(biāo)準(zhǔn)的方案,就是多個(gè)Harbor實(shí)例共享同一個(gè)后端存儲(chǔ),任何一個(gè)實(shí)例持久化到存儲(chǔ)的鏡像,都可被其他實(shí)例中讀取。通過前置LB進(jìn)來的請(qǐng)求,可以分流到不同的實(shí)例中去處理,這樣就實(shí)現(xiàn)了負(fù)載均衡,也避免了單點(diǎn)故障:
這個(gè)方案在實(shí)際生產(chǎn)環(huán)境中部署需要考慮三個(gè)問題:
共享存儲(chǔ)的選取,Harbor的后端存儲(chǔ)目前支持AWS S3、Openstack Swift, Ceph等,在我們的實(shí)驗(yàn)環(huán)境里,就直接使用nfs。
Session在不同的實(shí)例上共享,這個(gè)現(xiàn)在其實(shí)已經(jīng)不是問題了,在最新的harbor中,默認(rèn)session會(huì)存放在redis中,我們只需要將redis獨(dú)立出來即可??梢酝ㄟ^redis sentinel或者redis cluster等方式來保證redis的可用性。在我們的實(shí)驗(yàn)環(huán)境里,仍然使用單臺(tái)redis。
Harbor多實(shí)例數(shù)據(jù)庫問題,這個(gè)也只需要將harbor中的數(shù)據(jù)庫拆出來獨(dú)立部署即可。讓多實(shí)例共用一個(gè)外部數(shù)據(jù)庫,數(shù)據(jù)庫的高可用也可以通過數(shù)據(jù)庫的高可用方案保證。
環(huán)境說明
實(shí)驗(yàn)環(huán)境
ip role
192.168.198.133 harbor
192.168.198.135 harbor
192.168.198.136 redis、mysql、nfs
需要強(qiáng)調(diào)的是,我們的環(huán)境中,不包括負(fù)載均衡器的配置,請(qǐng)自行查閱負(fù)載均衡配置相關(guān)文檔
配置說明
安裝nfs
# 安裝nfs
apt install nfs-kernel-server nfs-common
# 編輯/etc/exports文件
/data *(rw,no_root_squash)
chmod 777 -R /data
systemctl start nfs-server
安裝redis和mysql
這里我們就直接通過docker安裝,docker-compose.yml文件內(nèi)容如下:
version: '3'
services:
mysql-server:
hostname: mysql-server
container_name: mysql-server
image: mysql:5.7
network_mode: host
volumes:
- /mysql57/data:/var/lib/mysql
command: --character-set-server=utf8
environment:
MYSQL_ROOT_PASSWORD: 123456
redis:
hostname: redis-server
container_name: redis-server
image: redis:3
network_mode: host
啟動(dòng)
docker-compose up -d
導(dǎo)入registry數(shù)據(jù)庫
配置好了mysql以后,還需要往mysql數(shù)據(jù)庫中導(dǎo)入harbor registry庫。在《企業(yè)級(jí)安裝與配置Harbor鏡像管理系統(tǒng)》中,我們安裝了一個(gè)單機(jī)版harbor,啟動(dòng)了一個(gè)mysql,里面有一個(gè)registry數(shù)據(jù)庫,直接導(dǎo)出來,然后再導(dǎo)入到新數(shù)據(jù)庫中:
# 導(dǎo)出數(shù)據(jù)庫:
docker exec -it harbor_db /bin/bash
mysqldump -uroot -p --databases registry > registry.dump
# 在宿主機(jī)上將registry.dump復(fù)制出來
docker cp harbor_db:/registry.dump ./
# 將宿主機(jī)上的registry.dump復(fù)制到獨(dú)立的mysql容器中
docker cp ./registry.dump :/registry.dump
# 在獨(dú)立的mysql容器將將registry數(shù)據(jù)庫導(dǎo)入
docker exec -it /bin/bash
mysql -uroot -p
mysql> source /registry.dump
配置harbor
掛載nfs目錄
在harbor節(jié)點(diǎn)上掛載nfs目錄:
mount -t nfs 192.168.198.136:/data /data
修改harbor.cfg配置
在harbor節(jié)點(diǎn)上,下載好harbor的安裝包,生成好自簽名證書,修改prepare文件,可直接參考《企業(yè)級(jí)安裝與配置Harbor鏡像管理系統(tǒng)》,不同的是,harbor.cfg文件需要修改數(shù)據(jù)庫及redis配置如下:
db_host = 192.168.198.136
db_password = 123456
db_port = 3306
db_user = root
redis_url = 192.168.198.136:6379
修改docker-compose.yml配置
與單機(jī)版harbor相比,集群配置不再需要啟動(dòng)mysql和redis,所以docker-compose.yml也需要作相應(yīng)修改。事實(shí)上,在harbor的安裝目錄中,有個(gè)ha的目錄,里面已經(jīng)提供了我們需要的docker-compose.yml文件,只需要復(fù)制出來即可。實(shí)際上,在這個(gè)目錄中,還提供了使用lvs作為負(fù)載均衡器時(shí),keepalived的配置。
cp ha/docker-compose.yml
./prepare
./install.sh
在兩個(gè)harbor節(jié)點(diǎn)上完成安裝以后,我們可以通過綁定hosts到不同的節(jié)點(diǎn)來驗(yàn)證兩個(gè)節(jié)點(diǎn)的負(fù)載均衡效果。
新聞標(biāo)題:部署harbor高可用集群
當(dāng)前URL:http://m.fisionsoft.com.cn/article/dheojeh.html


咨詢
建站咨詢
