新聞中心
優(yōu)化一個(gè)分布式系統(tǒng)的吞吐能力,除了應(yīng)用本身代碼外,很大程度上是在優(yōu)化它所依賴的中間件集群處理能力。如:kafka/redis/rabbitmq/postgresql/分布式存儲(chǔ)(CephFS,JuiceFS,C urve,Longhorn)等集群的處理能力。

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比嵩縣網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式嵩縣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋嵩縣地區(qū)。費(fèi)用合理售后完善,10余年實(shí)體公司更值得信賴。
分布式存儲(chǔ)集群(Longhorn)
這里主要用于 Citus 集群的協(xié)調(diào)器(coordinator)和工作器(worker) 節(jié)點(diǎn)的數(shù)據(jù)持久化。
具體文檔,請(qǐng)參閱:https://longhorn.io/
分布式 PostgreSQL 集群(Citus)
這里主要用于對(duì) Sentry 事件源數(shù)據(jù)大表 nodestore_node 的分片。
具體文檔,請(qǐng)參閱:
https://docs.citusdata.com/en/v11.1/
讀寫分離和高可用(PgPool+Repmgr)
這里主要用于對(duì) Citus 節(jié)點(diǎn)(協(xié)調(diào)器/工作器)進(jìn)行讀寫分離和主備高可用。
具體文檔,請(qǐng)參閱:
https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
https://repmgr.org/
管理集群節(jié)點(diǎn)(PgAdmin)
具體文檔,請(qǐng)參閱:
https://www.pgadmin.org/
nodestore_node 大表分片
選擇分布式 key,并將表轉(zhuǎn)換分布式表,這里將表劃分為 64 個(gè)分片,數(shù)據(jù)平均分配到 6 臺(tái) worker 節(jié)點(diǎn):
# 創(chuàng)建分布式表
SELECT create_distributed_table('nodestore_node', 'id', colocate_with => 'none', shard_count => 64);
# 平衡分片
SELECT rebalance_table_shards();
# 查詢分片
SELECT * FROM citus_shards;
總結(jié)
中間件集群基礎(chǔ)設(shè)施建設(shè),本身涉及細(xì)節(jié)較多,可以說(shuō)是另一個(gè)領(lǐng)域。
本文提供了一種筆者的實(shí)踐思路,拋磚引玉。
網(wǎng)站欄目:云原生分布式PostgreSQL+Citus集群在Sentry后端的實(shí)踐
本文網(wǎng)址:http://m.fisionsoft.com.cn/article/dppgcid.html


咨詢
建站咨詢
