混合VS多云：Kafka架構(gòu)中的五個主要比較

作者：Harris編譯 2022-09-05 10:18:55

云計算 Apache Kafka是一種開源數(shù)據(jù)處理軟件，在不同的應(yīng)用程序中有多種用途。使用下述指南確定適合您的存儲類型。

?對于使用Apache Kafka的人來說，混合云和多云基礎(chǔ)架構(gòu)有很多好處。

云技術(shù)對現(xiàn)代企業(yè)來說變得比以往任何時候都更加重要。94%的企業(yè)投資于云基礎(chǔ)設(shè)施，因為它提供的好處。

據(jù)估計，使用云的公司中有87%依賴于混合云環(huán)境。但是，一些公司使用其他云解決方案，這也需要討論。

如今，大多數(shù)公司的云生態(tài)系統(tǒng)包括基礎(chǔ)設(shè)施、合規(guī)性、安全性和其他方面。這些基礎(chǔ)架構(gòu)可以位于混合云或多云中。此外，多云系統(tǒng)根據(jù)組織需求從不同供應(yīng)商處采購云基礎(chǔ)設(shè)施。

混合云戰(zhàn)略有很多好處，但也應(yīng)該討論多云基礎(chǔ)架構(gòu)的好處。多云基礎(chǔ)架構(gòu)意味著當(dāng)您從不同供應(yīng)商處獲得技術(shù)時，這些供應(yīng)商可以是私有的，也可以是公共的?；旌显葡到y(tǒng)是結(jié)合不同云類型的云部署模型，同時使用本地硬件解決方案和公共云。

您可以安全地使用Apache Kafka集群，使用各種云服務(wù)（如Amazon的S3等）將數(shù)據(jù)從本地硬件解決方案無縫移動到數(shù)據(jù)湖。但請記住一件事，您必須在云集群中復(fù)制主題，或者您必須開發(fā)一個自定義連接器來從云讀取和復(fù)制到應(yīng)用程

不同Apache Kafka架構(gòu)的五個主要比較　　

1. Kafka和ETL處理

可能將Apache Kafka用于高性能數(shù)據(jù)管道、流式傳輸各種分析數(shù)據(jù)或使用Kafka運行公司關(guān)鍵資產(chǎn)，但您是否知道您也可以使用Kafka集群在多個系統(tǒng)之間移動數(shù)據(jù).

這是因為您通常會看到Kafka生產(chǎn)者發(fā)布數(shù)據(jù)或?qū)⑵渫扑偷終afka主題，以便應(yīng)用程序可以使用數(shù)據(jù)。但是Kafka消費者通常是定制的應(yīng)用程序，它們將數(shù)據(jù)饋送到目標應(yīng)用程序中。因此，您可以使用您的云提供商的工具，這些工具可以讓您創(chuàng)建將提取和轉(zhuǎn)換數(shù)據(jù)的作業(yè)，同時還為您提供加載ETL數(shù)據(jù)的優(yōu)勢。

Amazon的AWS Glue就是這樣一種工具，它允許使用來自Apache Kafka的數(shù)據(jù)和Amazon管理的Apache Kafka(MSK)流。它將使您能夠快速轉(zhuǎn)換數(shù)據(jù)結(jié)果并將其加載到AmazonS3數(shù)據(jù)湖或JDBC數(shù)據(jù)存儲中。

2. 架構(gòu)設(shè)計

在大多數(shù)系統(tǒng)案例中，第一步通常是構(gòu)建一個響應(yīng)迅速且可管理的ApacheKafka架構(gòu)，以便用戶可以快速查看這些數(shù)據(jù)。例如-如果您應(yīng)該處理和記錄具有許多關(guān)鍵數(shù)據(jù)集的文件，例如員工保險單表格。然后，您可以使用各種云工具來提取數(shù)據(jù)以進行進一步處理。

您還可以配置AWSGlue等基于云的工具，以連接您的本地云硬件并建立安全連接。三步ETL框架作業(yè)應(yīng)該可以解決問題。如果您不確定這些步驟，那么它們是：步驟1：創(chuàng)建工具與本地ApacheKafka數(shù)據(jù)存儲源的連接。步驟2：創(chuàng)建數(shù)據(jù)目錄表。第3步：創(chuàng)建ETL作業(yè)并將該數(shù)據(jù)保存到數(shù)據(jù)湖。

3. 連接

使用預(yù)定義的Kafka連接，您可以使用AWS膠水等各種云工具在數(shù)據(jù)目錄中創(chuàng)建安全的安全套接字層(SSL)連接。此外，您應(yīng)該知道這些連接始終需要自簽名SSL證書。

此外，您可以采取多個步驟從信息中獲得更多價值。例如，您可以使用Quick Sight等各種商業(yè)智能工具將數(shù)據(jù)嵌入到內(nèi)部Kafka儀表板中。然后另一個團隊成員可以使用事件驅(qū)動架構(gòu)來通知管理員并執(zhí)行各種下游操作。盡管在處理特定數(shù)據(jù)類型時都應(yīng)該這樣做，但這里的可能性是無窮無盡的。

4. 安全組

當(dāng)您需要像AWS Glue這樣的云工具在其組件之間來回通信時，您需要為所有傳輸控制協(xié)議(TCP)端口指定一個具有自引用入站規(guī)則的安全組。它將使您能夠?qū)?shù)據(jù)源限制在同一個安全組；從本質(zhì)上講，它們都可以為所有流量預(yù)先配置一個自引用入站規(guī)則。然后，您需要設(shè)置ApacheKafka主題，引用這個新創(chuàng)建的連接，并使用模式檢測功能。

5. 數(shù)據(jù)處理

完成Apache Kafka連接并創(chuàng)建作業(yè)后，您可以格式化源數(shù)據(jù)，稍后您將需要這些數(shù)據(jù)。您還可以使用各種轉(zhuǎn)換工具來處理您的數(shù)據(jù)庫。對于此數(shù)據(jù)處理，請借助您之前創(chuàng)建的ETL腳本，遵循上述三個步驟。

結(jié)論

Apache Kafka是一種開源數(shù)據(jù)處理軟件，在不同的應(yīng)用程序中有多種用途。使用上述指南確定適合您的存儲類型。?

名稱欄目：混合VS多云：Kafka架構(gòu)中的五個主要比較
文章源于：http://m.fisionsoft.com.cn/article/dpochhe.html