新聞中心
Kafka是最初由Linkedin公司開發(fā),是一個(gè)分布式、支持分區(qū)的(partition)、多副本的(replica),基于zookeeper協(xié)調(diào)的分布式消息系統(tǒng),它的最大的特性就是可以實(shí)時(shí)的處理大量數(shù)據(jù)以滿足各種需求場(chǎng)景:比如基于hadoop的批處理系統(tǒng)、低延遲的實(shí)時(shí)系統(tǒng)、storm/Spark流式處理引擎,web/nginx日志、訪問(wèn)日志,消息服務(wù)等等。

成都創(chuàng)新互聯(lián)專注于禪城企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),成都商城網(wǎng)站開發(fā)。禪城網(wǎng)站建設(shè)公司,為禪城等地區(qū)提供建站服務(wù)。全流程按需網(wǎng)站設(shè)計(jì),專業(yè)設(shè)計(jì),全程項(xiàng)目跟蹤,成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)
Kafka:2.12-2.5.0
1、安裝JDK 1.8
yum -y install java-1.8.0*
java -version 命令查看JDK版本,如圖安裝成功:
2、安裝zookeeper服務(wù)
參考文章:Linux下ZooKeeper的安裝及使用
3、創(chuàng)建工作目錄,下載安裝包:
#創(chuàng)建安裝目錄
mkdir -p /opt/kafka
#移動(dòng)到目錄
cd /opt/kafka
#下載kafka安裝包
wget https://mirrors.aliyun.com/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz
#解壓縮
tar -zxvf kafka_2.12-2.5.0.tgz
4、配置文件:
#進(jìn)入配置目錄
cd kafka_2.12-2.5.0/config/
#備份配置文件
cp server.properties server.properties.bak
#修改配置文件
vim server.properties
#修改及添加以下配置
broker.id=1
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092
#其他自定義配置(根據(jù)實(shí)際修改)
zookeeper.connect=127.0.0.1:2181
zookeeper.connection.timeout.ms=18000
#保存退出
:wq
#配置說(shuō)明 broker.id:當(dāng)前機(jī)器在集群中的唯一標(biāo)識(shí)。例如有三臺(tái)Kafka主機(jī),則分別配置為1,2,3。
listeners:服務(wù)監(jiān)聽端口。
advertised.listeners:提供給生產(chǎn)者,消費(fèi)者的端口號(hào),即外部訪問(wèn)地址。默認(rèn)為listeners的值。
zookeeper.connect:zookeeper連接地址。如有集群配置,每臺(tái)Kafka主機(jī)都需要連接全部zookeeper服務(wù),實(shí)例如下:
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181
zookeeper.connection.timeout.ms:zookeeper連接超時(shí)時(shí)間。
5、啟動(dòng)Kafka:
(首先確保已啟動(dòng)zookeeper)
#移到工作目錄
cd /opt/kafka/kafka_2.12-2.5.0/bin/
#啟動(dòng)kafka
./kafka-server-start.sh -daemon ../config/server.properties
#關(guān)閉kafka服務(wù)
./kafka-server-stop.sh
查看端口已被監(jiān)聽,啟動(dòng)成功:
6、測(cè)試創(chuàng)建一個(gè)topic:
#移到工作目錄
cd /opt/kafka/kafka_2.12-2.5.0/bin/
#創(chuàng)建topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic topic1
#查看topic信息
./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic1
#啟動(dòng)生產(chǎn)者控制臺(tái)
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic topic1
#啟動(dòng)消費(fèi)者控制臺(tái)(新開一個(gè)窗口)
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic1 --from-beginning
此時(shí)在生成者控制臺(tái)發(fā)一條測(cè)試消息,消費(fèi)者控制臺(tái)即可收到:
當(dāng)前題目:Linux下部署分布式消息系統(tǒng)Kafka
網(wǎng)頁(yè)路徑:http://m.fisionsoft.com.cn/article/dhssjoj.html


咨詢
建站咨詢
