新聞中心
Kafka是最初由Linkedin公司開發(fā),是一個分布式、支持分區(qū)的(partition)、多副本的(replica),基于zookeeper協(xié)調的分布式消息系統(tǒng),它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景:比如基于hadoop的批處理系統(tǒng)、低延遲的實時系統(tǒng)、storm/Spark流式處理引擎,web/nginx日志、訪問日志,消息服務等等。

成都創(chuàng)新互聯專注于禪城企業(yè)網站建設,響應式網站建設,成都商城網站開發(fā)。禪城網站建設公司,為禪城等地區(qū)提供建站服務。全流程按需網站設計,專業(yè)設計,全程項目跟蹤,成都創(chuàng)新互聯專業(yè)和態(tài)度為您提供的服務
Kafka:2.12-2.5.0
1、安裝JDK 1.8
yum -y install java-1.8.0*
java -version 命令查看JDK版本,如圖安裝成功:
2、安裝zookeeper服務
參考文章:Linux下ZooKeeper的安裝及使用
3、創(chuàng)建工作目錄,下載安裝包:
#創(chuàng)建安裝目錄
mkdir -p /opt/kafka
#移動到目錄
cd /opt/kafka
#下載kafka安裝包
wget https://mirrors.aliyun.com/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz
#解壓縮
tar -zxvf kafka_2.12-2.5.0.tgz
4、配置文件:
#進入配置目錄
cd kafka_2.12-2.5.0/config/
#備份配置文件
cp server.properties server.properties.bak
#修改配置文件
vim server.properties
#修改及添加以下配置
broker.id=1
listeners=PLAINTEXT://127.0.0.1:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092
#其他自定義配置(根據實際修改)
zookeeper.connect=127.0.0.1:2181
zookeeper.connection.timeout.ms=18000
#保存退出
:wq
#配置說明 broker.id:當前機器在集群中的唯一標識。例如有三臺Kafka主機,則分別配置為1,2,3。
listeners:服務監(jiān)聽端口。
advertised.listeners:提供給生產者,消費者的端口號,即外部訪問地址。默認為listeners的值。
zookeeper.connect:zookeeper連接地址。如有集群配置,每臺Kafka主機都需要連接全部zookeeper服務,實例如下:
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181
zookeeper.connection.timeout.ms:zookeeper連接超時時間。
5、啟動Kafka:
(首先確保已啟動zookeeper)
#移到工作目錄
cd /opt/kafka/kafka_2.12-2.5.0/bin/
#啟動kafka
./kafka-server-start.sh -daemon ../config/server.properties
#關閉kafka服務
./kafka-server-stop.sh
查看端口已被監(jiān)聽,啟動成功:
6、測試創(chuàng)建一個topic:
#移到工作目錄
cd /opt/kafka/kafka_2.12-2.5.0/bin/
#創(chuàng)建topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic topic1
#查看topic信息
./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic1
#啟動生產者控制臺
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic topic1
#啟動消費者控制臺(新開一個窗口)
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic topic1 --from-beginning
此時在生成者控制臺發(fā)一條測試消息,消費者控制臺即可收到:
文章名稱:Linux下部署分布式消息系統(tǒng)Kafka
標題網址:http://m.5511xx.com/article/dhssjoj.html


咨詢
建站咨詢
