官方文檔:http://kafka.apache.org/documentation.html#quickstart

參考:https://kafka.apache.org/08/quickstart.html

基礎配置:已安裝jdk和zookeeper(zookeeper安裝參照http://blog.csdn.net/unix21/article/details/18990123)

Step 1:下載kafka

到官網上下載穩定版本的kafka,解壓

tar -zxvf kafka_2.11-0.8.2.2.tgz

Step 2:修改配置文件

修改config下的server.properties就可以了。需要配置的屬性有:broker.id(標示當前server在集群中的id,從0開始),port,host.name(當前的server host name),zookeeper.connect(連接的zookeeper集群),log.dirs(log的存儲目錄,記得對應的去建立這個目錄)等,其他的一些配置可以看相應的注釋:(截圖不全,僅供參考)

Step 3:把配置好的kafka復制到其它server上

scp -r kafka_2.11-0.8.2.2 slave1:~

Step 4:修改每臺server的配置文件,主要是broker.id 和host.name

Step 5:先啟動zookeeper集群,再啟動kafka集群

啟動zookeeper集群:./zkServer.sh start

在每臺server上啟動kafka:./kafka-server-start.sh ../config/server.properties

Step 6:創建topic

./kafka-topics.sh –zookeeper master:2181 –topic test –replication-factor 2 –partitions 3 –create

Step 7:查看topic

查看所有topic:./kafka-topics.sh –list –zookeeper master:2181

查看一個topic詳情:./kafka-topics.sh –describe –zookeeper master:2181 –topic test

 

partiton:partion id從0開始
leader:當前負責讀寫的lead broker id
relicas:當前partition的所有replication broker list
isr:relicas的子集,只包含出于活動狀態的broker

Step 8:創建producer

./kafka-console-producer.sh –broker-list master:9092,slave1:9092 –topic test

This is a message

注意,如果上述命令不能發送接收消息,報一下錯誤:

ERROR Failed to collate messages by topic, partition due to: fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:1,host:slave1,port:9092, id:0,host:master,port:9092)] failed (kafka.producer.async.DefaultEventHandler)

則說明broker的host.name屬性配置有問題,可以用ip或者是hosts里配好的域名

Step 9:創建consumer

./kafka-console-consumer.sh –zookeeper master:2181 –from-beginning –topic test

就可以看到消息了。

如果要最新的數據,可以不帶–from-beginning參數即可。
最后測試容錯能力:
‍如果broker 0作為leader運行,現在我們殺掉broker 0,在查看topic的詳細信息,發現leader都是broker 1了,并且consumer依然可以消費消息

Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx
1.項目核心代碼結構截圖

 

項目模塊依賴

 

特別提醒:開發人員在開發的時候可以將自己的業務REST服務化或者Dubbo服務化

 

 

 

更多關于云服務器域名注冊,虛擬主機的問題,請訪問三五互聯官網:www.shinetop.cn

贊(0)
聲明:本網站發布的內容(圖片、視頻和文字)以原創、轉載和分享網絡內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。郵箱:3140448839@qq.com。本站原創內容未經允許不得轉載,或轉載時需注明出處:三五互聯知識庫 » kafka集群搭建

登錄

找回密碼

注冊