Kafka 部署

现阶段内部系统都是基于 0.8 构建的,因此安装部署配置均是 0.8 方式。

Quickstart

https://kafka.apache.org/08/documentation/#quickstart

download

http://www-eu.apache.org/dist/kafka/0.8.2.2/kafka_2.9.1-0.8.2.2.tgz

Best practices

https://community.hortonworks.com/articles/80813/kafka-best-practices-1.html

broker配置

启动:

bin/kafka-server-start.sh config/server.properties

配置 config/server.properties 中关键参数:

broker.id = 当前broker的序列,连接同一zk的broker 必须唯一。

port= 当前机器上提供服务的broker 监听端口,同一个机器上唯一。

num.partitions- 数据分片越多,越利于consumer的并行消费。

https://cuongba.com/apache-kafka-with-partitions-replicas-and-topic/

zookeeper.connect= zk 你需要连接的

其他配置项:

https://kafka.apache.org/08/documentation.html\#brokerconfigs

delete topic

bin/kafka-topics.sh --delete --zookeeper 10.213.43.145:12181 --topic test

Notice

delete.topic.enable=true

Restart the kafka server with new config:

${kafka\_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

test

部署机器

10.213.54.131 一个broker(3)

10.209.34.167 两个broker(1-2)

创建topic

bin/kafka-topics.sh --create --zookeeper 10.213.43.145:12181 --replication-factor 3 --partitions 5 --topic for\_content2

MUST

must have --replication-factor --partitions

查看

./bin/kafka-topics.sh --describe -z 10.213.43.145:12181

创建消息

bin/kafka-console-producer.sh --broker-list 10.209.34.167:9092 --topic repli2

消费消息

bin/kafka-console-consumer.sh --zookeeper 10.213.43.145:12181 --from-beginning --topic repli2

遇见问题

如果 serverhost 解析存在问题,那么进行同步等操作会发生问题,因此需要设置另外一个选项

advertised.host.name=10.209.34.167

开源项目

Kafka manager

https://github.com/yahoo/kafka-manager/wiki

http://blog.csdn.net/lsshlsw/article/details/47300145

results matching ""

    No results matching ""