Kafka Console Script 사용하기

kafka-topics.sh

Create New Topic

‘test’ 라는 이름의 topic 생성

kafka-topics.sh \
--create --zookeeper node1.big:2181,node2.big:2181,node3.big:2181 \
--replication-factor 1 --partitions 1 \
--topic test

Get List of Topics from Kafka Cluster

kafka-topics.sh \
--list --zookeeper node1.big:2181,node2.big:2181,node3.big:2181

kafka-console-producer.sh

console-producer 이용하여, bash 환경에서 표준 입력을 통해 ‘test’라는 topic에 message publish

kafka-console-producer.sh \
--broker-list node7.big:9092,node8.big:9092 --topic test

위 명령 수행 이후 터미널에 입력하는 메시지를 publish 한다. newline 으로 record 가 구분 됨.

kafka-console-consumer.sh

console-consumer 이용하여, ‘test’라는 topic의 message 구독하기

• 해당 topic에 보관돼 있는 모든 message 확인한 후 새롭게 publish 되는 message 구독

  kafka-console-consumer.sh \
  --bootstrap-server node7.big:9092,node8.big:9092 --from-beginning \
  --topic test
  

• 해당 topic에 새롭게 publish 되는 message 부터 구독

  kafka-console-consumer.sh \
  --bootstrap-server node7.big:9092,node8.big:9092 \
  --topic test