成都网站建设设计

将想法与焦点和您一起共享

kafka如何查询topic列表和topic下的消息

这篇文章主要介绍kafka如何查询topic列表和topic下的消息 ,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

目前创新互联已为上千多家的企业提供了网站建设、域名、网络空间、网站托管维护、企业网站设计、印台网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

使用Kafka经常碰到需要查看topic是否创建,或是查看topic下的数据。

最开始想直接找可视化工具进行查看就找到了Kafka tool 然后发现链接数据较少的环境确实比较好用,但是如果topic或topic下的数据较多就会直接卡死,导致无法打开。

Kafka tool 的简单使用

首先去官网下载 Kafka tool :https://www.kafkatool.com/

无脑下一步进行安装。安装完成后进行新建链接操作

kafka如何查询topic列表和topic下的消息

因为数据在Kafka都是byte所以要配置byte转string才能更方便的查看

在 tools --> settings --> Topics

kafka如何查询topic列表和topic下的消息

然后选中想要查看的topic在properties中配置key和message为string

kafka如何查询topic列表和topic下的消息

然后进入topic下的分区进行查看,点击绿色查询按钮即可查看

kafka如何查询topic列表和topic下的消息

如果数据量较少可以使用这个工具进行查看,但是数据太多回直接卡死

使用Kafka命令脚本查看

由于我们公司Kafka是部署在docker中所以需要先进入Kafka容器,然后进入opt/kafka/bin/目录下,Kafka脚本命令都在这个目录下

查看kafka topic列表

kafka-topics.sh -list --zookeeper zookeeper地址:端口

从头开始查看kafka topic下的数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --from-beginning

按照偏移量查看topic下数据

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_name --offset latest --partition 0

# --offset设置偏移量 latest代表最后 ,可以设置区间,不设置结尾的话默认为查询到latest(最后)
# --partition 设置分区 使用偏移量查询时一定要设置分区才能查询

清除Kafka topic下所有消息

kafka-topics.sh --zookeeper zookeeper地址:端口 --delete --topic topic_name

以上是“kafka如何查询topic列表和topic下的消息 ”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


文章名称:kafka如何查询topic列表和topic下的消息
标题URL:http://chengdu.cdxwcx.cn/article/ppccpo.html