成都网站建设设计

将想法与焦点和您一起共享

如何离线分析Kafka海量业务消息?1分钟快速为您支招-创新互联

场景介绍

创新互联公司成立于2013年,先为天水等服务建站,天水等地企业,进行企业商务咨询服务。为天水企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

说起Kafka,许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统,其极致体验让人欲罢不能,但操心的运维、复杂的安全策略、可靠性易用性的缺失等,仍需要使用者付出诸多的背后工作。即使你是Kafka老手,也难免会有上述同样的烦恼。

与其整日操心Kafka的部署,不如试试云上Kafka带给你的惊喜?目前国内主流的云服务厂商均提供了云上的Kafka服务,为应用系统提供异步的消息队列服务。通过高可用的消息缓冲队列,实现应用解耦、突发流量处理及与第三方的互通和集成,具有大规模、高可靠、高并发访问、可扩展且完全托管的特点。比如华为云分布式消息服务DMS,帮助云端的应用程序组件去耦合,具有很高的成本效益。DMS拥抱开源,提供支持兼容开源Kafka接口,用户可无缝迁移,按需使用。

分布式消息服务(Data Message Service,简称DMS)Kafka专享版支持采集增量的交易消息数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过实时流计算框架(例如Flick)或者华为云实时流计算服务(Cloud Stream Service, 简称CS)分析上传的交易数据,能够分析出最近交易指标等信息,以支持用户交易做决策。

申请环境与资源

1.开启转储

如何离线分析Kafka海量业务消息?1分钟快速为您支招

▲在更多列中点击开启转储即可开启消息转储功能

2.创建转储任务

等待开启转储任务完成后,即可以添加转储任务进行转储,点击实例链接进入实例管理里有转储管理页签,通过点击创建转储任务即可创建消息转储任务进行消息的转储,如下:

如何离线分析Kafka海量业务消息?1分钟快速为您支招

点击后,会弹出创建转储任务的详情:

如何离线分析Kafka海量业务消息?1分钟快速为您支招

需要填入打星号的必填参数。这里主要关注要填入的参数Topics,即需要转储的Topic名称,支持多个Topic的输入或者正则表示的方式去订阅Topic消息,并把消息内容上传到OBS桶中。点击转储地址行中的选择按钮,弹出选择数据转储地址,会列出那些OBS桶可以被转储。

如何离线分析Kafka海量业务消息?1分钟快速为您支招如何离线分析Kafka海量业务消息?1分钟快速为您支招

需要一提的是,如果没有OBS桶,则需要创建一个OBS桶用来存放DIS转储的数据。

3.查看转储任务

创建转储任务后,可以在转储管理页中看到这个任务信息,点击查看转储信息,可以实时查看转储Topic的消息转储进度。

如何离线分析Kafka海量业务消息?1分钟快速为您支招

查看OBS信息与分析数据

登录华为云OBS可以查看到转储地址桶的中存在分区的文件,已经按照转储时设定的时间格式上传到dms-obs桶中。

如何离线分析Kafka海量业务消息?1分钟快速为您支招

可以使用Flink等实时数据对上传目录的文件内容进行分析,得到分析后汇总结果展示即可。

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享题目:如何离线分析Kafka海量业务消息?1分钟快速为您支招-创新互联
网址分享:http://chengdu.cdxwcx.cn/article/cdjisc.html