成都网站建设设计

将想法与焦点和您一起共享

flink运行模式有哪些

本篇内容介绍了“flink运行模式有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

创新互联建站长期为成百上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为华龙企业提供专业的成都做网站、成都网站制作,华龙网站改版等技术服务。拥有10多年丰富建站经验和众多成功案例,为您定制开发。

什么是flink

  • 一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算。

  • 下载地址

    • 历史下载地址和最新下载地址

    • 国内地址

运行架构

  • 计算架构:JobManager和TaskManger

    • JobManager主要负责调度task,协调checkpoint已经错误恢复等

    • TaskManger具体任务执行

计算框架

flink运行模式有哪些

  • Flink SQL,原型是阿里2019开源 Blink代码。

    • Flink SQL定义sql语句,代码加载实现数据结构化和处理功能。

  • Table API:

    • 有source和sink概念,source是输入源,sink为输出源,代码有相关sql方法,无需定义sql语句

  • DataStream和DataSetAPI,纯代码实现计算,一个负责实时,一个服务批处理。

运行模式

  • 资料

  • 三种模式

    • Yarn-session 模式

    • Single job 模式

    • 预先在yarn上面划分一部分资源给flink集群用,flink提交的所有任务,共用这些资源

    • 每次提交任务,都会创建一个新的flink集群

    • 无hadoop集群,flink自身集群运行。

    • 本地主机计算

    • 模式一:Local(本地)模式

    • 模式二:Standalone(独立)模式

    • on yarn模式

“flink运行模式有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!


分享名称:flink运行模式有哪些
本文来源:http://chengdu.cdxwcx.cn/article/ipiosi.html