Hadoop框架中如何配置HDFS高可用环境

这篇文章主要为大家展示了“Hadoop框架中如何配置HDFS高可用环境”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop框架中如何配置HDFS高可用环境”这篇文章吧。

公司主营业务：成都网站建设、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出罗城免费做网站回馈大家。

一、HDFS高可用

1、基础描述

在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。

2、机制详解

Hadoop框架中如何配置HDFS高可用环境

基于两个NameNode做高可用，依赖共享Edits文件和Zookeeper集群；
每个NameNode节点配置一个ZKfailover进程，负责监控所在NameNode节点状态；
NameNode与ZooKeeper集群维护一个持久会话；
如果Active节点故障停机，ZooKeeper通知Standby状态的NameNode节点；
在ZKfailover进程检测并确认故障节点无法工作后；
ZKfailover通知Standby状态的NameNode节点切换为Active状态继续服务；

ZooKeeper在大数据体系中非常重要，协调不同组件的工作，维护并传递数据，例如上述高可用下自动故障转移就依赖于ZooKeeper组件。

二、HDFS高可用

1、整体配置

服务列表	HDFS文件	YARN调度	单服务	共享文件	Zk集群
hop01	DataNode	NodeManager	NameNode	JournalNode	ZK-hop01
hop02	DataNode	NodeManager	ResourceManager	JournalNode	ZK-hop02
hop03	DataNode	NodeManager	SecondaryNameNode	JournalNode	ZK-hop03

2、配置JournalNode

创建目录

[root@hop01 opt]# mkdir hopHA

拷贝Hadoop目录

cp -r /opt/hadoop2.7/ /opt/hopHA/

配置core-site.xml


    
	
		fs.defaultFS
       	hdfs://mycluster
	
	
	
		hadoop.tmp.dir
	   /opt/hopHA/hadoop2.7/data/tmp

配置hdfs-site.xml，添加内容如下



	dfs.nameservices
	mycluster




	dfs.ha.namenodes.mycluster
	nn1,nn2




	dfs.namenode.rpc-address.mycluster.nn1
	hop01:9000




	dfs.namenode.rpc-address.mycluster.nn2
	hop02:9000




	dfs.namenode.http-address.mycluster.nn1
	hop01:50070




	dfs.namenode.http-address.mycluster.nn2
	hop02:50070




	dfs.namenode.shared.edits.dir
    qjournal://hop01:8485;hop02:8485;hop03:8485/mycluster




	dfs.ha.fencing.methods
	sshfence




	dfs.ha.fencing.ssh.private-key-files
	/root/.ssh/id_rsa




	dfs.journalnode.edits.dir
	/opt/hopHA/hadoop2.7/data/jn




	dfs.permissions.enable
	false




	dfs.client.failover.proxy.provider.mycluster
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

依次启动journalnode服务

[root@hop01 hadoop2.7]# pwd
/opt/hopHA/hadoop2.7
[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start journalnode

删除hopHA下数据

[root@hop01 hadoop2.7]# rm -rf data/ logs/

NN1格式化并启动NameNode

[root@hop01 hadoop2.7]# pwd
/opt/hopHA/hadoop2.7
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

NN2同步NN1数据

[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby

NN2启动NameNode

[root@hop02 hadoop2.7]# sbin/hadoop-daemon.sh start namenode

查看当前状态

Hadoop框架中如何配置HDFS高可用环境

在NN1上启动全部DataNode

[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode

NN1切换为Active状态

[root@hop01 hadoop2.7]# bin/hdfs haadmin -transitionToActive nn1
[root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1
active

Hadoop框架中如何配置HDFS高可用环境

3、故障转移配置

配置hdfs-site.xml，新增内容如下，同步集群


	dfs.ha.automatic-failover.enabled
	true

配置core-site.xml，新增内容如下，同步集群


	ha.zookeeper.quorum
	hop01:2181,hop02:2181,hop03:2181

关闭全部HDFS服务

[root@hop01 hadoop2.7]# sbin/stop-dfs.sh

启动Zookeeper集群

/opt/zookeeper3.4/bin/zkServer.sh start

hop01初始化HA在Zookeeper中状态

[root@hop01 hadoop2.7]# bin/hdfs zkfc -formatZK

hop01启动HDFS服务

[root@hop01 hadoop2.7]# sbin/start-dfs.sh

NameNode节点启动ZKFailover

这里hop01和hop02先启动的服务状态就是Active，这里先启动hop02。

[hadoop2.7]# sbin/hadoop-daemon.sh start zkfc

Hadoop框架中如何配置HDFS高可用环境

结束hop02的NameNode进程

kill -9 14422

等待一下查看hop01状态

[root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1
active

三、YARN高可用

1、基础描述

Hadoop框架中如何配置HDFS高可用环境

基本流程和思路与HDFS机制类似，依赖Zookeeper集群，当Active节点故障时，Standby节点会切换为Active状态持续服务。

2、配置详解

环境同样基于hop01和hop02来演示。

配置yarn-site.xml，同步集群下服务



    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.ha.enabled
        true
    
 
    
    
        yarn.resourcemanager.cluster-id
        cluster-yarn01
    

    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    

    
        yarn.resourcemanager.hostname.rm1
        hop01
    

    
        yarn.resourcemanager.hostname.rm2
        hop02
    
 
     
    
        yarn.resourcemanager.zk-address
        hop01:2181,hop02:2181,hop03:2181
    

     
    
        yarn.resourcemanager.recovery.enabled
        true
    
 
     
    
        yarn.resourcemanager.store.class     org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

重启journalnode节点

sbin/hadoop-daemon.sh start journalnode

在NN1服务格式化并启动

[root@hop01 hadoop2.7]# bin/hdfs namenode -format
[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start namenode

NN2上同步NN1元数据

[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby

启动集群下DataNode

[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode

NN1设置为Active状态

先启动hop01即可，然后启动hop02。

[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start zkfc

hop01启动yarn

[root@hop01 hadoop2.7]# sbin/start-yarn.sh

hop02启动ResourceManager

[root@hop02 hadoop2.7]# sbin/yarn-daemon.sh start resourcemanager

查看状态

[root@hop01 hadoop2.7]# bin/yarn rmadmin -getServiceState rm1

Hadoop框架中如何配置HDFS高可用环境

以上是“Hadoop框架中如何配置HDFS高可用环境”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！

本文标题：Hadoop框架中如何配置HDFS高可用环境
新闻来源：http://chengdu.cdxwcx.cn/article/jsgeis.html

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

首页

网站建设

网站制作案例

解决方案

网站设计报价

网站制作动态

关于我们

联系我们

成都网站建设设计将想法与焦点和您一起共享

Hadoop框架中如何配置HDFS高可用环境

一、HDFS高可用

1、基础描述

2、机制详解

二、HDFS高可用

1、整体配置

2、配置JournalNode

3、故障转移配置

三、YARN高可用

1、基础描述

2、配置详解

其他资讯

微信怎么知道我的企业微信怎么查看自己的企业

css样式的标签 css样式的标签是什么

企业怎么设置微信职务企业怎么设置微信职务信息

mysql怎么导出向导 mysql导出向导什么意思

ssmhtml5前端的简单介绍

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

成都网站建设设计 将想法与焦点和您一起共享

Hadoop框架中如何配置HDFS高可用环境

一、HDFS高可用

1、基础描述

2、机制详解

二、HDFS高可用

1、整体配置

2、配置JournalNode

3、故障转移配置

三、YARN高可用

1、基础描述

2、配置详解

其他资讯

微信怎么知道我的企业 微信怎么查看自己的企业

css样式的标签 css样式的标签是什么

企业怎么设置微信职务 企业怎么设置微信职务信息

mysql怎么导出向导 mysql导出向导什么意思

ssmhtml5前端的简单介绍

成都网站建设设计将想法与焦点和您一起共享

微信怎么知道我的企业微信怎么查看自己的企业

企业怎么设置微信职务企业怎么设置微信职务信息