记HadoopHA高可用性分布式集群搭建过程

    为完成毕业设计中并行算法测试，在学习后，自己在虚拟机搭建了一个基于Hadoop的分布式集群，在这里做个记录，菜鸟首次写博客，已深夜，下面直接进入主题：

规划与说明

   在hadoop集群中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。两个ResourceManager，同NameNode一样，一个主一个备。这里使用简单的QJM作为HDFS HA的解决方案。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功，通常配置奇数个JournalNode。这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。
         把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动。

本次集群搭建规划有六个节点，安装软件及每个节点运行进程规划如下表所示：

我们提供的服务有：网站制作、成都网站设计、微信公众号开发、网站优化、网站认证、泰安ssl等。为上千企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的泰安网站制作公司

主机名	IP地址	安装的软件	运行的进程
kxj01	192.168.8.101	jdk、Hadoop	NameNode、DFSZKFailoverController
kxj02	192.168.8.102	jdk、Hadoop	NameNode、DFSZKFailoverController
kxj03	192.168.8.103	jdk、Hadoop	ResourceManager
kxj04	192.168.8.104	jdk、Hadoop、Zookeeper	ResourceManager、DataNode、NodeManager、JournalNode、QuorumPeerMain
kxj05	192.168.8.105	jdk、Hadoop 、Zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain
kxj06	192.168.8.106	jdk、Hadoop、Zookeeper	DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop搭建前Linux环境准备

这里只配置kxj01主机，其他主机过程一样。
1.0 修改VMWare与Windows在同一网段：本次都修改为192.168.8.0，为了能上网，选择联网方式为NAT。
1.1修改主机名
命令：vim /etc/sysconfig/network
内容：
NETWORKING=yes
HOSTNAME=kxj01 #修改主机名为kxj01

1.2修改IP
两种方式：
第一种：通过Linux图形界面进行修改（手残党强烈推荐）
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.8.101 子网掩码：255.255.255.0 网关：192.168.8.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）
    命令：vim /etc/sysconfig/network-scripts/ifcfg-eth0
    内容：
    DEVICE="eth0"
    BOOTPROTO="static"               #修改为static，不变
    HWADDR="00:0C:29:3C:BF:E2"
    IPV6INIT="yes"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
    IPADDR="192.168.8.101"           #添加IP
    NETMASK="255.255.255.0"          #添加子网掩码
    GATEWAY="192.168.8.1"            #网关
    NDS1="8.8.8.8"
    DNS2="8.8.4.4"

1.3修改主机名和IP的映射关系
命令：vim /etc/hosts

内容（IP（tab或者空格）主机名）：192.168.8.101    kxj01

1.4为了方便，关闭防火墙

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

1.5重启Linux
reboot

安装JDK，其他主机安装过程一样，也可通过ssh方式直接复制过去。
2.1上传，可以用Putty等工具，也可以直接下载安装，本次全部软件都是已下载好，所以采用从Windows上传方式。
2.2解压jdk
创建一个文件夹kxj，专门存放本次需要安装的软件和一些数据，你可以放到/usr/下。将JDK解压到/kxj/java目录下
tar -zxvf jdk-8u171-linux-i586.tar.gz -C /kxj/java/
2.3将java添加到环境变量中

vim /etc/profile
#在文件最后添加
export JAVA_HOME=/kxj/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

#更新配置文件，否则不会立即生效
source /etc/profile

开始集群搭建

1.安装配置zooekeeper集群
1.1上传解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /kxj/
1.2修改配置文件zoo.cfg
cd /kxj/zookeeper-3.4.5/conf/

    将原有文件重命名：
    mv zoo_sample.cfg zoo.cfg

    vim zoo.cfg
    修改其中一行内容：
    dataDir=/kxj/zookeeper-3.4.5/tmp
    在文件最后新增三行：
    server.1=kxj04:2888:3888
    server.2=kxj05:2888:3888
    server.3=kxj06:2888:3888

    然后创建一个tmp文件夹
    mkdir /kxj/zookeeper-3.4.5/tmp
    再创建一个空文件
    touch /kxj/zookeeper-3.4.5/tmp/myid
    最后向该文件写入ID（可用vi命令修改）
    echo 1 > /kxj/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在kxj05、kxj06根目录下创建一个kxj目录：mkdir /kxj，注意是scp)

    scp -r /kxj/zookeeper-3.4.5/ kxj05:/kxj/
    scp -r /kxj/zookeeper-3.4.5/ kxj06:/kxj/

    注意：修改kxj05、kxj06主机对应的/kxj/zookeeper-3.4.5/tmp/myid文件内容
    kxj05：
        echo 2 > /kxj/zookeeper-3.4.5/tmp/myid
    kxj06：
        echo 3 > /kxj/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /kxj/
2.2配置HDFS
将hadoop添加到环境变量中
vim /etc/profile
修改内容
export JAVA_HOME=/kxj/java/jdk1.8.0_171
export HADOOP_HOME=/kxj/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#更新配置文件，使其立即生效
source /etc/profile

        hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
        cd /kxj/hadoop-2.4.1/etc/hadoop

        2.2.1修改hadoop-env.sh
            export JAVA_HOME=/kxj/java/jdk1.8.0_171

        2.2.2修改core-site.xml
            
                
                
                    fs.defaultFS
                    hdfs://ns1
                
                
                
                    hadoop.tmp.dir
                    /kxj/hadoop-2.4.1/tmp
                
                
                
                    ha.zookeeper.quorum
                    kxj04:2181,kxj05:2181,kxj06:2181
                
            

        2.2.3修改hdfs-site.xml
            
                
                
                    dfs.nameservices
                    ns1
                
                
                
                    dfs.ha.namenodes.ns1
                    nn1,nn2
                
                
                
                    dfs.namenode.rpc-address.ns1.nn1
                    kxj01:9000
                
                
                
                    dfs.namenode.http-address.ns1.nn1
                    kxj01:50070
                
                
                
                    dfs.namenode.rpc-address.ns1.nn2
                    kxj02:9000
                
                
                
                    dfs.namenode.http-address.ns1.nn2
                    kxj02:50070
                
                
                
                    dfs.namenode.shared.edits.dir
                    qjournal://kxj04:8485;kxj05:8485;kxj06:8485/ns1
                
                
                
                    dfs.journalnode.edits.dir
                    /kxj/hadoop-2.4.1/journal
                
                
                
                    dfs.ha.automatic-failover.enabled
                    true
                
                
                
                    dfs.client.failover.proxy.provider.ns1
                     org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
                    
                
                
                
                    dfs.ha.fencing.methods
                    
                        sshfence
                        shell(/bin/true)
                    
                
                
                
                    dfs.ha.fencing.ssh.private-key-files
                    /root/.ssh/id_rsa
                
                
                
                    dfs.ha.fencing.ssh.connect-timeout
                    30000
                
            

        2.2.4修改mapred-site.xml
            
                
                
                    vix.mapreduce.framework.name
                    yarn
                
                

        2.2.5修改yarn-site.xml
            
                
                
                   yarn.resourcemanager.ha.enabled
                   true
                
                
                
                   yarn.resourcemanager.cluster-id
                   yrc
                
                
                
                   yarn.resourcemanager.ha.rm-ids
                   rm1,rm2
                
                
                
                   yarn.resourcemanager.hostname.rm1
                   kxj03
                
                
                   yarn.resourcemanager.hostname.rm2
                   kxj04
                
                
                
                   yarn.resourcemanager.zk-address
                   kxj04:2181,kxj05:2181,kxj06:2181
                
                
                
                    yarn.nodemanager.aux-services
                    mapreduce_shuffle
                
                
                
                    vix.yarn.resourcemanager.address.rm1
                    kxj03:18040
                
                
                    vix.yarn.resourcemanager.scheduler.address.rm1
                    kxj03:18030
                
                
                    vix.yarn.resourcemanager.address.rm2
                    kxj04:18040
                
                
                    vix.yarn.resourcemanager.scheduler.address.rm2
                    kxj04:18030
                
            

        2.2.6修改slaves，slaves是指定子节点的位置，因为要在kxj01上启动HDFS、在kxj03启动yarn，所以kxj01上的slaves文件指定的是datanode的位置，kxj03上的slaves文件指定的是nodemanager的位置，添加内容：

            kxj04
            kxj05
            kxj06

        2.2.7配置免密码登陆
            首先要配置kxj01到kxj02、kxj03、kxj04、kxj05、kxj06的免密码登陆
            在kxj01上生产一对钥匙

            ssh-keygen -t rsa

            将公钥拷贝到其他节点，包括自己

            ssh-copy-id kxj01
            ssh-copy-id kxj02
            ssh-copy-id kxj03
            ssh-copy-id kxj04
            ssh-copy-id kxj05
            ssh-copy-id kxj06

            配置kxj03到kxj04、kxj05、kxj06的免密码登陆
            在kxj03上生产一对钥匙

            ssh-keygen -t rsa

            将公钥拷贝到其他节点

            ssh-copy-id kxj04
            ssh-copy-id kxj05
            ssh-copy-id kxj06

            两个namenode之间要配置ssh免密码登陆，配置kxj02到kxj01的免登陆
            在kxj02上生产一对钥匙，并拷贝到kxj01

            ssh-keygen -t rsa

            ssh-copy-id kxj01

            两个ResourceManager之间要配置ssh免密码登陆，配置kxj04到kxj03、kxj05、kxj06的免登陆
            在kxj04上生产一对钥匙

            ssh-keygen -t rsa

            ssh-copy-id kxj03
            ssh-copy-id kxj04
            ssh-copy-id kxj05
            ssh-copy-id kxj06               

    2.4将配置好的hadoop拷贝到其他节点
        scp -r /kxj/hadoop-2.4.1/ root@kxj02:/kxj/
        scp -r /kxj/hadoop-2.4.1/ root@kxj03:/kxj/          
        scp -r /kxj/hadoop-2.4.1/ root@kxj04:/kxj/          
        scp -r /kxj/hadoop-2.4.1/ root@kxj05:/kxj/
        scp -r /kxj/hadoop-2.4.1/ root@kxj06:/kxj/

    2.5在节点kxj04、kxj05、kxj06启动zookeeper集群
        cd /kxj/zookeeper-3.4.5/bin/
        ./zkServer.sh start

        都启动后查看状态：一个leader，两个follower
        ./zkServer.sh status

    2.6启动journalnode（在kxj01上启动所有journalnode）
        cd /kxj/hadoop-2.4.1

        sbin/hadoop-daemons.sh start journalnode

        ps命令查看进程，kxj04、kxj05、kxj06上多了JournalNode进程

    2.7格式化HDFS
        在kxj01上执行命令:
        hdfs namenode -format
        格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/kxj/hadoop-2.4.1/tmp，然后将/kxj/hadoop-2.4.1/tmp拷贝到kxj02的/kxj/hadoop-2.4.1/下：
        scp -r tmp/ kxj02:/kxj/hadoop-2.4.1/

    2.8格式化ZK(在kxj01上执行即可)

        hdfs zkfc -formatZK

    2.9启动HDFS(在kxj01上执行)

        sbin/start-dfs.sh

    2.10启动YARN
      在kxj03上执行start-yarn.sh：
        sbin/start-yarn.sh
        在kxj04上执行单独启动命令：
        sbin/yarn-daemon.sh start ResourceManager

到此，hadoop2.4.1配置完毕，可以统过浏览器访问（图片界面略）:
    http://192.168.8.101:50070
    NameNode 'kxj01:9000' (active)
    http://192.168.8.102:50070
    NameNode 'kxj02:9000' (standby)
    YARN ResourceManager查看
    http://192.168.8.103:8088 (active)
    http://192.168.8.104:8088 (standby 状态，不会进入页面，提示后跳转到103界面)
验证HDFS HA
    首先向hdfs上传一个文件，然后查看：
    hadoop fs -put /etc/profile /profile
    hadoop fs -ls /
    然后再kill掉active的NameNode：
    kill -9 进程号
    通过浏览器访问：http://192.168.8.102:50070
    NameNode 'kxj02:9000' (active)
    此时kxj02上的NameNode变成了active
    在执行命令：
    hadoop fs -ls /
    -rw-r--r--   3 root supergroup       1926 2018-05-31 15:36 /profile
    刚才上传的文件依然存在！！！
    手动启动那个挂掉的NameNode
    sbin/hadoop-daemon.sh start namenode
    通过浏览器访问：http://192.168.8.101:50070
    NameNode 'kxj01:9000' (standby)

验证YARN：
    运行一下hadoop提供的单词统计程序（或者计算PI程序）：
    hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

    到此，一个高可用的Hadoop集群已搭建完成，后续会继续搭建一些其他组件，谢谢！

文章标题：记HadoopHA高可用性分布式集群搭建过程
文章起源：http://chengdu.cdxwcx.cn/article/jopohj.html

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

首页

网站建设

网站制作案例

解决方案

网站设计报价

网站制作动态

关于我们

联系我们

成都网站建设设计将想法与焦点和您一起共享

记HadoopHA高可用性分布式集群搭建过程

规划与说明

Hadoop搭建前Linux环境准备

开始集群搭建

其他资讯

怎么指定域名域名怎么指向ip

linux的拆分文件命令 linux将文件拆分成10万一个文件

linux命令替换文件名 linux系统替换文件命令

c语言求和函数的编写问题 c语言求和函数

c语言时间差计算函数 c语言求时间差时分秒

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

成都网站建设设计 将想法与焦点和您一起共享

记HadoopHA高可用性分布式集群搭建过程

规划与说明

Hadoop搭建前Linux环境准备

开始集群搭建

其他资讯

怎么指定域名 域名怎么指向ip

linux的拆分文件命令 linux将文件拆分成10万一个文件

linux命令替换文件名 linux系统替换文件命令

c语言求和函数的编写问题 c语言 求和函数

c语言时间差计算函数 c语言求时间差时分秒

成都网站建设设计将想法与焦点和您一起共享

怎么指定域名域名怎么指向ip

c语言求和函数的编写问题 c语言求和函数