centos6.5下部署用于生产的hadoop，并使用C语言API连接hadoop

#####

公司专注于为企业提供成都做网站、成都网站建设、微信公众号开发、商城网站开发，成都微信小程序，软件定制网站设计等一站式互联网企业服务。凭借多年丰富的经验，我们会仔细了解各客户的需求而做出多方面的分析、设计、整合，为客户设计出具风格及创意性的商业解决方案，创新互联公司更提供一系列网站制作和网站推广的服务。

####安装hadoop2.6.0完全分布式集群

#####

####文件及系统版本：

####

hadoop-2.6.0

Java version 1.8.0_77

centos 64位

####预备

####

在/home/hadoop/下：mkdir Cloud

把java和hadoop安装包放在/home/hadoop/Cloud下

####配置静态ip

####

master192.168.116.100

slave1192.168.116.110

slave2192.168.116.120

####修改机器相关名称(都是在root权限下)

####

su root

vim /etc/hosts

在原信息下输入：（空格+tab键）

192.168.116.100 master

192.168.116.110 slave1

192.168.116.120 slave2

vim /etc/hostname

master

shutdown -r now (重启机器)

vim /etc/hostname

slave1

shutdown -r now

vim /etc/hostname

slave2

shutdown -r now

####安装openssh

####

su root

yum install openssh

ssh-keygen -t rsa

然后一直确认

把slave1和slave2的公钥发给master：

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/slave1.pub

scp /home/hadoop/.ssh/id_rsa.pub hadoop@master:~/.ssh/slave2.pub

在master下： cd .ssh/

cat id_rsa.pub >> authorized_keys

cat slave1.pub >> authorized_keys

cat slave2.pub >> authorized_keys

把公钥包发给slave1和slave2：

scp authorized_keys hadoop@slave1:~/.ssh/

scp authorized_keys hadoop@slave2:~/.ssh/

ssh slave1

ssh slave2

ssh master

相应的输入yes

到这里ssh无密码登录配置完成

####

####设计JAVA_HOME HADOOP_HOME

####

su root

vim /etc/profile

输入：

export JAVA_HOME=/home/hadoop/Cloud/jdk1.8.0_77

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/hadoop/Cloud/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后source /etc/profile

（三台都要配置）

####

####配置hadoop文件

####

在/home/hadoop/Cloud/hadoop-2.6.0/sbin下：

vim hadoop-daemon.sh

修改pid的路径

vim yarn-daemon.sh

修改pid的路径

在/home/hadoop/Cloud/hadoop-2.6.0/etc下:

vim slaves 输入：

master

slave1

slave2

vim hadoop-env.sh 输入：

export JAVA_HOME=/home/hadoop/Cloud/jdk1.8.0_77

export HADOOP_HOME_WARN_SUPPRESS="TRUE"

vim core-site.xml 输入：

###############################################core

io.native.lib.avaliable

true

fs.default.name

hdfs://master:9000

true

hadoop.tmp.dir

/home/hadoop/Cloud/workspace/temp

#################################################core

vim hdfs-site.xml

######################################################hdfs

dfs.replication

dfs.permissions

false

dfs.namenode.name.dir

/home/hadoop/Cloud/workspace/hdfs/data

true

dfs.namenode.dir

/home/hadoop/Cloud/workspace/hdfs/name

dfs.datanode.dir

/home/hadoop/Cloud/workspace/hdfs/data

dfs.webhdfs.enabled

true

#######################################################hdfs

vim mapred-site.xml

######################################mapred

mapred.job.tracker

master:9001

######################################mapred

把配置好的hadoop发送到slave1和slave2

scp -r hadoop-2.6.0 hadoop@slave1:~/Cloud/

scp -r hadoop-2.6.0 hadoop@slave2:~/Cloud/

把Java包发到slave1和slave2：

scp -r jdk1.8.0_77 hadoop@slave1:~/Cloud/

scp -r jdk1.8.0_77 hadoop@slave2:~/Cloud/

到这里,hadoop集群配置完成

########

########现在可以启动hadoop

########

首先格式化namenode

hadoop namenode -format （由于前面设计了hadoop-env.sh和系统环境，所以在任意目录下都可以执行）

查看日志没错的话往下

start-all.sh

然后

完整的的话通过jps查看：

[hadoop@master ~]$ jps

42306 ResourceManager

42407 NodeManager

42151 SecondaryNameNode

41880 NameNode

41979 DataNode

[hadoop@slave1 ~]$ jps

21033 NodeManager

20926 DataNode

[hadoop@slave2 ~]$ jps

20568 NodeManager

20462 DataNode

至此，hadoop-2.6.0完全分布式配置完成。

下面是hadoop的浏览器端口号：

localhost:50070

localhost:8088

########

########配置C的API连接HDFS

########

find / -name libhdfs.so.0.0.0

vi /etc/ld.so.conf

写入：

/home/hadoop/Cloud/hadoop-2.6.0/lib/native/

/home/hadoop/Cloud/jdk1.8.0_77/jre/lib/amd64/server/

然后设计启动加载：

/sbin/ldconfig –v

接着配置环境变量：

查找并打印:

find /home/hadoop/Cloud/hadoop-2.6.0/share/ -name *.jar|awk '{ printf("export CLASSPATH=%s:$CLASSPATH\n", $0); }'

会看到打印的内容如：

export CLASSPATH=/home/hadoop/Cloud/hadoop-2.6.0/share/hadoop/common/lib/activation-1.1.jar:$CLASSPATH

export CLASSPATH=/home/hadoop/Cloud/hadoop-2.6.0/share/hadoop/common/lib/jsch-0.1.42.jar:$CLASSPATH

。。。。。。

把打印的全部内容添加到环境变量vim /etc/profile

然后编写C语言代码验证是否配置成功：

vim above_sample.c

代码内容如下：

#################################################################################

#include"hdfs.h"

#include

int main(int argc, char **argv) {

hdfsFS fs =hdfsConnect("192.168.116.100", 9000); //在这里做了一点修改

const char* writePath ="/tmp/testfile.txt";

hdfsFile writeFile = hdfsOpenFile(fs,writePath, O_WRONLY|O_CREAT, 0, 0, 0);

if(!writeFile) {

fprintf(stderr, "Failed toopen %s for writing!\n", writePath);

exit(-1);

}

char* buffer = "Hello,World!";

tSize num_written_bytes = hdfsWrite(fs,writeFile, (void*)buffer, strlen(buffer)+1);

if (hdfsFlush(fs, writeFile)) {

fprintf(stderr, "Failed to'flush' %s\n", writePath);

exit(-1);

}

hdfsCloseFile(fs, writeFile);

}

###############################################################################

编译C语言代码：

gcc above_sample.c -I /home/hadoop/Cloud/hadoop-2.6.0/include/ -L /home/hadoop/Cloud/hadoop-2.6.0/lib/native/ -lhdfs /home/hadoop/Cloud/jdk1.8.0_77/jre/lib/amd64/server/libjvm.so -o above_sample

执行编译完成生成的above_sample文件：

./above_sample

查看日志和hadoop文件目录是否生成了testfile文件

至此，C语言的API连接HDFS配置完成

#########

#######集群的文件操作

########

###（自动分发脚本）auto.sh

vim auto.sh

chmod +x auto.sh

./auto.sh jdk1.8.0_77 ~/Cloud/

自动分发脚本

############################

#!/bin/bash

nodes=(slave1 slave2)

num=${#nodes[@]}

file=$1

dst_path=$2

for((i=0;i<${num};i++));do

scp -r ${file} ${nodes[i]}:${dst_path};

done;

####################

#####
#####hadoop-2.6.0完全分布式集群基本操作
#####


hdfs dfs -mkdir /input
echo "hello hadoop" > test1.txt

把当前目录的所有文件导入hdfs的in目录：
hadoop dfs -put / in

hadoop dfs -ls /in/*
hadoop dfs -cp /in/test1.txt /in/test1.txt.bak
hadoop dfs -ls /in/*
hadoop dfs -rm /in/test1.txt.bak
mkdir dir_from_hdfs

从hdfs下载目录in中的全部文件放到dir_from_hdfs中：
hadoop dfs -get /in/* /dir_from_hdfs

cd /home/hadoop/Cloud/hadoop-1.2.1

以空格为分隔，统计in目录中的所有文本文件的单词数目（注意output/wordcount目录不可以为存在的目录）：
hadoop jar hadoop-examples-2.6.0.jar wordcount in /output/wordcount 
查看统计结果：
hadoop fs -cat output/wordcount/part-r-00000


####
####管理
####

1.集群相关管理：
edit log：修改日志，当文件系统客户端client进行写操作的时候，我们就要把这条记录放在修改日志中。在记录了修改日志后，NameNode则修改内存中的数据结构。每次写操作成功之前，edit log都会同步到文件系统中
fsp_w_picpath：命名空间镜像，它是内存中的元数据在硬盘上的checkpoint。当NameNode失败的时候，最新的checkpoint的元数据信息就会从fsp_w_picpath加载到内存中，然后注意重新执行修改日志中的操作。而Secondary NameNode就是用来帮助元数据节点将内存中的元数据信息checkpoint到硬盘上的。

2.集群属性：
优点：
1）能够处理超大的文件；
2）流式访问数据。HDFS能够很好的处理“一次写入，多次读写”的任务。也就是说，一个数据集一旦生成了，就会被复制到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及到数据集中的大部分数据。所以，HDFS请求读取整个数据集要比读取一条记录更加高效。

缺点：
1）不适合低延迟数据访问：HDFS是为了处理大型数据集分析任务的，主要是为达到大数据分析，所以延迟时间可能会较高。
2）无法高效存储大量小文件：因为Namenode把文件系统的元数据放置在内存中，所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定。
3）不支持多用户写入以及任意修改文件：在HDFS的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前HDFS还不支持多个用户对同一文件的写操作，以及在文件任意位置进行修改。

标题名称：centos6.5下部署用于生产的hadoop，并使用C语言API连接hadoop
分享URL：http://chengdu.cdxwcx.cn/article/piodch.html

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

首页

网站建设

网站制作案例

解决方案

网站设计报价

网站制作动态

关于我们

联系我们

成都网站建设设计将想法与焦点和您一起共享

centos6.5下部署用于生产的hadoop，并使用C语言API连接hadoop

其他资讯

html5图片设为背景 html5添加图片为背景

提交按钮的css样式提交按钮设置样式

mysql怎么找到 mysql怎么找到console在哪里可以找到

ios12开发版和正式版开发版iphone

做html5收获 html做网页的总结心得

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

成都网站建设设计 将想法与焦点和您一起共享

centos6.5下部署用于生产的hadoop，并使用C语言API连接hadoop

其他资讯

html5图片设为背景 html5添加图片为背景

提交按钮的css样式 提交按钮设置样式

mysql怎么找到 mysql怎么找到console在哪里可以找到

ios12开发版和正式版 开发版iphone

做html5收获 html做网页的总结心得

成都网站建设设计将想法与焦点和您一起共享

提交按钮的css样式提交按钮设置样式

ios12开发版和正式版开发版iphone