这篇文章主要讲解了“Hive中怎么添加自定义函数”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Hive中怎么添加自定义函数”吧!
成都创新互联公司是一家成都做网站、网站建设、外贸营销网站建设,提供网页设计,网站设计,网站制作,建网站,按需定制制作,网站开发公司,公司2013年成立是互联行业建设者,服务者。以提升客户品牌价值为核心业务,全程参与项目的网站策划设计制作,前端开发,后台程序制作以及后期项目运营并提出专业建议和思路。
环境介绍:CentOS7+hive-1.1.0-cdh6.7.0+Maven3.3.9
1、下载源码
hive-1.1.0-cdh6.7.0-src.tar.gz
http://archive.cloudera.com/cdh6/cdh/5/hive-1.1.0-cdh6.7.0-src.tar.gz
2、解压源码
tar -zxvf hive-1.1.0-cdh6.7.0-src.tar.gz -C /home/hadoop/
cd /home/hadoop/hive-1.1.0-cdh6.7.0
3、将HelloUDF.java文件增加到HIVE源码中
cp HelloUDF.java /home/hadoop/hive-1.1.0-cdh6.7.0/ql/src/java/org/apache/hadoop/hive/ql/udf/
4、修改FunctionRegistry.java 文件
cd /home/hadoop/hive-1.1.0-cdh6.7.0/ql/src/java/org/apache/hadoop/hive/ql/exec/
vi FunctionRegistry.java
在import中增加:import org.apache.hadoop.hive.ql.udf.HelloUDF;
在文件头部 static 块中添加:system.registerUDF("helloUDF", HelloUDF.class, false);
5、重新编译
cd /home/hadoop/hive-1.1.0-cdh6.7.0
mvn clean package -DskipTests -Phadoop-2 -Pdist
6、编译结果全部为:BUILD SUCCESS
文件所在目录:/home/hadoop/hive-1.1.0-cdh6.7.0/hive-1.1.0-cdh6.7.0/packaging/target
7、配置hive环境
配置hive环境时,可以全新配置或将编译后带UDF函数的包复制到旧hive环境中:
7.1、全部配置:参照之前文档。。。。。。。。。。。。。。
7.2、将编译后带UDF函数的包复制到旧hive环境
到/home/hadoop/hive-1.1.0-cdh6.7.0/packaging/target/apache-hive-1.1.0-cdh6.7.0-bin/apache-hive-1.1.0-cdh6.7.0-bin/lib下,找到hive-exec-1.1.0-cdh6.7.0.jar包,并将旧环境中对照的包替换掉
命令:
cd /home/hadoop/app/hive-1.1.0-cdh6.7.0/lib
mv hive-exec-1.1.0-cdh6.7.0.jar hive-exec-1.1.0-cdh6.7.0.jar_bak
cd /home/hadoop/hive-1.1.0-cdh6.7.0/packaging/target/apache-hive-1.1.0-cdh6.7.0-bin/apache-hive-1.1.0-cdh6.7.0-bin/lib
cp hive-exec-1.1.0-cdh6.7.0.jar /home/hadoop/app/hive-1.1.0-cdh6.7.0/lib
最终启动hive
8、测试:
hive
hive (default)> show functions ; -- 能查看到有 helloudf
感谢各位的阅读,以上就是“Hive中怎么添加自定义函数”的内容了,经过本文的学习后,相信大家对Hive中怎么添加自定义函数这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!