甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

QQ :532337155
电话：028-86922220
 
成都网站建设设计

将想法与焦点和您一起共享

如何使用Hive集成Solr?-创新互联

（一）Hive+Solr简介

Hive作为Hadoop生态系统里面离线的数据仓库，可以非常方便的使用SQL的方式来离线分析海量的历史数据，并根据分析的结果，来干一些其他的事情，如报表统计查询等。
Solr作为高性能的搜索服务器，能够提供快速，强大的全文检索功能。

（二）为什么需要hive集成solr？

有时候，我们需要将hive的分析完的结果，存储到solr里面进行全文检索服务，比如以前我们有个业务，对我们电商网站的搜索日志使用hive分析完后 存储到solr里面做报表查询，因为里面涉及到搜索关键词，这个字段是需要能分词查询和不分词查询的，通过分词查询可以查看改词的相关的产品在某一段时间内的一个走势图。 有时候，我们又需要将solr里面的数据加载到hive里面，使用sql完成一些join分析功能， 两者之间优劣互补，以更好的适应我们的业务需求。当然网上已经有一些hive集成solr的开源项目，但由于 版本比较旧，所以无法在新的版本里面运行，经过散仙改造修补后的可以运行在最新的版本。

（三）如何才能使hive集成solr？

所谓的集成，其实就是重写hadoop的MR编程接口的一些组件而已。我们都知道MR的编程接口非常灵活，而且高度抽象，MR不仅仅可以从HDFS上加载 数据源，也可以从任何非HDFS的系统中加载数据，当然前提是我们需要自定义：
InputFormat
OutputFormat
RecordReader
RecordWriter
InputSplit
组件，虽然稍微麻烦了点，但从任何地方加载数据这件事确实可以做到，包括mysql，sqlserver，oracle，mongodb， solr，es，redis等等。

上面说的是定制Hadoop的MR编程接口，在Hive里面除了上面的一些组件外，还需要额外定义SerDe组件和组装StorageHandler，在hive里面 SerDe指的是 Serializer and Deserializer，也就是我们所说的序列化和反序列化，hive需要使用serde和fileinput来读写hive 表里面的一行行数据。
读的流程：
HDFS files / every source -> InputFileFormat --> --> Deserializer --> Row object
写的流程：
Row object --> Serializer --> --> OutputFileFormat --> HDFS files / every source

（四）hive集成solr后能干什么？

（1）读取solr数据，以hive的支持的SQL语法，能进行各种聚合，统计，分析，join等
（2）生成solr索引，一句SQL，就能通过MR的方式给大规模数据构建索引

（五）如何安装部署以及使用？
源码在这里，不在粘贴了，已经上传github了，有需要的朋友可以使用 git clonehttps://github.com/qindongliang/hive-solr 后，修改少许pom文件后，执行
mvn clean package
命令构建生成jar包，并将此jar包拷贝至hive的lib目录即可

例子如下：
（1）hive读取solr数据

建表：

创新互联是一家集网站建设,长安企业网站建设,长安品牌网站建设,网站定制,长安网站建设报价,网络营销,网络优化,长安网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

Sql代码  如何使用Hive集成Solr?

  1. --存在表就删除

  2. drop table  if exists solr;

  4. --创建一个外部表

  5. create external table solr (

  6.   --定义字段，这里面的字段需要与solr的字段一致

  7.   rowkey string,

  8.   sname string

  10. )

  11. --定义存储的storehandler

  12. stored by "com.easy.hive.store.SolrStorageHandler"

  13. --配置solr属性

  14. tblproperties('solr.url' = 'http://192.168.1.28:8983/solr/a',

  15.                     'solr.query' = '*:*',

  16.                     'solr.cursor.batch.size'='10000',

  17.                     'solr.primary_key'='rowkey'

  18.                        );

  19. 执行bin/hive 命令，进行hive的命令行终端：

  21. --查询所有数据

  22. select * from solr limit 5;

  23. --查询指定字段

  24. select rowkey from solr;

  25. --以mr的方式聚合统计solr数据

  26. select sname ,count(*) as c from solr group by sname  order by c desc

（2）使用hive给solr构建索引的例子

首先构建数据源表:

Sql代码  如何使用Hive集成Solr?

  1. --如果存在就删除

  2. drop table if exists index_source;

  4. --构建一个数据表

  5. CREATE TABLE index_source(id string, yname string,sname string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

  7. --向数据源里面导入本地数据

  8. load  data local inpath '/ROOT/server/hive/test_solr' into table index_source;

  9. 其次，构建solr的关联表：

  11. --删除已经存在的表

  12. drop table  if exists index_solr;

  14. --创建关联solr表

  15. create external table index_solr (

  16.   id string,

  17.   yname string,

  18.   sname string

  19. )

  20. --定义存储引擎

  21.  stored by "com.easy.hive.store.SolrStorageHandler"

  22. --设置solr服务属性

  23. tblproperties('solr.url' = 'http://192.168.1.28:8983/solr/b',

  24.                     'solr.query' = '*:*',

  25.                     'solr.cursor.batch.size'='10000',

  26.                     'solr.primary_key'='id'

  27.                        );

最后，执行下面的sql命令，即可给数据源中的数据，构建solr索引：

Sql代码  如何使用Hive集成Solr?

  1. --注册hive-solr的jar包，否则MR方式运行的时候，将不能正常启动

  2. add jar /ROOT/server/hive/lib/hive-solr.jar;

  3. --执行插入命令

  4. INSERT OVERWRITE TABLE index_solr SELECT * FROM  index_source ;

  5. --执行成功之后，即可在solr的终端界面查看，也可以再hive里面执行下面的solr查询

  6. select * from index_solr limit 10 ;

（六）他们还能其他的框架集成么？

当然，作为开源独立的框架，我们可以进行各种组合， hive也可以和elasticsearch进行集成，也可以跟mongodb集成， solr也可以跟spark集成，也可以跟pig集成,但都需要我们自定义相关的组件才行,思路大致与这个项目的思路一致。

（七）本次测试通过的基础环境

Apache Hadoop2.7.1
Apache Hive1.2.1
Apache Solr5.1.0

（八）感谢并参考的资料：

https://github.com/mongodb/mongo-hadoop/tree/master/hive/src/main/java/com/mongodb/hadoop/hive
https://github.com/lucidworks/hive-solr
https://github.com/chimpler/hive-solr
https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HowtoWriteYourOwnSerDe

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


分享标题：如何使用Hive集成Solr?-创新互联
分享URL：http://chengdu.cdxwcx.cn/article/dcgihg.html

其他资讯