甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
小编给大家分享一下hive基础操作有哪些，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
创新互联建站主营双湖网站建设的网络公司,主营网站建设方案,成都App制作,双湖h5小程序开发搭建,双湖网站营销推广欢迎双湖等地区企业咨询
前言
Hive支持常见的SQL语句, 除此之外它还有其独特的部分. 常见SQL语句与关系型数据库(例如MySQL)中的语法一致, 这里就不再做详细说明. 我们主要来看Hive中不一样的部分.
Hive的所有操作可以去Hive官网查看, 点击此处LanguageManual
Hive其实并不难, 对于有写过SQL语句的人来说会更简单. 在学习Hive时, 建议大家边学边敲, 多做联系.
准备工作
既然要使用Hive就要有Hive的环境, 可以根据这篇博客来安装Hive以及与Hive相关的环境(Hadoop, Yarn)大数据生态圈搭建
这里我使用的是基于Mysql的远程模式来操作Hive.
操作流程
创建第一个表格
连接进入Hive shell 之后, 先建一个新的数据库, 之后的大部分操作我们都在这个数据库中来练习.
创建:
create database hive_test;
使用该数据库:
use hive_test;
然后, 创建第一个表gfstbl, 也可使用数据库.表的格式(例如hive_test.gfstbl).
CREATE TABLE gfstbl(
id INT,
name STRING,
age INT,
gfs ARRAY
address MAP
info STRUCT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n';
解释说明:
create语句, ()中为字段之间用逗号分隔, 字段名称与类型之间用空格隔开. 这里字段的数据类型有整型, 字符串, 数组, 键值对以及结构体.
Hive支持的数据类型:
数据类型 注释
tinyint 短整型, 范围:-128~127
smallint 小整型, -32768~32767
int 整型, -232~232-1
bigint 大整型, 就很大
float 单精度浮点数
double 双精度浮点数
decimal 精度38位十进制数
date 日期
timestamp 时间戳
char 字符
string 字符串
varchar 可变长度字符串
array 数组类型
map 键值对类型
structs 结构化类型
ROW FORMAT DELIMITED : 行格式分隔
FIELDS TERMINATED BY ’ ’ : 字段之间使用空格分隔
COLLECTION ITEMS TERMINATED BY ‘,’ : 集合(就是这的数据)使用逗号分隔
MAP KEYS TERMINATED BY ‘:’ : 键值对使用冒号分隔
LINES TERMINATED BY ‘\n’ : 记录之间使用换行符分隔
; : 每一条SQL语句结尾都需要以分号结束
除此之外, 如果去掉分号, 加上:LOCATION “/test”; , 就可设置源数据在HDFS中存放的位置, 若不设置默认就在Hive的工作目录区.
创建表的SQL语句公式如下, 我们会根据Hive表的类型将这一公式分开操作.
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later)
[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[SKEWED BY (col_name, col_name, ...) -- (Note: Available in Hive 0.10.0 and later)]
ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
[STORED AS DIRECTORIES]
[
[ROW FORMAT row_format]
[STORED AS file_format]
| STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] -- (Note: Available in Hive 0.6.0 and later)
]
[LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)] -- (Note: Available in Hive 0.6.0 and later)
[AS select_statement]; -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
LIKE existing_table_or_view_name
[LOCATION hdfs_path];
data_type
: primitive_type
| array_type
| map_type
| struct_type
| union_type -- (Note: Available in Hive 0.7.0 and later)
primitive_type
: TINYINT
| SMALLINT
| INT
| BIGINT
| BOOLEAN
| FLOAT
| DOUBLE
| DOUBLE PRECISION -- (Note: Available in Hive 2.2.0 and later)
| STRING
| BINARY -- (Note: Available in Hive 0.8.0 and later)
| TIMESTAMP -- (Note: Available in Hive 0.8.0 and later)
| DECIMAL -- (Note: Available in Hive 0.11.0 and later)
| DECIMAL(precision, scale) -- (Note: Available in Hive 0.13.0 and later)
| DATE -- (Note: Available in Hive 0.12.0 and later)
| VARCHAR -- (Note: Available in Hive 0.12.0 and later)
| CHAR -- (Note: Available in Hive 0.13.0 and later)
array_type
: ARRAY < data_type >
map_type
: MAP < primitive_type, data_type >
struct_type
: STRUCT < col_name : data_type [COMMENT col_comment], ...>
union_type
: UNIONTYPE < data_type, data_type, ... > -- (Note: Available in Hive 0.7.0 and later)
row_format
: DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
[NULL DEFINED AS char] -- (Note: Available in Hive 0.13 and later)
| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]
file_format:
: SEQUENCEFILE
| TEXTFILE -- (Default, depending on hive.default.fileformat configuration)
| RCFILE -- (Note: Available in Hive 0.6.0 and later)
| ORC -- (Note: Available in Hive 0.11.0 and later)
| PARQUET -- (Note: Available in Hive 0.13.0 and later)
| AVRO -- (Note: Available in Hive 0.14.0 and later)
| JSONFILE -- (Note: Available in Hive 4.0.0 and later)
| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname
constraint_specification:
: [, PRIMARY KEY (col_name, ...) DISABLE NOVALIDATE ]
[, CONSTRAINT constraint_name FOREIGN KEY (col_name, ...) REFERENCES table_name(col_name, ...) DISABLE NOVALIDATE
查看第一个表的结构
查看表结构的公式:
DESCRIBE [EXTENDED|FORMATTED] table_name
EXTENDED 极简的方式显示
FORMATTED 格式化方式来显示
只查看表字段及类型, 结果如下图
DESC gfstbl;
或
DESCRIBE gfstbl;
极简方式查看表结构, 结果如下图
DESCRIBE EXTENDED gfstbl;
格式化方式查看表, 结果如下图
DESCRIBE FORMATTED gfstbl;
表中加载数据
待加载数据
数据内容如下:
001 zhangsan 19 Girl1,Girl2,Girl3 Girl1:qingdao,Girl2:jinan,Girl3:nanjing zhongguo,shandong,weifang
002 lisi 20 GirlA,GirlB GirlA:American,GirlB:长沙 zhongguo,shandong,qingdao
将这两行数据复制到gfs.txt文件中
vim /root/gfs.txt
然后复制粘贴数据
导入数据到Hive表中
load data local inpath '/root/gfs.txt' into table hive_test.gfstbl;
需要注意: load方式插入数据不会启动MR任务, load的实质是将文件上传到hdfs目录中.
查看数据的三种方式
使用select语句
select * from gfstbl;
2. 通过hdfs集群操作
hdfs dfs -ls /user/hive_meta/warehouse/hive_test.db/gfstbl
hdfs dfs -cat /user/hive_meta/warehouse/hive_test.db/gfstbl/*
3. 通过webUI页面
进图webUI页面, 找到文件对应位置
查看数组,键值对,结构体数据的某个值
对于 数组 使用 : 列名[索引] 的形式查看(索引下标从0开始)
对于键值对使用 : 列名[“Key”]
对于结构体使用 : 列名.属性
select gfs[0],address["Girl2"],info.city from gfstbl;
删除表的方式
drop table gfstbl2;
此处需要注意, 如果通过hdfs操作删除表所在的目录, hive中表还会存在. 原因在于mysql的hive_meta数据库中还存有该表的元数据信息.
知识积累
Hive中创建表的三种方式
通过编写完整的CREATE语句创建, 如上文中我们创建gfstbl时的语句:
CREATE TABLE gfstbl(
id INT,
name STRING,
age INT,
gfs ARRAY
address MAP
info STRUCT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n';
通过使用CREATE和LIKE关键词创建一个与原来表结构完全相同, 但没有数据的新表:
create table gfstbl1 like gfstbl;
通过使用CREATE, AS和SELECT关键词创建一个不仅表结构一样而且数据也一样的新表:
create table gfstbl2 AS SELECT id,name,gfs,address,info from gfstbl;
注意, 由于这种方式插入数据使用的是insert来插入数据, 因此会启动MR任务.
Hive表中插入数据的四种方式
insert 新数据, 最简单, 最基本也是最少用的方式, 直接写insert语句.
insert into table(col...) values(val...)
1
load方式, 最常用也是效率最高的方式
LOAD DATA命令，可分为LOAD DATA LOCAL INPATH和LOAD DATA INPATH。两者的区别在于LOCAL导入的是本地文件而不加LOCAL的导入的是HDFS文件
LOAD DATA INPATH '/a.txt' INTO TABLE user
1
查询(select)其他表数据 insert 到新表中
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
或
FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1
习惯上使用第二种语法, 即将from语句提前, 减少SQL代码的冗余.
from user
insert into user_count
select count(*)
insert into user_copy
select *;
直接使用hdfs命令将符合格式的文件放到该表在HDFS对应的目录下
Hive中表的类型
内部表
与数据库中的Table在概念上类似, 每一个内部表在Hive中都有一个相应的目录存数据, 所有表的数据(不包括External Table)都保存在这个目录中. 如上文中创建的gfstbl表.
删除表时，元数据与数据都会删除.
临时表
临时表的生命周期是一次会话, 当本次会话结束时, 临时表会自动删除.
外部表
删除表时, 元数据会被删除, 但数据(存放在HDFS)不会被删除.
分区表
将一批数据分成多个目录来存储, 从而防止暴力扫描. 分区表分为静态分区表和动态分区表.
分桶表
分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储. 由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中, 对于hive中每一个表、分区都可进一步分桶.
以上是“hive基础操作有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！