大数据之hive:行列转换系列总结
·
1、行转列(一)
主要使用:
CONCAT(string A/col, string B/col…):返回输入字符串连接后的结果,支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,…):它是一个特殊形式的 CONCAT()。第一个参数是剩余其他参数间的分隔符。
COLLECT_SET(col):函数只接受基本数据类型,它的主要作用是将某字段的值进行去重汇总,产生array类型字段。
示例
原始数据:
name | constellation | blood_type |
---|---|---|
宋江 | 白羊座 | A |
鲁智深 | 射手 | A |
武松 | 白羊座 | B |
潘金莲 | 白羊座 | A |
西门庆 | 射手 | A |
期望输出结果:
constell_blood | name_list |
---|---|
射手座,A | 鲁智深&西门庆 |
白羊座,A | 宋江&潘金莲 |
白羊座,B | 武松 |
实现:
select
t1.base,
concat_ws('&', collect_set(t1.name)) name
from
(select
name,
concat(constellation, ",", blood_type) constell_blood
from
person_info) t1
group by
t1.constell_blood;
2、列转行(一)
主要使用
EXPLODE(col):将hive一列中复杂的array或者map结构拆分成多行。
LATERAL VIEW
用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释:用于和split, explode等UDTF一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。
示例
原始数据:
movie | category |
---|---|
《疑犯追踪》 | 悬疑&动作 |
《Lie to me》 | 悬疑&警匪 |
期望输出结果:
movie | category_name |
---|---|
《疑犯追踪》 | 悬疑 |
《疑犯追踪》 | 动作 |
《Lie to me》 | 悬疑 |
《Lie to me》 | 警匪 |
实现:
select
movie,
category_name
from
movie_info
lateral view explode(split(category, "\\&")) table_tmp as category_name;
3、行转列(二)
主要使用sum(case when )
示例
原始数据:
stu_id | name | course | score |
---|---|---|---|
01 | zhangsan | math | 90 |
01 | zhangsan | chinese | 88 |
01 | zhangsan | english | 88 |
02 | lisi | math | 66 |
02 | lisi | chinese | 77 |
02 | lisi | english | 80 |
期望输出结果:
stu_id | name | mat_score | chi_score | eng_score |
---|---|---|---|---|
01 | zhangsan | 90 | 88 | 88 |
02 | lisi | 66 | 77 | 80 |
实现1:使用sum if 或sum(case when )条件判断
select
stu_id,
name,
sum(case when course='math' then score else 0 end) mat_score,
sum(case when course='chinese' then score else 0 end) chi_score,
sum(case when course='english' then score else 0 end) eng_score
from stu001
group by stu_id,name
实现2:map的思想,先拼接成map的形式,再取下标
select
stu_id
,name
,course_score_map['math'] as math_score
,course_score_map['chinese'] as math_score
,course_score_map['english'] as math_score
from
(
select
stu_id
,name
,str_to_map(concat_ws(',',collect_set(concat_ws(':',course,cast(score as String)))))course_score_map
from stu001
group by
stu_id
,name
) tt
4、列转行(二)
示例
主要使用union all
原始数据:
stu_id | name | mat_score | chi_score | eng_score |
---|---|---|---|---|
01 | zhangsan | 90 | 88 | 88 |
02 | lisi | 66 | 77 | 80 |
期望输出结果:
stu_id | name | course | score |
---|---|---|---|
01 | zhangsan | math | 90 |
01 | zhangsan | chinese | 88 |
01 | zhangsan | english | 88 |
02 | lisi | math | 66 |
02 | lisi | chinese | 77 |
02 | lisi | english | 80 |
实现1:union all
select
stu_id
,name
,'math' as course
,mat_score as score
from stu002
union all
select
stu_id
,name
,'chinese' as course
,chi_score as score
from stu002
union all
select
stu_id
,name
,'english' as course
,eng_score as score
from stu002
实现2:炸裂再字符串切割
select
stu_id
,name
,split(course_score,'\\:')[0] as course
,split(course_score,'\\:')[1] as score
from (
select
stu_id
,name
,concat('math',':',mat_score,'##','chinese',':',chi_score,'##','english',':',eng_score) as course_score_list
from stu002
) tt
lateral view explode(split(course_score_list, "\\##")) table_tmp as course_score;
更多推荐
已为社区贡献7条内容
所有评论(0)