hive基于json格式创建hive表
json
适用于现代 C++ 的 JSON。
项目地址:https://gitcode.com/gh_mirrors/js/json
免费下载资源
·
创作不易,转载请注明出处。如有疑问,请加微信 wx15151889890,谢谢。
[本文链接:]https://blog.csdn.net/wx740851326/article/details/83658257
由于前段的数据是json格式的,因此想基于json建表。
导入json解析包
首先需要引入json的hive解析包。
我使用的是cdh5.13.3,在这里下载了hive-hcatalog-core的包
hive-hcatalog-core下载地址
hive里是使用命令添加jar包
add jar hdfs:///user/hive/jars/hive-hcatalog-core-1.1.0-cdh5.13.3.jar;
添加了之后便可根据json的内容建表了
##基于sjon文件建表##
单条json文本的内容
{
"prims": {
"PLCOrderCode": "6ES7 313-5BF03-0AB0",
"PLCName": "SIMP-PLC_23",
"WorkShop": "",
"ProductLine": "",
"DateTime": "10/30/2018 16:00:29:730",
"DeviceName": ""
},
"params": {
"A1_LL_P_Alarm": "ON"
}
}
hive建表语句
create external table if not exists plc_data
(
PRIMS map<string,string> comment "plc基础信息",
PARAMS map<string,string> comment "plc明细信息"
)comment "plc数据汇总表"
partitioned by (partition_day string)
row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION
'hdfs:///data/flink/plc_data/';
serde格式注意是 org.apache.hive.hcatalog.data.JsonSerDe
将数据放置到相应的hdfs目录下面:
/data/flink/plc_data/partition_day=20181101
这里注意文件目录名称是partition_day=20181101
这个名称根据你的数据分区而定,使用命令挂在分区目录
alter table plc_data add partition (partition_day=20181101);
查询数据看下结果:
hive> select prims['PLCOrderCode'],params from plc_data;
OK
6ES7 313-5BF03-0AB0 {"A1_LL_P_Alarm":"ON"}
Time taken: 1.177 seconds, Fetched: 1 row(s)
大功告成!
GitHub 加速计划 / js / json
41.72 K
6.61 K
下载
适用于现代 C++ 的 JSON。
最近提交(Master分支:1 个月前 )
960b763e
4 个月前
8c391e04
6 个月前
更多推荐
已为社区贡献2条内容
所有评论(0)