Spark SQL使用get_json_object函数解析json
·
get_json_object(string json_string, string path)
说明:
第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;如果输入的json字符串无效,那么返回NULL。
举例:
数据准备如下:

使用实例:
with data_table as (select "{
\"timestamp\": \"2021-03-23T06:45:11.460Z\",
\"metadata\": {
\"beat\": \"filebeat\",
\"type\": \"doc\",
\"version\": \"6.6.1\",
\"topic\": \"gateway_track_log\"
},
\"service_port\": \"1111\",
\"service_name\": \"gateway\",
\"service_ip\": [{\"ip_a\":\"100.100.89.09\"},{\"ip_b\":\"100.100.89.10\"}],
\"center_name\": \"open\"
}" as col)
select get_json_object(col,'$.timestamp') as `timestamp`,
get_json_object(col,'$.metadata.type') as metadata_type,
get_json_object(col,'$.service_ip[0].ip_a') as service_ip_a
from data_table;
结果如下:

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)