工作中数据清洗时遇到以下情况:

a = '{"地区": "湖南", "描述": "精通软件开发、"数据挖掘"和分布式"}'

由于读取出的json字符串中包含有非法双引号,在使用json.loads()处理的时候报错
json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 29 (char 28)
写了大半个小时的正则都无法解决
后来使用如下方法解决了,一并把json字符串中的换行符、分隔符和双引号都转义了

def deal_json_invaild(data):
    data = data.replace("\n", "\\n").replace("\r", "\\r").replace("\n\r", "\\n\\r") \
        .replace("\r\n", "\\r\\n") \
        .replace("\t", "\\t")
    data = data.replace('": "', '&&testPassword&&')\
        .replace('", "', "$$testPassword$$")\
        .replace('{"', "@@testPassword@@")\
        .replace('"}', "**testPassword**")
    print(data)

    data = data.replace('"', r'\"')\
        .replace('&&testPassword&&', '": "').replace('$$testPassword$$', '", "').replace('@@testPassword@@', '{"').replace('**testPassword**', '"}')
    print(data)
    return data

测试如下:

a = deal_json_invaild(a)
json_data = json.loads(a)

> {"地区": "湖南", "描述": "精通软件开发、\"数据挖掘\"和分布式"}

此时转使用json.loads()便不会报错了

GitHub 加速计划 / js / json
41.72 K
6.61 K
下载
适用于现代 C++ 的 JSON。
最近提交(Master分支:12 天前 )
960b763e 3 个月前
8c391e04 5 个月前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐