爬虫中的json数据存储
1. 什么是json?
JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。
2. json支持的数据格式
- 对象(字典)。使用花括号。
- 数组(列表)。使用方括号。
- 整形、浮点型、布尔类型还有null类型。
- 字符串类型(字符串必须要用双引号,不能用单引号)。
【注意】 多个数据之间使用逗号分开,并且json本身就是一个字符串。
3. dumps 和 dump 函数的使用 (python对象 ---> json字符串)
(3.1) dumps 将python数据类型转换为json类型
import json
students= [
{
name: 'myh',
'age': 3
},
{
name: 'zff',
age: 3
}
]
json_str = json.dumps(students, ensure_ascii=False)
print(json_str)
因为json在dump的时候,只能存放ascii的字符,因此会将中文进行转义,这时候我们可以使用ensure_ascii=False关闭这个特性。
在Python中。只有基本数据类型才能转换成JSON格式的字符串。也即:int、float、str、list、dict、tuple。
(3.2)dump 将python数据类型转换为json类型并且直接存储到文件中
json
模块中除了dumps
函数,还有一个dump
函数,这个函数可以传入一个文件指针,直接将字符串dump
到文件中。示例代码如下:
students= [
{
name: 'myh',
'age': 3
},
{
name: 'zff',
age: 3
}
]
with open('a.json','w') as fp:
json.dump(books,fp)
4. loads 和 load 函数的使用 (json ---> python对象)
(4.1) loads 函数将一个json字符串转换为python对象
json_str = '[{"title": "钢铁是怎样练成的", "price": 9.8}, {"title": "红楼梦", "price": 9.9}]'
books = json.loads(json_str,encoding='utf-8')
print(type(books))
print(books)
(4.2) load 函数直接从文件中读取json字符串并且转换为python对象
import json
with open('a.json','r',encoding='utf-8') as fp:
json_str = json.load(fp)
print(json_str)
【注】 无论是loads与load还是dumps与dump:带s的函数都只是进行数据格式转换,而不带s的函数都与文件操作相关。
更多推荐
所有评论(0)