使用python爬取京东评论(json)
json
适用于现代 C++ 的 JSON。
项目地址:https://gitcode.com/gh_mirrors/js/json
免费下载资源
·
任务:爬取京东某手机的评论
这次爬取的内容是动态的所以不能直接爬源代码中的内容
- 打开网页按下F12在Network里找到productPageComments文件
- 打开这个文件
- 这个文件是由json保存的(这里面就是要爬取的内容)
- 先用读取网页
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
#这里是上面网页的url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')
5 . 处理字符串使它可以使用json.loads语句
html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
b=json.loads(html)
6 .整体代码:
#--*--coding:utf-8--*--
import urllib2
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')
f = open('01.txt','w')
for i in range(0,10):
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv17182&productId=4554969&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
#实现爬多页
print url
request=urllib2.Request(url)
response=urllib2.urlopen(request)
html =response.read().decode('GBK')
html=html.replace('fetchJSON_comment98vv17182(','')
html=html.replace(');','')
#去掉多余的字符
b=json.loads(html)
for k in b['comments']:
content = k["content"].encode('utf-8')
print content
f.write(k["content"].encode('utf-8')+'\n')
referenceName=k["referenceName"].encode('utf-8')
print referenceName
f.write(k["referenceName"].encode('utf-8')+'\n')
referenceTime=k["referenceTime"].encode('utf-8')
print referenceTime
f.write(k["referenceTime"].encode('utf-8')+'\n\n')
GitHub 加速计划 / js / json
41.72 K
6.61 K
下载
适用于现代 C++ 的 JSON。
最近提交(Master分支:1 个月前 )
960b763e
3 个月前
8c391e04
6 个月前
更多推荐
已为社区贡献1条内容
所有评论(0)