获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫
·
- 故事背景:最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF,拜托我之后,我想用python写一个爬虫工具。

- 构想:按照之前的Python爬虫入门经验,获取网页源代码,找出下载链接,再下载就ok。
好!查看网页源代码。。。放置“搜索结果”的这部分网页代码看不到?!这个“深圳万科”只是个示例

- 但是审查元素的时候是存在的,“何康新能”“永高股份”。。。:

- 去研究了一下,怎么获得隐藏的网页代码,网上都说什么F12抓包,抓包。。。
懵逼,我是一个小白啊,能不能来个手把手教学的? 看到两个有用的网页:
https://zhidao.baidu.com/question/1178494981402265499.html
https://www.qqjike.com/qqjishu/2018/0124/5500.html
-
我回到“巨潮资讯网”,F12审查元素 ——> Network ——> XHR ——> F5 reload,看到这几个东西:

-
选择这个full?searchxxxxxxxxxx:

-
在进入这个网页后,公告栏是请求了另一个url:
打开它,得到了返回数据,就是想要的“搜索结果”的数据:
8. 这个网页先呈现出一个布局界面,核心内容即搜索结果是异步加载的。
以后如果学习了html、JavaScrip等前端知识,再回来把这里的异步加载讲清楚。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)