阅读文本大概需要 5 分钟。

工欲善其事必先利其器的道理相信大家都懂。而作为经常要和各大网站做拉锯战的爬虫工程师们，则更需要利用好身边的一切法器，以便更快的攻破对方防线。今天我就以日常爬虫流程，给大家介绍十款工具，相信大家掌握之后，必定能够在工作效率上，提升一个量级。

爬虫第一部做什么？当然是目标站点分析

1、Chrome

Chrome属于爬虫的基础工具，一般我们用它做初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤等。我们初期的大部分工作都在它上面完成，打个不恰当的比喻，不用Chrome，我们就要从智能时代倒退到马车时代。

同类工具： Firefox、Safari、Opera

2、Charles

Charles与Chrome对应，只不过它是用来做App端的网络分析，相较于网页端，App端的网络分析较为简单，重点放在分析各个网络请求的参数。当然，如果对方在服务端做了参数加密，那就涉及逆向工程方面的知识，那一块又是一大箩筐的工具，这里暂且不谈。

同类工具：Fiddler、Wireshark、Anyproxy

接下来，分析站点的反爬虫

3、cUrl

维基百科这样介绍它：

cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。

在做爬虫分析时，我们经常要模拟一下其中的请求，这个时候如果去写一段代码，未免太小题大做了，直接通过Chrome拷贝一个cURL，在命令行中跑一下看看结果即可，步骤如下：

4、Postman

当然，大部分网站不是你拷贝一下cURL链接，改改其中参数就可以拿到数据的，接下来我们做更深层次的分析，就需要用到Postman“大杀器”了。为什么是“大杀器”呢？因为它着实强大。配合cURL，我们可以将请求的内容直接移植过来，然后对其中的请求进行改造，勾选即可选择我们想要的内容参数，非常优雅。

5、Online JavaScript Beautifier

用了以上的工具，你基本可以解决大部分网站了，算是一个合格的初级爬虫工程师了。这个时候，我们想要进阶就需要面对更复杂的网站爬虫了，这个阶段，你不仅要会后端的知识，还需要了解一些前端的知识，因为很多网站的反爬措施是放在前端的。你需要提取对方站点的js信息，并需要理解和逆向回去，原生的js代码一般不易于阅读，这时，就要它来帮你格式化吧。

6、EditThisCookie

爬虫和反爬虫就是一场没有硝烟的拉锯战，你永远不知道对方会给你埋哪些坑，比如对Cookies动手脚。这个时候你就需要它来辅助你分析，通过Chrome安装EditThisCookie插件后，我们可以通过点击右上角小图标，再对Cookies里的信息进行增删改查操作，大大提高对Cookies信息的模拟。

接着，我们开始设计爬虫的架构

7、Sketch

当我们已经确定能爬取之后，我们不应该着急动手写爬虫。而是应该着手设计爬虫的结构。按照业务的需求，我们可以做一下简单的爬取分析，这有助于我们之后开发的效率，所谓磨刀不误砍柴工就是这个道理。比如可以考虑下，是搜索爬取还是遍历爬取？采用 BFS 还是 DFS？并发的请求数大概多少？考虑一下这些问题后，我们可以通过 Sketch 来画一下简单的架构图。

同类工具：Illustrator、 Photoshop

开始愉快的爬虫开发之旅吧
终于要进行开发了，经过上面的这些步骤，我们到这一步，已经是万事俱备只欠东风了。这个时候，我们仅仅只需要做code和数据提取即可。

8、XPath Helper

在提取网页数据时，我们一般需要使用xpath语法进行页面数据信息提取，一般地，但我们只能写完语法，发送请求给对方网页，然后打印出来，才知道我们提取的数据是否正确，这样一方面会发起很多不必要的请求，另外一方面，也浪费了我们的时间。这个就可以用到 XPath Helper了，通过Chrome 安装插件后，我们只需要点击它在对应的xpath中写入语法，然后便可以很直观地在右边看到我们的结果，效率 up+10086。

9、JSONView

我们有时候提取的数据是Json格式的，因为它简单易用，越来越多的网站倾向于用Json格式进行数据传输。这个时候，我们安装这个插件后，就可以很方便的来查看Json数据啦。

10、JSON Editor Online

JSONView是直接在网页端返回的数据结果是Json，但多数时候我们请求的结果，都是前端渲染后的HTML网页数据，我们发起请求后得到的json数据，在终端(即terminal)中无法很好的展现怎么办？借助JSON Editor Online就可以帮你很好的格式化数据啦，一秒格式化，并且实现了贴心得折叠Json数据功能。

既然看到这里，相信你们一定是真爱粉啦，送你们一个彩蛋工具。

11、ScreenFloat

它能来干嘛？见名思意，就是一个屏幕悬浮工具，然而我最近才发现它特别重要，尤其我们需要分析参数时，经常需要在几个界面来回切换，这个时候有一些参数，我们需要比较他们的差异，这个时候，你就可以通过它先悬浮着，不用在几个界面中来切换。非常方便。再送你一个隐藏玩法，比如上面这样。

有其他好用的工具，欢迎小伙伴留言哈

如果你对Python感兴趣，学好 Python 不论是就业、副业赚钱、还是提升学习、工作效率，都是非常不错的选择，但要有一个系统的学习规划。

关于Python的学习指南

小编是一名Python开发工程师，自己整理了一套 【最新的Python系统学习教程】，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。

如果你是准备学习Python或者正在学习，下面这些你应该能用得上：

① Python所有方向的学习路线图，清楚各个方向要学什么东西

② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例，学习不再是只会理论

④ 华为出品独家Python漫画教程，手机也能学习

⑤ 历年互联网企业Python面试真题,复习时非常方便

上述这份完整版的Python全套学习资料已经上传CSDN官方，朋友们如果需要可以扫描下方二维码免费获取【保证100%免费】

1、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

2、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

3、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

4、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

5、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

6、清华编程大佬出品《漫画看学Python》

用通俗易懂的漫画，来教你学习Python，让你更容易记住，并且不会枯燥乏味。

7、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

8、Python副业兼职与全职路线

这份完整版的Python全套学习资料已经上传至CSDN官方，朋友们如果需要可以点击下方链接或扫描下方二v码都可以免费获取【保证100%免费】

最新全套【Python入门到进阶资料 & 实战源码 &安装工具】

以上全套资料已经为大家打包准备好了，希望对正在学习Python的你有所帮助！