【1.我为什么选择以爬虫入门python】

首先python开发爬虫的优越性我自不多说，对于深受C++语法折磨的初级程序员来说，想要快速实现功能，选择python妥妥的。同时python的爬虫库也是非常便利（除了安装库时稍费点事），如Scrapy、urllib 。但为了实现功能的同时，顺便熟悉Python语言，这里我们用基本的request+beautifulsoap来编写爬虫。

【2.request是什么，beautifulsoap又是什么】

结合今天要讲的爬虫，就两句话解释（具体请自行百度）：

request：能够解析绝大部分http的请求

beautifulsoap：提供丰富的库函数支持你从网页抓取数据

【3.开发环境】

本文中的开发环境是linux，python包是python3.5。（安装的方法请自行百度）

【4.简易爬虫的开发思路】

简易的爬虫分为三个部分：

第一，创建连接，登录，有些网站需要你伪装成浏览器登录，并将第一个url放入待抓取的队列。

第二，扫描网页，解析并抓取数据，根据你的需要，将不同的数据放入到不同的已抓取队列中。循环往复，注意判断抓取到的数据是否已经在队列中存在，避免重复抓取。

第三，处理队列中的数据，如下载图片，存日志等，（该步骤可以放在第二步中，如果爬大站点，这样做会让你实时看到抓取的数据，但同时也会影响爬虫的效率。）

大概的思路很简单易懂，自己做的话封函数可能会稍稍费点事。

【5.爬虫中涉及到的几个小点】

这部分是写给初学者看的，对于一些未接触过的库和api，这里写了几个小demo进行测试，毕竟没有测过直接整合到一起，到最后疯狂的报错会让人抓狂。

5.1 日志模块

python有一些让我很疑惑的地方，也希望又看到的朋友帮忙解答：

槽点！！！为什么有些模块，单个入参很简单，多个入参的时候却显得有些繁琐。日志模块就是其中之一。

当你的程序中只有一个日志输出的时候。可以直接定义如下：

import logging

logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
                    datefmt='%m-%d %H:%M',
                    filename='myapp.log',
                    filemode='w'
                    )

定义日志的输出格式，内容，级别，名字和读写权限。

定义多个日志输出时，这种方法就不适用了，代码如下：