[关闭]
@coder-pig 2018-08-26T16:14:39.000000Z 字数 4963 阅读 2690

小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验

Python


引言

经过前面两节的学习,我们学会了使用urllib去模拟请求,使用
Beautiful Soup正则表达式来处理网页以获取我们需要的数据。
对于经常重复用到的代码,我们都会单独抽取成自己的模块
比如代理池模块:自动爬代理,校验代理ip是否可用,存取ip,
又或者文件下载等,手撕爬虫代码是挺爽的蛤!不过今天并不用
手撕爬虫,而是学习一个很出名的爬虫框架——Scrapy(西瓜皮)。


1.官方文档与简介

官方文档https://docs.scrapy.org/en/latest/

简介

Scrapy,谐音西瓜皮,Python开发的一个快速、高层次的屏幕抓取和
web抓取框架,用于抓取web站点并从页面中提取结构化的数据。
Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求
方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、
sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。


2.Scrapy安装

网上的安装教程都很繁琐,偶然间发现一种傻瓜式的,直接安装:Anaconda
选择对应的windows版本,然后傻瓜式下一步就可以了,安装完成后,
点击开始找到并打开:

键入下述命令进行安装

  1. conda install scrapy

安装完成后,后面想执行Scrapy相关命令都可以在这里执行:

系统与Python版本Ubuntu 14.04      Python 3.4

  1. sudo pip3 install Scrapy

中途出现一个错误:fatal error: 'Python.h' file not found
需要另外安装python-dev,该库中包含Python的头文件与静态库包,
要根据自己的Python版本进行安装:

  1. sudo apt-get install python3.4-dev

系统与Python版本OS 10.13.2      Python 3.6

  1. pip install Scrapy

3.Scrapy框架的大概了解


Scrapy的架构图

各个模块的介绍

执行流程


4.新建并了解Scrapy项目结构

执行下述命令可以生成一个Scrapy项目

  1. scrapy startproject 项目名

新建的项目结构如下

  1. ScrapyStudy/
  2. scrapy.cfg # 项目的配置文件
  3. ScrapyStudy/ # 该项目的python模块,代码都加在里面
  4. __init__.py
  5. items.py # 项目中的item文件
  6. pipelines.py # 项目中pipelines文件
  7. settings.py # 项目的设置文件
  8. spiders/ # 方式spider代码的目录
  9. __init__.py

5.Scrapy使用初体验

1.编写Spider类爬取到网页

自定义Spider时,需 继承scrapy.Spider类,且必须有以下三个成员:

使用示例

命令行键入:scrapy crawl pic_spider 执行PicSpider,执行完成后可以
看到,Spider已经把这两个网站给扒下来了,厉害了:

2.取出网页中想要的信息

Scrapy中使用一种基于XPath和CSSDE表达式机制:Scrapy Selectors
来提取出网页中我们所需的数据。

Selector是一个选择,有四个基本方法:

这里顺道学下XPath的基本语法:(更多可见:http://www.w3school.com.cn/xpath/)

首先XPath中的路径分为绝对路径与相对路径
绝对路径:用/,表示从根节点开始选取;
相对路径:用//,表示选择任意位置的节点,而不考虑他们的位置;
另外可以使用*通配符来表示未知的元素;除此之外还有两个选取节点的:
.:选取当前节点;..:当前节点的父节点;

接着就是选择分支进行定位了,比如存在多个元素,想唯一定位,
可以使用[]中括号来选择分支,下标是从1开始算的哦!
比如可以有下面这些玩法:

然后是选择属性,其实就是上面的这个@
可以使用多个属性定位,可以这样写:/tr/td[@class='xxx'][@value='yyy']
或者/tr/td[@class='xxx' and @value='yyy']

再接着是常用函数:除了上面的last()position(),外还有:
contains(string1,string2):如果前后匹配返回True,不匹配返回False;
text():获取元素的文本内容
start-with():从起始位置匹配字符串
更多的自己去翻文档吧~

最后是,当上面的操作都不能定位时,这个时候可以考虑根据元素
的父辈节点或者兄弟节点来定位了,这个时候就会用到Xpath轴
利用轴可定位某个相对于当前节点的节点集,语法:轴名称::标签名
规则列表如下:

轴名称 作用
ancestor 选取当前节点的所有先辈(父、祖父等)。
ancestor-or-self 选取当前节点的所有先辈(父、祖父等)以及当前节点本身。
attribute 选取当前节点的所有属性。
child 选取当前节点的所有子元素。
descendant 选取当前节点的所有后代元素(子、孙等)。
descendant-or-self 选取当前节点的所有后代元素(子、孙等)以及当前节点本身。
following 选取文档中当前节点的结束标签之后的所有节点。
following-sibling 选取当前节点之后的所有兄弟节点
namespace 选取当前节点的所有命名空间节点。
parent 选取当前节点的父节点。
preceding 选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling 选取当前节点之前的所有同级节点。
self 选取当前节点。

大概规则了解到这里,接下来就用Xpath来获取我们想要的东西~

在开始解析之前我们还要写一个Item,就是拿来装我们爬取筛选
过后数据的容器,使用方法和Python中的字典类似,并且提供了
额外的保护机制来避免因拼写错误导致的未定义字段错误。
打开项目中的items.py文件进行编辑,比如我这里只需要两个
字段,图片的标题以及链接:

编写完后着手来修改我们的PicSpider类,选用的网址是:
http://www.win4000.com/meitu.html

F12看下网页结构,圈住的就是我们的入手点和想要获取的数据了:

从tab_box开始一层层定位到我们想要的地方,不难写出下面的代码:

3.存储数据

得到我们的结果啦,最简单的存储数据的方式就是使用Feed exports
支持四种导出格式:JSON,JSON lines,XML和CSV
使用也很简单,只是在平时执行scrapy脚本的后面加点东西:

  1. scrapy crawl spider名字 -o 导出文件名 -t 导出格式

比如我这里导出xml:

输出结果:

4.下载图片

图片URL都有了,接下来肯定是把图片都download到本地啦~
这里就可以直接使用Scrapy中内置的ImagePipeline啦!

我们另外实现ImagePipeline,做下url校验,已经图片生成规则,
把图片下载到我们想下载的地方,编辑下pipelines.py,新增:

然后settings.py,找到ITEM_PIPELINES把注释去掉,启用pinelines,
把我们自定义的PicPipeLine加上,还有顺道设置下下载图片的存放位置:

接着命令行运行我们的spider

  1. scrapy crawl pic_spider

图片都哗哗哗地下载到本地了:

嘻嘻,略爽,比起之前那种手写的方式~


6.小结

本节对Python里很出名的爬虫框架Scrapy进行了初步的学习
后面还会更深入地去了解Scrapy,这里先放一放。下一节我们
学习的是通过自动化测试框架Selenium来爬取使用JS动态生成
数据的场景,敬请期待~


参考文献


来啊,Py交易啊

想加群一起学习Py的可以加下,智障机器人小Pig,验证信息里包含:
PythonpythonpyPy加群交易屁眼 中的一个关键词即可通过;

验证通过后回复 加群 即可获得加群链接(不要把机器人玩坏了!!!)~~~
欢迎各种像我一样的Py初学者,Py大神加入,一起愉快地交流学♂习,van♂转py。


添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注