1 Scrapy 爬虫完整案例-基础篇

1.1 Scrapy 爬虫案例一

Scrapy 爬虫案例：爬取腾讯网招聘信息

案例步骤：

第一步：创建项目。

在 dos下切换到目录

D:爬虫_scriptscrapy_project

 

新建一个新的爬虫项目：scrapy startproject tencent

 

 

 

第二步：编写 items.py 文件，设置好需要保存的数据字段。

import scrapy

class TencentItem(scrapy.Item):

# 职位名

positionname = scrapy.Field()

# 详情连接

positionlink = scrapy.Field()

# 职位类别

positionType = scrapy.Field()

# 招聘人数

peopleNum = scrapy.Field()

# 工作地点

workLocation = scrapy.Field()

# 发布时间

publishTime = scrapy.Field()

 

第三步:创建爬虫。

在 dos下切换到目录

D:爬虫_scriptscrapy_projecttencenttencentspiders

用命令 scrapy genspider tencents "tencent.com" 创建爬虫。

 

 

备注：因为用命令创建的时候，爬虫名称不能和域名tencent.com 一样，所以创建的时候，爬虫名为：tencents,创建完之后，可以把爬虫名修改成 tencent。

第四步:编写爬虫文件。

 

从图片中看到tencent招聘信息有339页。

第一页的链接地址：

https://hr.tencent.com/position.php?&start=0

第二页的链接地址：

https://hr.tencent.com/position.php?&start=10

最后一页的链接地址:

https://hr.tencent.com/position.php?&start=3380

通过分析我们得知，每一页的的链接地址start的值递增10，就是下一页的地址。

 

通过对页面的分析，得出需要保存的数据字段在页面上的位置。

info= response.xpath("//tr[@class='even'] | //tr[@class='odd']")

each in info

# 职位名

item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]

# 详情连接

item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]

# 职位类别

item['positionType'] = each.xpath("./td[2]/text()").extract()[0]

# 招聘人数

item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]

# 工作地点

item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]

# 发布时间

item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]

编写完整的爬虫文件。

import scrapy,sys,os

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

#print(path)

sys.path.Append(path)

from tencent.items import TencentItem

class TencentpositionSpider(scrapy.Spider):

name = "tencent"

allowed_domains = ["tencent.com"]

url = "http://hr.tencent.com/position.php?&start="

offset = 0

start_urls = [url + str(offset)]

def parse(self, response):

info= response.xpath("//tr[@class='even'] | //tr[@class='odd']")

for each in info:

# 初始化模型对象

item = TencentItem()

item['positionname'] = each.xpath("./td[1]/a/text()").extract()[0]

# 详情连接

item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]

# 职位类别

item['positionType'] = each.xpath("./td[2]/text()").extract()[0]

# 招聘人数

item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]

# 工作地点

item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]

# 发布时间

item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]

#将获取的数据交给管道文件 pipelines ，yield的作用是把一个函数当成一个生成器，程序每次执行到yield时，返回一个值，程序会先暂停，下次调用再返回一个值，程序会接着暂停....

yield item

if self.offset < 3390:

self.offset += 10

# 每次处理完一页的数据之后，重新发送下一页页面请求

# self.offset自增10，同时拼接为新的 url，并调用回调函数 self.parse 处理 Response

yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

第五步:编写管道文件：TencentPipeline。

import json

class TencentPipeline(object):

# __init__方法是可选的，做为类的初始化方法

def __init__(self):

# 创建了一个 tencent.json 文件,用来保存数据

self.filename = open("tencent.json", "wb")

# process_item方法是必须写的，用来处理item数据

def process_item(self, item, spider):

text = json.dumps(dict(item), ensure_ascii = False) + ",n"

# 把数据写入到tencent.json 文件中，编码为：utf-8

self.filename.write(text.encode("utf-8"))

return item

# close_spider方法是可选的，结束时调用这个方法

def close_spider(self, spider):

self.filename.close()

第六步:修改 settings 文件。

 

在settings.py文件配置里指定刚才编写的管道文件名：TencentPipeline。

 

下载的数据比较多，需要设定一个下载延时时间，以免下载的数据不全。

 

设置爬虫请求的默认头信息。

第七步:运行爬虫。

在 dos下切换到目录

D:爬虫_scriptscrapy_projecttencenttencent 下

通过命令运行爬虫 ：scrapy crawl tencent

 

 

第八步:查看爬取的结果。

查看新建的tencent.json 数据文件。

 

1.2 Scrapy 爬虫案例二

Scrapy 爬虫案例：斗鱼图片下载

案例步骤：

第一步：通过 Fiddler 进行手机抓包。

通过Fiddler抓包工具，可以抓取手机的网络通信，但前提是手机和电脑处于同一局域网内（WI-FI或热点），然后进行以下设置：

用 Fiddler 对 Android 应用进行抓包的设置：

1、打开 Fiddler 设置（Tools->options）。

 

2、在 Connections 里设置允许连接远程计算机，确认后重新启动 Fiddler 。

 

3、在命令提示符下输入 ipconfig 查看本电脑 IP。

 

4、打开 Android 设备的“设置”->“WLAN”，找到你要连接的网络，进入该网络。

 

5、在“代理”后面的输入框选择“手动”，在“代理服务器主机名”后面的输入框输入电脑的 ip 地址，在“代理服务器端口”后面的输入框输入 8888，然后点击“保存”按钮。

 

 

6、启动 Android 设备中的浏览器，访问网页即可在 Fiddler 中可以看到完成的请求和响应数据。

 

 

通过抓包，我们可以看出，请求返回的每页图片数据是一个 json 格式的文件，我们找到每页对应的 json 文件即可。

 

第二步：每页请求返回的json数据分析。

第 1 页 URL 地址：

http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0

 

第 2 页 URL 地址：

http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=20

 

第 20 页地址：

http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=400

 

第 35 页地址：

 

显示如上，表示数据没有35页。

【limit】:表示每页20条数据，每页偏移量是20。

【offset】：表示页数。

把第 1 页的返回的 json 格式的数据拷贝，通过 json 在线解析工具（https://www.json.cn/）对数据进行解析，如下：

 

其中每一页20条数据，每条数据显示如下：

 

第三步：创建 scrapy 爬虫项目。

在 dos下切换到目录

D:scrapy_project

 

新建一个新的爬虫项目：scrapy startproject douyu

 

 

第四步：明确需要爬取的字段，编写 items 文件。

 

对于上面的信息，我们只抓取 2 个字段（昵称和图片链接）。

为了保存图片，还需增加一个图片保存路径的字段。

编写 Items.py 文件。

import scrapy

class DouyuItem(scrapy.Item):

# define the fields for your item here like:

#昵称

nickname = scrapy.Field()

#图片下载链接

imagelink = scrapy.Field()

#图片下载的本地保存路径

imagePath = scrapy.Field()

第五步：新建爬虫，编写爬虫文件。

在 DOS 下切换目录

D:scrapy_projectdouyudouyuspiders

执行命令新建爬虫命令：

scrapy genspider douyuMM "capi.douyucdn.cn"

 

 

编写爬虫文件。

import scrapy,sys,os

import json

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from douyu.items import DouyuItem

class DouyummSpider(scrapy.Spider):

#爬虫名

name = "douyuMM"

#允许爬虫作用的范围

allowed_domains = ["capi.douyucdn.cn"]

# URL 变量

offset = 0

#基础的 URL

url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset="

# 爬虫起始的url

start_urls = [url + str(offset)]

def parse(self, response):

# 请求返回的数据是json格式，需要把json格式的数据转换为 Python 格式，data 段是列表

data = json.loads(response.text)["data"]

for each in data:

#定义一个Item 对象，用来保存数据的

item = DouyuItem()

# 取 data 列表中的值，放到 Item 对象中

item["nickname"] = each["nickname"]

item["imagelink"] = each["vertical_src"]

## 将获取的数据交给管道文件 pipelines ，yield的作用是把一个函数当成一个生成器，程序每次执行到yield时，返回一个值，程序会先暂停，下次调用再返回一个值，程序会接着暂停....

yield item

if self.offset < 400:

self.offset += 20

# 每次处理完一页的数据之后，重新发送下一页页面请求

# self.offset自增20，同时拼接为新的 url，并调用回调函数 self.parse 处理 Response

yield scrapy.Request(self.url + str(self.offset), callback = self.parse)

第六步：分析 pipelines 管道文件处理的数据类型。

第一个案例讲的 pipelines 管道文件处理的是 html 页面的静态文本，这个案例需要处理的是图片，需要把图片下载下来，需要对 Settings.py 文件进行相应的配置。

第七步：修改 Settings.py 文件。

1、修改默认的请求信息（手机端浏览器）。

# Override the default request headers:

DEFAULT_REQUEST_HEADERS = {

"User-Agent" : "DYZB/1 CFNetwork/808.2.16 Darwin/16.3.0",

}

 

2.设置管道文件（管道文件类型：ImagesPipeline）

ImagesPipeline 是专门处理图片的管道文件。

# Configure item pipelines

# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES = {

'douyu.pipelines.ImagesPipeline': 300,

}

3.增加一个存储下载图片的本地路径。

IMAGES_STORE = "D:/scrapy_project/douyu/Images"

 

后续可以在 pipelines 管道文件程序里直接使用自己定义的图片存储路径变量。

第七步：编写 pipelines 管道文件。

pipelines 管道文件有专门处理 files(文件)、images（图片）、media（视频）3个库。

C:Python34Libsite-packagesscrapypipelines

 

查看 images.py 源码。

"""

Images Pipeline

See documentation in topics/media-pipeline.rst

"""

import functools

import hashlib

import six

try:

from cStringIO import StringIO as BytesIO

except ImportError:

from io import BytesIO

from PIL import Image

from scrapy.utils.misc import md5sum

from scrapy.utils.python import to_bytes

from scrapy.http import Request

from scrapy.settings import Settings

from scrapy.exceptions import DropItem

#TODO: from scrapy.pipelines.media import MediaPipeline

from scrapy.pipelines.files import FileException, FilesPipeline

class NoimagesDrop(DropItem):

"""Product with no images exception"""

class ImageException(FileException):

"""General image error exception"""

class ImagesPipeline(FilesPipeline):

"""Abstract pipeline that implement the image thumbnail generation logic

"""

MEDIA_NAME = 'image'

# Uppercase attributes kept for backward compatibility with code that subclasses

# ImagesPipeline. They may be overridden by settings.

MIN_WIDTH = 0

MIN_HEIGHT = 0

EXPIRES = 90

THUMBS = {}

DEFAULT_IMAGES_URLS_FIELD = 'image_urls'

DEFAULT_IMAGES_RESULT_FIELD = 'images'

def __init__(self, store_uri, download_func=None, settings=None):

super(ImagesPipeline, self).__init__(store_uri, settings=settings,

download_func=download_func)

if isinstance(settings, dict) or settings is None:

settings = Settings(settings)

resolve = functools.partial(self._key_for_pipe,

base_class_name="ImagesPipeline",

settings=settings)

self.expires = settings.getint(

resolve("IMAGES_EXPIRES"), self.EXPIRES

)

if not hasattr(self, "IMAGES_RESULT_FIELD"):

self.IMAGES_RESULT_FIELD = self.DEFAULT_IMAGES_RESULT_FIELD

if not hasattr(self, "IMAGES_URLS_FIELD"):

self.IMAGES_URLS_FIELD = self.DEFAULT_IMAGES_URLS_FIELD

self.images_urls_field = settings.get(

resolve('IMAGES_URLS_FIELD'),

self.IMAGES_URLS_FIELD

)

self.images_result_field = settings.get(

resolve('IMAGES_RESULT_FIELD'),

self.IMAGES_RESULT_FIELD

)

self.min_width = settings.getint(

resolve('IMAGES_MIN_WIDTH'), self.MIN_WIDTH

)

self.min_height = settings.getint(

resolve('IMAGES_MIN_HEIGHT'), self.MIN_HEIGHT

)

self.thumbs = settings.get(

resolve('IMAGES_THUMBS'), self.THUMBS

)

@classmethod

def from_settings(cls, settings):

s3store = cls.STORE_SCHEMES['s3']

s3store.AWS_ACCESS_KEY_ID = settings['AWS_ACCESS_KEY_ID']

s3store.AWS_SECRET_ACCESS_KEY = settings['AWS_SECRET_ACCESS_KEY']

s3store.POLICY = settings['IMAGES_STORE_S3_ACL']

gcs_store = cls.STORE_SCHEMES['gs']

gcs_store.GCS_PROJECT_ID = settings['GCS_PROJECT_ID']

store_uri = settings['IMAGES_STORE']

return cls(store_uri, settings=settings)

def file_downloaded(self, response, request, info):

return self.image_downloaded(response, request, info)

def image_downloaded(self, response, request, info):

checksum = None

for path, image, buf in self.get_images(response, request, info):

if checksum is None:

buf.seek(0)

checksum = md5sum(buf)

width, height = image.size

self.store.persist_file(

path, buf, info,

meta={'width': width, 'height': height},

headers={'Content-Type': 'image/jpeg'})

return checksum

def get_images(self, response, request, info):

path = self.file_path(request, response=response, info=info)

orig_image = Image.open(BytesIO(response.body))

width, height = orig_image.size

if width < self.min_width or height < self.min_height:

raise ImageException("Image too small (%dx%d < %dx%d)" %

(width, height, self.min_width, self.min_height))

image, buf = self.convert_image(orig_image)

yield path, image, buf

for thumb_id, size in six.iteritems(self.thumbs):

thumb_path = self.thumb_path(request, thumb_id, response=response, info=info)

thumb_image, thumb_buf = self.convert_image(image, size)

yield thumb_path, thumb_image, thumb_buf

def convert_image(self, image, size=None):

if image.format == 'PNG' and image.mode == 'RGBA':

background = Image.new('RGBA', image.size, (255, 255, 255))

background.paste(image, image)

image = background.convert('RGB')

elif image.mode == 'P':

image = image.convert("RGBA")

background = Image.new('RGBA', image.size, (255, 255, 255))

background.paste(image, image)

image = background.convert('RGB')

elif image.mode != 'RGB':

image = image.convert('RGB')

if size:

image = image.copy()

image.thumbnail(size, Image.ANTIALIAS)

buf = BytesIO()

image.save(buf, 'JPEG')

return image, buf

def get_media_requests(self, item, info):

return [Request(x) for x in item.get(self.images_urls_field, [])]

def item_completed(self, results, item, info):

if isinstance(item, dict) or self.images_result_field in item.fields:

item[self.images_result_field] = [x for ok, x in results if ok]

return item

def file_path(self, request, response=None, info=None):

## start of deprecation warning block (can be removed in the future)

def _warn():

from scrapy.exceptions import ScrapyDeprecationWarning

import warnings

warnings.warn('ImagesPipeline.image_key(url) and file_key(url) methods are deprecated, '

'please use file_path(request, response=None, info=None) instead',

category=ScrapyDeprecationWarning, stacklevel=1)

# check if called from image_key or file_key with url as first argument

if not isinstance(request, Request):

_warn()

url = request

else:

url = request.url

# detect if file_key() or image_key() methods have been overridden

if not hasattr(self.file_key, '_base'):

_warn()

return self.file_key(url)

elif not hasattr(self.image_key, '_base'):

_warn()

return self.image_key(url)

## end of deprecation warning block

image_guid = hashlib.sha1(to_bytes(url)).hexdigest() # change to request.url after deprecation

return 'full/%s.jpg' % (image_guid)

def thumb_path(self, request, thumb_id, response=None, info=None):

## start of deprecation warning block (can be removed in the future)

def _warn():

from scrapy.exceptions import ScrapyDeprecationWarning

import warnings

warnings.warn('ImagesPipeline.thumb_key(url) method is deprecated, please use '

'thumb_path(request, thumb_id, response=None, info=None) instead',

category=ScrapyDeprecationWarning, stacklevel=1)

# check if called from thumb_key with url as first argument

if not isinstance(request, Request):

_warn()

url = request

else:

url = request.url

# detect if thumb_key() method has been overridden

if not hasattr(self.thumb_key, '_base'):

_warn()

return self.thumb_key(url, thumb_id)

## end of deprecation warning block

thumb_guid = hashlib.sha1(to_bytes(url)).hexdigest() # change to request.url after deprecation

return 'thumbs/%s/%s.jpg' % (thumb_id, thumb_guid)

# deprecated

def file_key(self, url):

return self.image_key(url)

file_key._base = True

# deprecated

def image_key(self, url):

return self.file_path(url)

image_key._base = True

# deprecated

def thumb_key(self, url, thumb_id):

return self.thumb_path(url, thumb_id)

thumb_key._base = True

有兴趣的同学，可以完整的解读下。

 

本案例中用到其中2个方法：

1. get_media_requests(self, item, info)

2. item_completed(self, results, item, info)

编写 pipelines 管道文件

#get_media_requests(self, item, info)方法用到 scrapy.Request(image_url)下载图片，所以需要导入 scrapy 库

import scrapy

# 通过 get_project_settings 获取项目的 settings 文件

from scrapy.utils.project import get_project_settings

# 导入 ImagesPipeline 类

from scrapy.pipelines.images import ImagesPipeline

import os

# ImagesPipeline 继承 ImagesPipeline 父类，重写 ImagesPipeline 类

class ImagesPipeline(ImagesPipeline):

# 获取settings文件里设置的变量值

IMAGES_STORE = get_project_settings().get("IMAGES_STORE")

def get_media_requests(self, item, info):

# 爬虫爬取到的数据：图片的链接

image_url = item["imagelink"]

# 发下载图片的请求，参数是爬虫爬取到的图片地址。发送请求之后，会通过下面的item_completed(self, result, item, info)方法进行数据的处理。

yield scrapy.Request(image_url)

def item_completed(self, result, item, info):

# 这个是 item_completed()固定的写法,获取图片的名字

image_path = [x["path"] for ok, x in result if ok]

#对下载的文件重命名

os.rename(self.IMAGES_STORE + "/" + image_path[0], self.IMAGES_STORE + "/" + item["nickname"] + ".jpg")

item["imagePath"] = self.IMAGES_STORE + "/" + item["nickname"]

return item

第八步：启动爬虫，爬取数据。

在 dos下切换到目录

D:scrapy_projectdouyudouyu 下

通过命令运行爬虫 ：scrapy crawl douyuMM

 

 

下载完成。

第九步：检查爬取的数据。

 

 

 

第十步：在项目根目录下新建 run.py 文件,便于PyCharm 下运行调试脚本。

在 D:scrapy_projectdouyudouyu 下。

新建 run.py 文件。

编写 run.py 文件。

from scrapy import cmdline

cmdline.execute('scrapy crawl douyu'.split())

设置 run.py 文件运行环境。

 

第十一步：在 PyCharm 下运行，查看运行结果。

 

 

 

1.3 Scrapy 爬虫案例基础篇小结汇总

1、2个案例爬虫文件里的 scrapy 类都是基于scrapy.Spider 基础类，Spider类是 scrapy爬虫框架实现爬虫的其中一个类，后面还会讲到另外的一个类
scrapy.spiders.CrawlSpider 。

2、第一个案例的 pipelines 管道文件是处理 html 静态文件，第二个案例 pipelines 管道文件是处理下载图片的。