爬虫契约

测试爬虫可能会变得特别烦人，虽然没有什么能阻止你编写单元测试，但这项任务很快就会变得繁琐。Scrapy 提供了一种通过契约测试爬虫的集成方式。

这允许你通过硬编码一个示例 URL 并检查回调如何处理响应的各种约束来测试爬虫的每个回调。每个契约都以 @ 为前缀，并包含在 docstring 中。请看以下示例

def parse(self, response):
    """
    This function parses a sample response. Some contracts are mingled
    with this docstring.

    @url http://www.example.com/s?field-keywords=selfish+gene
    @returns items 1 16
    @returns requests 0 0
    @scrapes Title Author Year Price
    """

你可以使用以下契约

class scrapy.contracts.default.UrlContract

此契约 (@url) 设置在检查此爬虫的其他契约条件时使用的示例 URL。此契约是强制性的。所有缺少此契约的回调在运行检查时都将被忽略

@url url

class scrapy.contracts.default.CallbackKeywordArgumentsContract

此契约 (@cb_kwargs) 设置示例请求的 cb_kwargs 属性。它必须是一个有效的 JSON 字典。

@cb_kwargs {"arg1": "value1", "arg2": "value2", ...}

class scrapy.contracts.default.MetadataContract

此契约 (@meta) 设置示例请求的 meta 属性。它必须是一个有效的 JSON 字典。

@meta {"arg1": "value1", "arg2": "value2", ...}

class scrapy.contracts.default.ReturnsContract

此契约 (@returns) 设置爬虫返回的 item 和 request 的下限和上限。上限是可选的

@returns item(s)|request(s) [min [max]]

class scrapy.contracts.default.ScrapesContract

此契约 (@scrapes) 检查回调返回的所有 item 是否具有指定字段

@scrapes field_1 field_2 ...

使用 check 命令运行契约检查。

自定义契约

如果你发现你需要比内置 Scrapy 契约更多的功能，你可以通过使用 SPIDER_CONTRACTS 设置在项目中创建和加载你自己的契约

SPIDER_CONTRACTS = {
    "myproject.contracts.ResponseCheck": 10,
    "myproject.contracts.ItemValidate": 10,
}

每个契约必须继承自 Contract 并且可以重写三个方法

class scrapy.contracts.Contract(method, *args)

参数:

• method (collections.abc.Callable) – 契约关联的回调函数

• args (list) – 传递到 docstring 的参数列表（以空格分隔）

adjust_request_args(args)

这会接收一个 dict 作为参数，其中包含请求对象的默认参数。默认使用 Request，但这可以通过 request_cls 属性更改。如果链中的多个契约定义了此属性，则使用最后一个。

必须返回相同或修改后的版本。

pre_process(response)

这允许在将示例请求接收到的响应传递给回调之前，对其进行各种检查。

post_process(output)

这允许处理回调的输出。迭代器在传递给此钩子之前会转换为列表。

如果未满足预期，则从 pre_process 或 post_process 引发 ContractFail

class scrapy.exceptions.ContractFail

契约失败时引发的错误

这里有一个演示契约，它检查接收到的响应中是否存在自定义头部

from scrapy.contracts import Contract
from scrapy.exceptions import ContractFail


class HasHeaderContract(Contract):
    """
    Demo contract which checks the presence of a custom header
    @has_header X-CustomHeader
    """

    name = "has_header"

    def pre_process(self, response):
        for header in self.args:
            if header not in response.headers:
                raise ContractFail("X-CustomHeader not present")

检测检查运行

当 scrapy check 运行时，SCRAPY_CHECK 环境变量被设置为 true 字符串。当使用 scrapy check 时，你可以使用 os.environ 对你的爬虫或设置进行任何更改

import os
import scrapy


class ExampleSpider(scrapy.Spider):
    name = "example"

    def __init__(self):
        if os.environ.get("SCRAPY_CHECK"):
            pass  # Do some scraper adjustments when a check is running