项目导出器¶
在您抓取完项目后，您通常希望持久化或导出这些项目，以便在其他应用程序中使用这些数据。毕竟，这就是抓取过程的全部目的。
为此，Scrapy 提供了一系列用于不同输出格式（如 XML、CSV 或 JSON）的项目导出器。
使用项目导出器¶
如果您时间紧迫，只想使用项目导出器输出抓取的数据，请参阅 Feed 导出。否则，如果您想了解项目导出器的工作原理或需要更多自定义功能（默认导出不包含的功能），请继续阅读。
为了使用项目导出器，您必须使用其所需参数实例化它。每个项目导出器都需要不同的参数，因此请查看每个导出器的文档以确保，在 内置项目导出器参考。在实例化导出器后，您需要
1. 调用方法 start_exporting() 以发出导出过程开始的信号
2. 对要导出的每个项目调用 export_item() 方法
3. 最后调用 finish_exporting() 以发出导出过程结束的信号
在这里，您可以看到一个 项目管道，它使用多个项目导出器根据其字段之一的值将抓取的项目分组到不同的文件中
from itemadapter import ItemAdapter
from scrapy.exporters import XmlItemExporter
class PerYearXmlExportPipeline:
"""Distribute items across multiple XML files according to their 'year' field"""
def open_spider(self, spider):
self.year_to_exporter = {}
def close_spider(self, spider):
for exporter, xml_file in self.year_to_exporter.values():
exporter.finish_exporting()
xml_file.close()
def _exporter_for_item(self, item):
adapter = ItemAdapter(item)
year = adapter["year"]
if year not in self.year_to_exporter:
xml_file = open(f"{year}.xml", "wb")
exporter = XmlItemExporter(xml_file)
exporter.start_exporting()
self.year_to_exporter[year] = (exporter, xml_file)
return self.year_to_exporter[year][0]
def process_item(self, item, spider):
exporter = self._exporter_for_item(item)
exporter.export_item(item)
return item
项目字段的序列化¶
默认情况下，字段值会不经修改地传递给底层序列化库，并且如何序列化它们取决于每个特定的序列化库。
但是，您可以自定义在传递给序列化库之前每个字段值是如何序列化的。
有两种方法可以自定义字段的序列化方式，如下所述。
1. 在字段中声明序列化器¶
如果您使用 Item，您可以在 字段元数据中声明一个序列化器。序列化器必须是一个可调用对象，它接收一个值并返回其序列化形式。
示例
import scrapy
def serialize_price(value):
return f"$ {str(value)}"
class Product(scrapy.Item):
name = scrapy.Field()
price = scrapy.Field(serializer=serialize_price)
2. 覆盖 serialize_field() 方法¶
您还可以覆盖 serialize_field() 方法来自定义字段值将如何导出。
请确保在您的自定义代码之后调用基类 serialize_field() 方法。
示例
from scrapy.exporters import XmlItemExporter
class ProductXmlExporter(XmlItemExporter):
def serialize_field(self, field, name, value):
if name == "price":
return f"$ {str(value)}"
return super().serialize_field(field, name, value)
内置项目导出器参考¶
以下是与 Scrapy 捆绑在一起的项目导出器列表。其中一些包含输出示例，这些示例假设您正在导出这两个项目
Item(name="Color TV", price="1200")
Item(name="DVD player", price="200")
BaseItemExporter¶
- class scrapy.exporters.BaseItemExporter(fields_to_export=None, export_empty_fields=False, encoding='utf-8', indent=0, dont_fail=False)[source]¶
这是所有项目导出器的（抽象）基类。它为所有（具体）项目导出器使用的常用功能提供支持，例如定义要导出的字段、是否导出空字段或使用哪种编码。
这些功能可以通过
__init__方法的参数进行配置，这些参数会填充它们各自的实例属性：fields_to_export、export_empty_fields、encoding、indent。2.0 版的新功能： dont_fail 参数。
- serialize_field(field, name, value)[source]¶
返回给定字段的序列化值。如果要控制特定字段或值将如何序列化/导出，则可以覆盖此方法（在自定义项目导出器中）。
默认情况下，此方法会查找 在项目字段中声明的 序列化器，并返回将该序列化器应用于该值的结果。如果未找到序列化器，则返回未更改的值。
- start_exporting()[source]¶
发出导出过程开始的信号。某些导出器可能会使用此功能来生成一些必需的标头（例如，
XmlItemExporter）。在导出任何项目之前，必须调用此方法。
- finish_exporting()[source]¶
发出导出过程结束的信号。一些导出器可能会用它来生成一些所需的页脚（例如，
XmlItemExporter）。在没有更多项目要导出时，必须始终调用此方法。
- fields_to_export¶
要导出的字段、它们的顺序[1]以及它们的输出名称。
可能的值为
None（所有字段[2]，默认值）字段列表
['field1', 'field2']
字典，其中键是字段，值是输出名称
{'field1': 'Field 1', 'field2': 'Field 2'}
- export_empty_fields¶
是否在导出的数据中包含空/未填充的项目字段。默认为
False。某些导出器（如CsvItemExporter）会忽略此属性，并始终导出所有空字段。此选项对于字典项目会被忽略。
- encoding¶
输出字符编码。
- indent¶
在每一级缩进输出时使用的空格数。默认为
0。indent=None选择最紧凑的表示形式，所有项目都在同一行，没有缩进indent<=0每个项目独占一行，没有缩进indent>0每个项目独占一行，并使用提供的数值进行缩进
PythonItemExporter¶
XmlItemExporter¶
- class scrapy.exporters.XmlItemExporter(file, item_element='item', root_element='items', **kwargs)[source]¶
将项目以 XML 格式导出到指定的文件对象。
- 参数:
此
__init__方法的其他关键字参数将传递给BaseItemExporter__init__方法。此导出器的典型输出将是
<?xml version="1.0" encoding="utf-8"?> <items> <item> <name>Color TV</name> <price>1200</price> </item> <item> <name>DVD player</name> <price>200</price> </item> </items>除非在
serialize_field()方法中被覆盖，否则多值字段将通过在<value>元素内序列化每个值来导出。这是为了方便起见，因为多值字段非常常见。例如，项目
Item(name=['John', 'Doe'], age='23')
将被序列化为
<?xml version="1.0" encoding="utf-8"?> <items> <item> <name> <value>John</value> <value>Doe</value> </name> <age>23</age> </item> </items>
CsvItemExporter¶
- class scrapy.exporters.CsvItemExporter(file, include_headers_line=True, join_multivalued=',', errors=None, **kwargs)[source]¶
将项目以 CSV 格式导出到给定的类文件对象。如果设置了
fields_to_export属性，它将用于定义 CSV 列、它们的顺序以及它们的列名。export_empty_fields属性对此导出器无效。- 参数:
file – 用于导出数据的类文件对象。其
write方法应接受bytes（以二进制模式打开的磁盘文件、io.BytesIO对象等）include_headers_line (str) – 如果启用，则使导出器输出一个标题行，其中包含从
BaseItemExporter.fields_to_export或第一个导出的项目字段中获取的字段名称。join_multivalued – 用于连接多值字段（如果找到）的字符（或字符）。
errors (str) – 指定如何处理编码和解码错误的可选字符串。有关更多信息，请参阅
io.TextIOWrapper。
此
__init__方法的其他关键字参数将传递给BaseItemExporter__init__方法，剩余的参数将传递给csv.writer()函数，因此您可以使用任何csv.writer()函数参数来自定义此导出器。此导出器的典型输出将是
product,price Color TV,1200 DVD player,200
PickleItemExporter¶
- class scrapy.exporters.PickleItemExporter(file, protocol=0, **kwargs)[source]¶
将项目以 pickle 格式导出到给定的类文件对象。
- 参数:
file – 用于导出数据的类文件对象。其
write方法应接受bytes（以二进制模式打开的磁盘文件、io.BytesIO对象等）protocol (int) – 要使用的 pickle 协议。
有关更多信息，请参阅
pickle。此
__init__方法的其他关键字参数将传递给BaseItemExporter__init__方法。Pickle 不是人类可读的格式，因此未提供任何输出示例。
PprintItemExporter¶
- class scrapy.exporters.PprintItemExporter(file, **kwargs)[source]¶
将项目以漂亮打印格式导出到指定的文件对象。
- 参数:
file – 用于导出数据的类文件对象。其
write方法应接受bytes（以二进制模式打开的磁盘文件、io.BytesIO对象等）
此
__init__方法的其他关键字参数将传递给BaseItemExporter__init__方法。此导出器的典型输出将是
{'name': 'Color TV', 'price': '1200'} {'name': 'DVD player', 'price': '200'}较长的行（如果存在）将被格式化。
JsonItemExporter¶
- class scrapy.exporters.JsonItemExporter(file, **kwargs)[source]¶
将项目以 JSON 格式导出到指定的文件类对象，并将所有对象写入为对象列表。额外的
__init__方法参数将传递给BaseItemExporter的__init__方法，其余参数将传递给JSONEncoder的__init__方法，因此您可以使用任何JSONEncoder的__init__方法参数来自定义此导出器。- 参数:
file – 用于导出数据的类文件对象。其
write方法应接受bytes（以二进制模式打开的磁盘文件、io.BytesIO对象等）
此导出器的典型输出将是
[{"name": "Color TV", "price": "1200"}, {"name": "DVD player", "price": "200"}]警告
JSON 是一种非常简单灵活的序列化格式，但它不适合处理大量数据，因为增量（即流模式）解析在 JSON 解析器（任何语言）中都不太受支持（即使有），并且大多数解析器只是在内存中解析整个对象。如果您希望 JSON 的强大功能和简单性以及更友好的流格式，请考虑改用
JsonLinesItemExporter，或将输出拆分为多个块。
JsonLinesItemExporter¶
- class scrapy.exporters.JsonLinesItemExporter(file, **kwargs)[source]¶
将项目以 JSON 格式导出到指定的文件类对象，每行写入一个 JSON 编码的项目。额外的
__init__方法参数将传递给BaseItemExporter的__init__方法，其余参数将传递给JSONEncoder的__init__方法，因此您可以使用任何JSONEncoder的__init__方法参数来自定义此导出器。- 参数:
file – 用于导出数据的类文件对象。其
write方法应接受bytes（以二进制模式打开的磁盘文件、io.BytesIO对象等）
此导出器的典型输出将是
{"name": "Color TV", "price": "1200"} {"name": "DVD player", "price": "200"}与
JsonItemExporter生成的格式不同，此导出器生成的格式非常适合序列化大量数据。