Scrapy Shell¶
Scrapy Shell 是一个交互式 Shell，您可以在其中快速尝试和调试您的抓取代码，而无需运行爬虫。它旨在用于测试数据提取代码，但您实际上可以使用它来测试任何类型的代码，因为它也是一个普通的 Python Shell。
Shell 用于测试 XPath 或 CSS 表达式，并查看它们如何工作以及它们从您尝试抓取的网页中提取哪些数据。它允许您在编写爬虫时交互式地测试您的表达式，而无需运行爬虫来测试每次更改。
一旦您熟悉了 Scrapy Shell，您就会发现它是一个开发和调试爬虫的宝贵工具。
配置 Shell¶
如果您安装了 IPython，Scrapy Shell 将使用它（而不是标准的 Python 控制台）。IPython 控制台功能更强大，并提供智能自动补全和彩色输出等功能。
我们强烈建议您安装 IPython，尤其是在 Unix 系统上工作时（IPython 在 Unix 系统上表现出色）。有关更多信息，请参阅 IPython 安装指南。
Scrapy 也支持 bpython，并在 IPython 不可用时尝试使用它。
通过 Scrapy 的设置，您可以将其配置为使用 ipython、bpython 或标准的 python Shell 中的任何一个，而不管安装了哪些 Shell。这可以通过设置 SCRAPY_PYTHON_SHELL 环境变量来完成；或者在您的 scrapy.cfg 中定义它。
[settings]
shell = bpython
启动 Shell¶
要启动 Scrapy Shell，您可以使用 shell 命令，如下所示
scrapy shell <url>
其中 <url> 是您要抓取的 URL。
shell 也适用于本地文件。如果您想使用网页的本地副本进行操作，这会非常方便。shell 理解以下本地文件的语法
# UNIX-style
scrapy shell ./path/to/file.html
scrapy shell ../other/path/to/file.html
scrapy shell /absolute/path/to/file.html
# File URI
scrapy shell file:///absolute/path/to/file.html
注意
使用相对文件路径时，请明确并以 ./（或相关情况下的 ../）作为前缀。scrapy shell index.html 将不会按预期工作（这是设计使然，而不是错误）。
因为 shell 优先使用 HTTP URL 而不是文件 URI，并且 index.html 在语法上类似于 example.com，shell 将把 index.html 视为域名并触发 DNS 查找错误。
$ scrapy shell index.html
[ ... scrapy shell starts ... ]
[ ... traceback ... ]
twisted.internet.error.DNSLookupError: DNS lookup failed:
address 'index.html' not found: [Errno -5] No address associated with hostname.
shell 不会预先测试当前目录中是否存在名为 index.html 的文件。同样，请明确。
使用 Shell¶
Scrapy Shell 只是一个普通的 Python 控制台（如果您有可用的话，也可以是 IPython 控制台），它提供了一些额外的快捷函数以方便使用。
可用快捷键¶
shelp()- 打印包含可用对象和快捷键列表的帮助信息。fetch(url[, redirect=True])- 从给定的 URL 获取新的响应，并相应地更新所有相关对象。您可以选择通过传递redirect=False来阻止 HTTP 3xx 重定向。fetch(request)- 从给定的请求获取新的响应，并相应地更新所有相关对象。view(response)- 在您的本地 Web 浏览器中打开给定的响应，以进行检查。这将向响应主体添加 <base> 标签，以便外部链接（如图像和样式表）能够正确显示。但是，请注意，这将在您的计算机上创建一个临时文件，该文件不会自动删除。
可用 Scrapy 对象¶
Scrapy Shell 会自动从下载的页面创建一些方便的对象，例如 Response 对象和 Selector 对象（用于 HTML 和 XML 内容）。
这些对象是
Shell 会话示例¶
这是一个典型的 Shell 会话示例，我们首先从抓取 https://scrapy.net.cn 页面开始，然后继续抓取 https://old.reddit.com/ 页面。最后，我们将（Reddit）请求方法修改为 POST 并重新获取它，从而得到一个错误。我们通过键入 Ctrl-D（在 Unix 系统中）或 Windows 中的 Ctrl-Z 来结束会话。
请记住，您尝试时提取的数据可能与这里不同，因为这些页面不是静态的，并且在您测试时可能已发生更改。此示例的唯一目的是让您熟悉 Scrapy Shell 的工作原理。
首先，我们启动 Shell
scrapy shell 'https://scrapy.net.cn' --nolog
注意
请记住，在从命令行运行 Scrapy Shell 时始终将 URL 括在引号中，否则包含参数（即 & 字符）的 URL 将无法工作。
在 Windows 上，请改用双引号
scrapy shell "https://scrapy.net.cn" --nolog
然后，Shell 获取 URL（使用 Scrapy 下载器）并打印可用对象和有用快捷键的列表（您会注意到这些行都以 [s] 前缀开头）。
[s] Available Scrapy objects:
[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s] crawler <scrapy.crawler.Crawler object at 0x7f07395dd690>
[s] item {}
[s] request <GET https://scrapy.org>
[s] response <200 https://scrapy.org/>
[s] settings <scrapy.settings.Settings object at 0x7f07395dd710>
[s] spider <DefaultSpider 'default' at 0x7f0735891690>
[s] Useful shortcuts:
[s] fetch(url[, redirect=True]) Fetch URL and update local objects (by default, redirects are followed)
[s] fetch(req) Fetch a scrapy.Request and update local objects
[s] shelp() Shell help (print this help)
[s] view(response) View response in a browser
>>>
之后，我们可以开始使用这些对象。
>>> response.xpath("//title/text()").get()
'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'
>>> fetch("https://old.reddit.com/")
>>> response.xpath("//title/text()").get()
'reddit: the front page of the internet'
>>> request = request.replace(method="POST")
>>> fetch(request)
>>> response.status
404
>>> from pprint import pprint
>>> pprint(response.headers)
{'Accept-Ranges': ['bytes'],
'Cache-Control': ['max-age=0, must-revalidate'],
'Content-Type': ['text/html; charset=UTF-8'],
'Date': ['Thu, 08 Dec 2016 16:21:19 GMT'],
'Server': ['snooserv'],
'Set-Cookie': ['loid=KqNLou0V9SKMX4qb4n; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
'loidcreated=2016-12-08T16%3A21%3A19.445Z; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
'loid=vi0ZVe4NkxNWdlH7r7; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure',
'loidcreated=2016-12-08T16%3A21%3A19.459Z; Domain=reddit.com; Max-Age=63071999; Path=/; expires=Sat, 08-Dec-2018 16:21:19 GMT; secure'],
'Vary': ['accept-encoding'],
'Via': ['1.1 varnish'],
'X-Cache': ['MISS'],
'X-Cache-Hits': ['0'],
'X-Content-Type-Options': ['nosniff'],
'X-Frame-Options': ['SAMEORIGIN'],
'X-Moose': ['majestic'],
'X-Served-By': ['cache-cdg8730-CDG'],
'X-Timer': ['S1481214079.394283,VS0,VE159'],
'X-Ua-Compatible': ['IE=edge'],
'X-Xss-Protection': ['1; mode=block']}
从爬虫调用 Shell 检查响应¶
有时您希望检查在爬虫的某个特定点正在处理的响应，即使只是为了检查您期望的响应是否到达那里。
这可以通过使用 scrapy.shell.inspect_response 函数来实现。
以下是如何从您的爬虫中调用它的示例
import scrapy
class MySpider(scrapy.Spider):
name = "myspider"
start_urls = [
"http://example.com",
"http://example.org",
"http://example.net",
]
def parse(self, response):
# We want to inspect one specific response.
if ".org" in response.url:
from scrapy.shell import inspect_response
inspect_response(response, self)
# Rest of parsing code.
当您运行爬虫时，您将获得类似于以下内容的结果
2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.com> (referer: None)
2014-01-23 17:48:31-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.org> (referer: None)
[s] Available Scrapy objects:
[s] crawler <scrapy.crawler.Crawler object at 0x1e16b50>
...
>>> response.url
'http://example.org'
然后，您可以检查提取代码是否有效。
>>> response.xpath('//h1[@class="fn"]')
[]
不，它不起作用。因此，您可以使用 Web 浏览器打开响应，并查看它是否是您期望的响应。
>>> view(response)
True
最后，您按 Ctrl-D（或 Windows 中的 Ctrl-Z）退出 Shell 并恢复爬取。
>>> ^D
2014-01-23 17:50:03-0400 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://example.net> (referer: None)
...
请注意，您不能在这里使用 fetch 快捷键，因为 Scrapy 引擎被 Shell 阻塞了。但是，在您离开 Shell 后，爬虫将从停止的地方继续爬取，如上所示。