Scrapy 是一套纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测试等。
v2.7.0 更新内容如下
- 添加了 Python 3.11 支持,删除了 Python 3.6 支持
- 改进了对异步回调的支持
- 新项目默认启用Asyncio 支持
- 项目字段的输出名称现在可以是任意字符串
- 现在可以进行集中式请求指纹配置
一些依赖项的最低要求版本也发生了变化:
- lxml: 3.5.0 → 4.3.0
- Pillow (images pipeline): 4.0.0 → 7.1.0
- zope.interface: 5.0.0 → 5.1.0
完整更新公告:https://docs.scrapy.org/en/latest/news.html#scrapy-2-7-0-2022-10-17