Scrapy 2.7.0 发布,Python 爬虫框架


Scrapy 是一套纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。它也可以用于广泛的目的,从数据挖掘、监控到自动测试等。

v2.7.0 更新内容如下

  • 添加了 Python 3.11 支持,删除了 Python 3.6 支持
  • 改进了对异步回调的支持
  • 新项目默认启用Asyncio 支持
  • 项目字段的输出名称现在可以是任意字符串
  • 现在可以进行集中式请求指纹配置

一些依赖项的最低要求版本也发生了变化:

  • lxml: 3.5.0 → 4.3.0
  • Pillow (images pipeline): 4.0.0 → 7.1.0
  • zope.interface: 5.0.0 → 5.1.0

完整更新公告:https://docs.scrapy.org/en/latest/news.html#scrapy-2-7-0-2022-10-17


相關推薦

2022-10-16

构,提升系统可维护性; 简介 XXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性; 特性 1、简洁:API直观简洁,可快速上手; 2、轻量级

2023-07-27

概览 Crawlab v0.6.3 是 Crawlab v0.6.x 的最新迭代版本,带来了一系列改进,包括问题修复、功能优化。 更新日志 问题修复 取消任务时无法终止进程 Git拉取代码错误 导出列表顺序不一致 重启时无法重置待定任务状态

2023-06-18

概览 Crawlab v0.6.2 是 Crawlab v0.6.x 的最新迭代版本,带来了一系列改进,包括问题修复、功能优化以及环境变量功能的增强。 更新日志 问题修复 意外数据库连接 任务执行命令不生效 任务重启执行命令不一致 任务

2021-12-07

毋庸置疑,Python 是世界上最流行的编程语言之一,其被广泛运用于人工智能、数据分析、网络爬虫和 Web 开发等领域。在上个月的 TIOBE 榜单中,Python 一举超过 C 语言拿下榜首的位置也能够充分说明 Python 的流行程度。 但在 2

2023-11-03

成。 Google在 6 年半前就开始采用移动优先索引,在发布了一个又一个截止日期后,Google 最终取消了截止日期。 2016年11月,Google 首次推出了移动优先索引。到2018年12月,Google搜索结果中的一半网站都来自移动优先索引。

2022-11-24

更安全,也不会有什么隐私上的担忧。 近日 Kite 在官网发布了公告,表示他们已经停止了对 Kite 的开发工作,将关停 Kite。Kite 的创始人 Adam Smith 表示: 感谢每一个使用我们产品的人,感谢我们的团队成员和投资者,是他们

2023-07-15

云片、网易云) V6.8.0版本更新 2023年07月14日ModStartCMS发布v6.8.0版本,增加了以下16个特性: [新功能] 内容区块增加根据ID获取内容块的方法 [新功能] 用户注册、登录、找回密码等页面增加canonical优化爬虫路径 [新功

2023-07-27

魔豆文库MOREDOC,使用 Go 语言开发实现的文库解决方案,为dochub文库的重构版本,支持 office (全部类型)、PDF、TXT、EPUB、MOBI 等多种文档格式的在线阅读浏览,支持无限级分类、文档批量上传、文档批量转换、全文搜索、云存储

2023-02-07

ip2region (2.0 - xdb) 是一个离线的 IP 数据管理框架和定位库,支持亿级别的 IP 断管理,10 微秒级别的查询性能,提供了很多主流编程语言的 xdb 数据格式的生成和查询实现。 ip2region 2.10.0 更新如下: 1、增加 erlang binding 实现:https

2022-02-10

大的变化。唯一引人注目的区别是,排名前 3 位的语言 Python、C 和 Java 在排名上都获得了 1% 以上的提升。我们仍在微调与 Similarweb 的整合,这与后端向 HtmlUnit 的转变相结合。一些网站尚未加入,但很快就会跟进。现在 HtmlUnit 被

2022-05-17

Kali Linux 2022.2 正式发布,该版本也是 Kali Linux 今年的第二个版本,上一个版本为今年 2 月发布的 Kali Linux 2022.1。 GNOME 42 Kali Linux 2022.2 带来了 GNOME 的最新版本 GNOME 42,在之前 40 和 41 版本的基础上,该版本更加完善。 GNOME 主题

2023-10-26

开放文心4.0开发权限申请在2023年百度世界大会上,百度发布了文心大模型4.0,提升了理解、生成、逻辑、记忆等四个方面,现在开发者可以申请使用 ERNIE Bot SDK 开发与接入该模型的应用。申请地址:https://aistudio.baidu.com/community/cha

2023-10-10

Python 3 版本使用情况,Python 3 开发者中有 45% 使用两年前发布的 Python 3.10,2% 使用 Python 3.5 或更低版本。 请注意,该调查于 2022 年 10 月 14 日至 11 月 14 日进行,Python 3.11 在 2022 年 10 月 24 日才发布。 框架和库 Web 框架

2023-01-11

SQLAlchemy 2.0 发布了第 2 个 RC 版本。 下载地址:https://www.sqlalchemy.org/download.html SQLAlchemy 是一个 Python 的 SQL 工具包以及数据库对象映射 (ORM) 框架。它包含整套企业级持久化模式,专门用于高效和高性能的数据库访问。 发布公