Release notes¶
AyugeSpiderTools 3.9.7 (2024-03-08)¶
Deprecations¶
无。
New features¶
Bug fixes¶
修复
aiohttp场景下由于目标网站未遵守编码时可能会出现的编码问题。(d2772b5)
Code optimizations¶
添加
aiohttp可支持的请求方式。(c7c247e)优化
oss,file download场景的pipeline示例，减少复杂逻辑。(b0929d8, f0f1b2f)测试场景增加剔除无关代码块的规则。(3e0ce94)
代码风格统一，补充缺失的
type hint，提升开发体验。
AyugeSpiderTools 3.9.6 (2024-02-18)¶
Deprecations¶
无。
New features¶
无。
Bug fixes¶
修复 mysql 存储引擎 engine 参数未生效的问题。(1240e37)
Code optimizations¶
AyugeSpiderTools 3.9.5 (2024-01-30)¶
Deprecations¶
无。
New features¶
Bug fixes¶
Code optimizations¶
mq场景添加关闭链接处理。(ac54fd0)更新
readthedocs中的教程指南，以方便快速上手。更新部分依赖库版本。
AyugeSpiderTools 3.9.4 (2024-01-10)¶
Deprecations¶
无。
New features¶
Bug fixes¶
无。
Code optimizations¶
mypy check。(
785e36a)
AyugeSpiderTools 3.9.3 (2023-12-30)¶
Deprecations¶
无。
New features¶
无。
Bug fixes¶
解决
pip install ayugespidertools并执行简单场景时提示oracledb的依赖缺失问题。(e363937)
注：出现此问题又是因为未重新新建环境来测试，且使用 Pycharm ssh 远程开发时不会自动索引环境依赖导致，所以未检视出项目依赖的问题。后续也会添加对 DemoSpider 场景的测试自动化来完善测试流程。
由于对用户体验影响较大，先修复此问题并发布。
Code optimizations¶
统一代码风格。(
ecb97e8)
AyugeSpiderTools 3.9.2 (2023-12-28)¶
Deprecations¶
无。
New features¶
mysql配置项支持自定义自动创建库表场景的engine和collate参数。(e652666)
Bug fixes¶
解决
settings模板生成的LOG_FILE不是当前项目名的问题。(93c19d6)
Code optimizations¶
更新
spider模板，模板中解析方式改为scrapy的形式，防止对开发者造成理解成本。(91ad948)更新
spider模板中的type hint，优化了开发者使用体验。(c2a0908)优化一些数据库连接处理和配置解析方法等。
AyugeSpiderTools 3.9.1 (2023-12-22)¶
Deprecations¶
无。
New features¶
添加
postgresql的asyncio的AsyncConnectionPool存储场景支持。(341e768)
Bug fixes¶
解决
asyncio协程场景下的spider的AyuItem写法风格不兼容的问题。(66177e4)
Code optimizations¶
更新
spider模板示例。(61e10b1)
AyugeSpiderTools 3.9.0 (2023-12-18)¶
Deprecations¶
AsyncMysqlPipeline改名为AyuAsyncMysqlPipeline。AsyncMongoPipeline改名为AyuAsyncMongoPipeline。删除
oss的模块及依赖。
注：最新示例请在 DemoSpider 中查看，以往旧版请切换对应分支查看。
New features¶
添加
oracle的存储场景支持，目前有fty及twisted两种方式。添加
mongodb:uri的配置方式。
Bug fixes¶
解决
asyncio mysql协程场景下可能会出现的被垃圾回收而阻塞的问题。解决
mysql或postgresql的错误处理场景下由于权限等问题造成的循环递归问题。
Code optimizations¶
优化
.conf模板示例，配置更明确且更易管理。mypy check.
AyugeSpiderTools 3.8.0 (2023-12-03)¶
Deprecations¶
MYSQL_ENGINE_ENABLED的配置项名改为DATABASE_ENGINE_ENABLED，目前支持msyql和postgresql。安装再添加
database选项，可通过pip install ayugespidertools[database]安装所需的所有数据依赖及扩展。
注意：此变更包含不兼容部分，需要着重注意的部分如下：
删除了
MYSQL_ENGINE_ENABLED配置项；由于
SQLAlchemy依赖升级到了2.0+新版本，与以往的去重使用有变化，具体请查看本库readthedocs文档。
New features¶
支持
python3.12。添加
postgresql的存储场景支持，目前有fty及twisted两种方式。DATABASE_ENGINE_ENABLED的配置目前会激活对应场景中数据库的engine和engine_conn以供去重使用。将
psycopg相关的数据库扩展依赖改为可选项，可通过pip install ayugespidertools[database]安装所需依赖。
Bug fixes¶
无。
Code optimizations¶
优化
type hints。更新生成脚本模板以匹配新版本，也可使用以往
pandas去重方式。更明确的日志信息。
AyugeSpiderTools 3.7.0 (2023-11-23)¶
Deprecations¶
获取
nacos和consul中的配置时不再转小写，请按照 readthedocs 示例填写。删除
html2text相关依赖及代码，此场景更适合自行实现。安装不再包含非核心依赖，可通过
pip install ayugespidertools[all]安装全部依赖。一些
api变动：
| 更改前 | 更改后 | 受影响的部分 | 备注 |
|---|---|---|---|
| extract_html_to_md | 删除 | ayugespidertools.formatdata | |
| AliOssBase | 转移到 ayugespider.extras 中 | ayugespidertools.oss | |
| yidungap, imgoperation, verificationcode | 转移到 ayugespider.extras 中，并整理在一起 | ayugespidertools.imgoperation ayugespidertools.verificationcode ayugespidertools.common.yidungap |
在 extras 部分查看变化。 |
以下是对
extras相关模块所影响较大部分的介绍：
| 更改前 | 更改后 | 受影响的部分 | 备注 |
|---|---|---|---|
| YiDunGetGap.discern | CvnpilKit.discern_gap | ayugespidertools.common.yidungap | |
| Picture.identify_gap | CvnpilKit.identify_gap | ayugespidertools.imgoperation | |
| match_img_get_distance | CvnpilKit.match_gap | ayugespidertools.verificationcode | |
| get_normal_track | CvnpilKit.get_normal_track | ayugespidertools.verificationcode | |
| get_selenium_tracks | ToolsForAyu.get_selenium_track | ayugespidertools.verificationcode |
注意：
此变更包含不兼容部分，如果你只使用其中
scrapy扩展库部分，那么除了nacos，consul的yaml和hcl解析外对你无影响。再次提醒，使用时请做好依赖管理，以免不兼容部分对你的影响！
New features¶
mongo场景添加authMechanisem配置选项，为可选配置，默认为SCRAM-SHA-1。将
numpy,oss,pillow等非核心依赖改为可选项，可通过pip install ayugespidertools[all]安装所有依赖。
Bug fixes¶
无。
Code optimizations¶
优化
aiohttp,cvnpil等测试用例，将图像相关功能整理并放入cvnpil模块中。ayuge version修改为从__version__获取信息的方式。更新模板，
mysql_engine的示例改为通过sqlalchemy的方式，减少依赖数且大部分场景运行效率更好。将可选装依赖的相关的功能代码统一放入
extras中，更易管理。
AyugeSpiderTools 3.6.1 (2023-11-06)¶
New features¶
无。
Bug fixes¶
解决
mq推送场景时yield AyuItem时的错误，现可支持多种格式。解决
VIT_DIR默认参数未存储至settings中的问题。
Code optimizations¶
文件下载场景添加
FILES_STORE路径不存在时的自动创建处理。settings模板删除无关配置。项目添加
question issues template。
AyugeSpiderTools 3.6.0 (2023-10-31)¶
Deprecations¶
一些
api变动：
| 更改前 | 更改后 | 受影响的部分 | 备注 |
|---|---|---|---|
删除 LOGURU_CONFIG 配置参数 |
现只需配置 LOGURU_ENABLED 即可 |
slog 日志模块 |
|
删除 spider 中 settings_type 参数 |
此为过度设计，若需要可自定义配置 | 项目配置信息 | |
删除 spider 中 mysql_engine_enabled 参数 |
转移到设置中，名称为 MYSQL_ENGINE_ENABLED |
配置模块，影响较大。 | |
AyuItem 中 _table 参数类型修改删除 spider 中 custom_table_enum 参数 |
修改为与普通字段一样的 DataItem 或 str 类型，删除 demand_code 字段。 |
spider，Item 模块 |
|
删除 RECORD_LOG_TO_MYSQL 配置参数 |
改为 ayugespidertools.pipelines.AyuStatisticsMysqlPipeline 方式调用。 |
配置模块 |
注意：此变更包含不兼容内容，请修改不兼容部分并调试正常后再投入生产；本项目在有一些不兼容变更时，会发布 Minor 及以上的版本包，请做好依赖版本管理。
New features¶
无。
Bug fixes¶
无。
Code optimizations¶
设置
VIT_DIR默认参数。去除冗余配置，统一配置风格。将一些过于复杂的模块拆分，便于管理。
AyugeSpiderTools 3.5.2 (2023-10-17)¶
New features¶
添加从
nacos中获取配置的方法，若.conf中同时存在consul和nacos配置则优先使用consul；即优先级consul>nacos。
Bug fixes¶
无
Code optimizations¶
删除
.conf示例中的无用配置wxbot。优化从本地
.conf获取配置的逻辑，也提供更清晰明确的报错信息。tox重新添加了windows场景。更新
CI工具版本。
AyugeSpiderTools 3.5.1 (2023-09-28)¶
Bug fixes¶
修复在
py 3.11及以上版本的mongo相关场景的报错。(issue 11)
Code optimizations¶
优化
AyuItem实现，增强可读性及用户输入体验，比如add_field增加IDE参数提示功能。更新文档中
AyuItem的使用建议及对应测试。更新测试文件，比如
test_crawl及spider相关方法。
AyugeSpiderTools 3.5.0 (2023-09-21)¶
Bug fixes¶
无。
Code optimizations¶
scrapy依赖升级为2.11.0。统一运行统计的方法，修改运行
stats中有关时间的获取和计算方法。添加
pre-commit工具和CI，提升commit和pull request体验。更新
readthedocs的新配置。优化
test_crawl的测试方法。
AyugeSpiderTools 3.4.2 (2023-09-15)¶
Bug fixes¶
修复
crawl模板文件中TableEnum的导入问题。修改文档中
kafka推送示例typo问题。
Code optimizations¶
优化文件下载本地的逻辑，处理当
file_url不存在时的情况。优化
items，typevar等模块的type hint，并删除无用的类型内容。设置包源的优先级。
增加测试用例。
添加
mypy工具。
AyugeSpiderTools 3.4.1 (2023-09-07)¶
Bug fixes¶
解决
Twisted版本更新到23.8.0不兼容的问题。(issue 10)
Code optimizations¶
scrapy依赖版本更新为2.10.1。
AyugeSpiderTools 3.4.0 (2023-08-10)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
aiohttp超时参数由AIOHTTP_CONFIG中的timeout获取改为直接从DOWNLOAD_TIMEOUT中获取。解决在aiohttp超时参数值大于DOWNLOAD_TIMEOUT时，与程序整体超时设置冲突，考虑程序的整体性，而不去根据aiohttp的超时设置来更新项目的整体设置。
Code optimizations¶
aiohttp添加allow_redirects配置参数 ，优化对应文档示例。更新
scrapy依赖版本为2.10.0。解决部分
typo及注解问题。
AyugeSpiderTools 3.3.3 (2023-08-03)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
修复解析
yaml格式数据依赖缺失的问题。（issue 9）
Code optimizations¶
本库中解决
Mysql的Unknown column 'xx' in 'field list'部分代码变动，比如不再根据item字段是crawl_time类型格式来给其默认字段格式DATE，因为用户可能只是存储字段是这个名称，意义并不同，或者它存的是个时间戳等情况。这样需要考虑的问题太复杂了，且具有隐患，不如优先解决字段缺失问题，后续按需再手动调整表字段类型。
AyugeSpiderTools 3.3.2 (2023-07-26)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
增加贝塞尔曲线生成轨迹的示例方法。
Bug fixes¶
无。
Code optimizations¶
将项目中有关文件的操作统一改为
pathlib的方式。根据
consul获取配置的方式添加缓存处理，不用每次运行都多次调用同样参数来获取配置。减少请求次数，提高运行效率。更新
README.md内容，增加对应英文版本。
AyugeSpiderTools 3.3.1 (2023-06-29)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
无。
Code optimizations¶
优化
item使用体验，完善功能及对应文档内容，具体请查看 readthedocsitem部分。
AyugeSpiderTools 3.3.0 (2023-06-21)¶
Deprecation removals¶
优化了
Item体验，升级为AyuItem，使用更方便，但注意与旧版本写法并不兼容：删除了
MysqlDataItem实现。删除了
MongoDataItem实现。增加了
AyuItem参数以方便开发和简化pipelines结构，新示例请查看DemoSpider项目或readthedocs文档对应内容。
Deprecations¶
无。
New features¶
添加文件下载的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 中的
demo_file项目。
Bug fixes¶
无。
Code optimizations¶
升级依赖库中
numpy和loguru版本，避免其漏洞警告提示。更新对应的模板生成示例，简化一些不常用的配置即注释等。
AyugeSpiderTools 3.2.0 (2023-06-07)¶
Deprecation removals¶
去除数据表前缀和集合前缀的鸡肋功能：
删除了
MYSQL_TABLE_PREFIX参数。删除了
MONGODB_COLLECTION_PREFIX参数。
删除其它的鸡肋功能：
移除
runjs方便运行js方法的鸡肋封装。移除
rpa管理自动化程序的方法。
删除了使用
requests作为scrapy请求库的功能，推荐使用本库中aiohttp的方式。
Deprecations¶
无。
New features¶
添加
kafka推送的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
无。
Code optimizations¶
增加
RabbitMQ中heartbeat和socket_timeout参数可自定义的功能。整理依赖文件。
AyugeSpiderTools 3.1.0 (2023-05-30)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
添加
mq推送的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
无。
Code optimizations¶
修复部分
typo问题。
AyugeSpiderTools 3.0.1 (2023-05-17)¶
这是一个 major 版本更新，含有 bug 修复、代码优化等。
Deprecation removals¶
删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
Deprecations¶
无。
New features¶
修改
item实现方式，不再通过将字段都存入alldata中即可实现动态设置字段的功能，使用更清晰，且能更方便地使用ItemLoaders的功能，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
修复不会创建表注释的问题。
Code optimizations¶
修改
dict_keys_to_lower和dict_keys_to_upper的将字典 key 转为大写或小写的功能优化为嵌套字典中所有 key 都转为大写或小写。将模板中
settings.py中的配置读取放入库中update_settings实现，简化settings.py文件内容。优化
Makefile功能，简化清理__pycache__文件夹的功能。修改部分
typo问题。更新
readthedocs内容，更新测试文件。
AyugeSpiderTools 2.1.0 (2023-05-09)¶
这是一个主要更改了 scrapy 依赖库为 2.9.0 版本，含有 bug 修复。
Deprecation removals¶
tox去除windows平台的测试场景。
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
本库依赖库
scrapy版本升级为2.9.0。
Bug fixes¶
修复使用
ayuge及ayuge -h命令时，未显示当前库版本的问题。
Code optimizations¶
无。
AyugeSpiderTools 2.0.3 (2023-05-06)¶
此版本为微小变动。
Deprecation removals¶
无
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
添加
mongodb的asyncio的示例。
Bug fixes¶
无
Code optimizations¶
readthedocs的markdown解析由recommonmark改为myst-parser，以支持更多的markdown语法。
AyugeSpiderTools 2.0.1 (2023-04-27)¶
此版本为大版本更新，修改了项目结构以统一本库及与 scrapy 结合的代码风格，也有一些功能完善等。最新功能示例请在 DemoSpider 或 readthedocs 中查看。
Deprecation removals¶
一些
api变动：
| 更改前 | 更改后 | 备注 |
|---|---|---|
| from ayugespidertools.AyugeSpider import AyuSpider | from ayugespidertools.spiders import AyuSpider | |
| from ayugespidertools.AyuRequest import AioFormRequest | from ayugespidertools.request import AiohttpFormRequest | |
| from ayugespidertools.AyuRequest import AiohttpRequest | from ayugespidertools.request import AiohttpRequest | |
| from ayugespidertools.common.Utils import * | from ayugespidertools.common.utils import * | |
| from ayugespidertools.Items import * | from ayugespidertools.items import * | |
| from |
from |
|
| from ayugespidertools.AyugeCrawlSpider import AyuCrawlSpider | from ayugespidertools.spiders import AyuCrawlSpider | |
| ayugespidertools.Pipelines | ayugespidertools.pipelines | pipelines |
| ayugespidertools.Middlewares | ayugespidertools.middlewares | middlweares |
一些参数配置变动：
| 更改前 | 更改后 | 备注 |
|---|---|---|
| PROXY_URL | proxy | 代理 proxy 参数 |
| PROXY_INDEX | index | 代理配置等 |
注：所有配置的 key 都统一改为小写
一些使用方法更改：
使用
AiohttpRequest构造请求时，由之前的meta中的aiohttp_args配置参数，改为由args的新增参数取代，其参数类型同样为dict，也可以为AiohttpRequestArgs类型，更容易输入。
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
丰富
aiohttp请求场景，增加重试，代理，ssl等功能。
Bug fixes¶
无
Code optimizations¶
更新测试用例。
AyugeSpiderTools 1.1.9 (2023-04-20)¶
这是一个维护版本，具有次要功能、错误修复和清理。
Deprecation removals¶
无
Deprecations¶
无
New features¶
增加
ayuge startproject命令支持project_dir参数。# 这将在 project dir 目录下创建一个 Scrapy 项目。如果未指定 project dir，则 project dir 将与 myproject 相同。 ayuge startproject myproject [project_dir]
Bug fixes¶
修复模板中
settings的CONSUL配置信息没有更新为v1.1.6版本推荐的使用方法的问题。(releases ayugespidertools-1.1.6)修复在
startproject创建项目时生成的run.sh中的路径信息错误问题。
Code optimizations¶
添加测试用例。
以后的版本发布说明都会在 ayugespidertools readthedocs 上展示。