Release notes¶
AyugeSpiderTools 3.5.0 (2023-09-21)¶
Bug fixes¶
无。
Code optimizations¶
scrapy依赖升级为2.11.0。统一运行统计的方法，修改运行
stats中有关时间的获取和计算方法。添加
pre-commit工具和CI，提升commit和pull request体验。更新
readthedocs的新配置。优化
test_crawl的测试方法。
AyugeSpiderTools 3.4.2 (2023-09-15)¶
Bug fixes¶
修复
crawl模板文件中TableEnum的导入问题。修改文档中
kafka推送示例typo问题。
Code optimizations¶
优化文件下载本地的逻辑，处理当
file_url不存在时的情况。优化
items，typevar等模块的type hint，并删除无用的类型内容。设置包源的优先级。
增加测试用例。
添加
mypy工具。
AyugeSpiderTools 3.4.1 (2023-09-07)¶
Bug fixes¶
解决
Twisted版本更新到23.8.0不兼容的问题。(issue 10)
Code optimizations¶
scrapy依赖版本更新为2.10.1。
AyugeSpiderTools 3.4.0 (2023-08-10)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
aiohttp超时参数由AIOHTTP_CONFIG中的timeout获取改为直接从DOWNLOAD_TIMEOUT中获取。解决在aiohttp超时参数值大于DOWNLOAD_TIMEOUT时，与程序整体超时设置冲突，考虑程序的整体性，而不去根据aiohttp的超时设置来更新项目的整体设置。
Code optimizations¶
aiohttp添加allow_redirects配置参数 ，优化对应文档示例。更新
scrapy依赖版本为2.10.0。解决部分
typo及注解问题。
AyugeSpiderTools 3.3.3 (2023-08-03)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
修复解析
yaml格式数据依赖缺失的问题。（issue 9）
Code optimizations¶
本库中解决
Mysql的Unknown column 'xx' in 'field list'部分代码变动，比如不再根据item字段是crawl_time类型格式来给其默认字段格式DATE，因为用户可能只是存储字段是这个名称，意义并不同，或者它存的是个时间戳等情况。这样需要考虑的问题太复杂了，且具有隐患，不如优先解决字段缺失问题，后续按需再手动调整表字段类型。
AyugeSpiderTools 3.3.2 (2023-07-26)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
增加贝塞尔曲线生成轨迹的示例方法。
Bug fixes¶
无。
Code optimizations¶
将项目中有关文件的操作统一改为
pathlib的方式。根据
consul获取配置的方式添加缓存处理，不用每次运行都多次调用同样参数来获取配置。减少请求次数，提高运行效率。更新
README.md内容，增加对应英文版本。
AyugeSpiderTools 3.3.1 (2023-06-29)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
无。
Bug fixes¶
无。
Code optimizations¶
优化
item使用体验，完善功能及对应文档内容，具体请查看 readthedocsitem部分。
AyugeSpiderTools 3.3.0 (2023-06-21)¶
Deprecation removals¶
优化了
Item体验，升级为AyuItem，使用更方便，但注意与旧版本写法并不兼容：删除了
MysqlDataItem实现。删除了
MongoDataItem实现。增加了
AyuItem参数以方便开发和简化pipelines结构，新示例请查看DemoSpider项目或readthedocs文档对应内容。
Deprecations¶
无。
New features¶
添加文件下载的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 中的
demo_file项目。
Bug fixes¶
无。
Code optimizations¶
升级依赖库中
numpy和loguru版本，避免其漏洞警告提示。更新对应的模板生成示例，简化一些不常用的配置即注释等。
AyugeSpiderTools 3.2.0 (2023-06-07)¶
Deprecation removals¶
去除数据表前缀和集合前缀的鸡肋功能：
删除了
MYSQL_TABLE_PREFIX参数。删除了
MONGODB_COLLECTION_PREFIX参数。
删除其它的鸡肋功能：
移除
runjs方便运行js方法的鸡肋封装。移除
rpa管理自动化程序的方法。
删除了使用
requests作为scrapy请求库的功能，推荐使用本库中aiohttp的方式。
Deprecations¶
无。
New features¶
添加
kafka推送的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
无。
Code optimizations¶
增加
RabbitMQ中heartbeat和socket_timeout参数可自定义的功能。整理依赖文件。
AyugeSpiderTools 3.1.0 (2023-05-30)¶
Deprecation removals¶
无。
Deprecations¶
无。
New features¶
添加
mq推送的示例，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
无。
Code optimizations¶
修复部分
typo问题。
AyugeSpiderTools 3.0.1 (2023-05-17)¶
这是一个 major 版本更新，含有 bug 修复、代码优化等。
Deprecation removals¶
删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
Deprecations¶
无。
New features¶
修改
item实现方式，不再通过将字段都存入alldata中即可实现动态设置字段的功能，使用更清晰，且能更方便地使用ItemLoaders的功能，具体内容及示例请查看 readthedocs 上对应内容，具体案例请查看 DemoSpider 项目。
Bug fixes¶
修复不会创建表注释的问题。
Code optimizations¶
修改
dict_keys_to_lower和dict_keys_to_upper的将字典 key 转为大写或小写的功能优化为嵌套字典中所有 key 都转为大写或小写。将模板中
settings.py中的配置读取放入库中update_settings实现，简化settings.py文件内容。优化
Makefile功能，简化清理__pycache__文件夹的功能。修改部分
typo问题。更新
readthedocs内容，更新测试文件。
AyugeSpiderTools 2.1.0 (2023-05-09)¶
这是一个主要更改了 scrapy 依赖库为 2.9.0 版本，含有 bug 修复。
Deprecation removals¶
tox去除windows平台的测试场景。
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
本库依赖库
scrapy版本升级为2.9.0。
Bug fixes¶
修复使用
ayuge及ayuge -h命令时，未显示当前库版本的问题。
Code optimizations¶
无。
AyugeSpiderTools 2.0.3 (2023-05-06)¶
此版本为微小变动。
Deprecation removals¶
无
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
添加
mongodb的asyncio的示例。
Bug fixes¶
无
Code optimizations¶
readthedocs的markdown解析由recommonmark改为myst-parser，以支持更多的markdown语法。
AyugeSpiderTools 2.0.1 (2023-04-27)¶
此版本为大版本更新，修改了项目结构以统一本库及与 scrapy 结合的代码风格，也有一些功能完善等。最新功能示例请在 DemoSpider 或 readthedocs 中查看。
Deprecation removals¶
一些
api变动：
| 更改前 | 更改后 | 备注 |
|---|---|---|
| from ayugespidertools.AyugeSpider import AyuSpider | from ayugespidertools.spiders import AyuSpider | |
| from ayugespidertools.AyuRequest import AioFormRequest | from ayugespidertools.request import AiohttpFormRequest | |
| from ayugespidertools.AyuRequest import AiohttpRequest | from ayugespidertools.request import AiohttpRequest | |
| from ayugespidertools.common.Utils import * | from ayugespidertools.common.utils import * | |
| from ayugespidertools.Items import * | from ayugespidertools.items import * | |
| from |
from |
|
| from ayugespidertools.AyugeCrawlSpider import AyuCrawlSpider | from ayugespidertools.spiders import AyuCrawlSpider | |
| ayugespidertools.Pipelines | ayugespidertools.pipelines | pipelines |
| ayugespidertools.Middlewares | ayugespidertools.middlewares | middlweares |
一些参数配置变动：
| 更改前 | 更改后 | 备注 |
|---|---|---|
| PROXY_URL | proxy | 代理 proxy 参数 |
| PROXY_INDEX | index | 代理配置等 |
注：所有配置的 key 都统一改为小写
一些使用方法更改：
使用
AiohttpRequest构造请求时，由之前的meta中的aiohttp_args配置参数，改为由args的新增参数取代，其参数类型同样为dict，也可以为AiohttpRequestArgs类型，更容易输入。
Deprecations¶
下一大版本将删除
ayugespidertools的cli名称 -> 改为ayuge来管理。
New features¶
丰富
aiohttp请求场景，增加重试，代理，ssl等功能。
Bug fixes¶
无
Code optimizations¶
更新测试用例。
AyugeSpiderTools 1.1.9 (2023-04-20)¶
这是一个维护版本，具有次要功能、错误修复和清理。
Deprecation removals¶
无
Deprecations¶
无
New features¶
增加
ayuge startproject命令支持project_dir参数。# 这将在 project dir 目录下创建一个 Scrapy 项目。如果未指定 project dir，则 project dir 将与 myproject 相同。 ayuge startproject myproject [project_dir]
Bug fixes¶
修复模板中
settings的CONSUL配置信息没有更新为v1.1.6版本推荐的使用方法的问题。(releases ayugespidertools-1.1.6)修复在
startproject创建项目时生成的run.sh中的路径信息错误问题。
Code optimizations¶
添加测试用例。
以后的版本发布说明都会在 ayugespidertools readthedocs 上展示。