ayugespidertools-2.0.3

这是一个对已 yanked 的 2.0.2 版本的修改版本，与上一稳定版本区别主要是添加了 mongodb 的 asyncio 的示例。

查看完整的变更日志。

ayugespidertools-2.0.2

这是一个微小变动的版本，主要是添加了 mongodb 的 asyncio 的示例。

查看完整的变更日志。

注意：此版本已 Yanked，由于相关依赖库版本会影响 cli 的运行，所以紧急取消此版本的 pypi 包，修复版本会在下一个 patch 发布

旧版本可能也会有影响，如果急于使用，请降低 urllib3 的版本即可。

ayugespidertools-2.0.1

这是一个 major 的大版本更新，主要是更改了项目结构，规范项目的风格统一，也具有新功能添加。

查看完整的变更日志。

注：具有一些 api 更改，项目结构更改，请谨慎更新。请做好版本管理，旧项目不要跨主版本更新。

ayugespidertools-1.1.9

这是一个维护版本，具有次要功能、错误修复和清理。

查看完整的变更日志。

注：以后的 changelog 等信息都将放入上面的 readthedocs 的 Release notes 部分，以方便修改和管理。

ayugespidertools-1.1.8

更新内容

含有上个版本 v1.1.7 的 bug 修复，推荐尽快更新。

bug 修复：

此问题由于 v1.1.7 版本在修改 mysql_conf 结构时，未同步更新脚本运行统计模块中的部分，测试用例和场景未覆盖到的原因导致，后续会完善此部分。

• 修复上个版本中 mysql 脚本运行情况记录功能的错误。

新功能添加：

• 部分字体反爬映射方法添加。

部分场景优化及修改：

• 模板 settings.py 添加默认 LOG_LEVEL 为 ERROR。
• 添加 flake8 应用配置。
• 更新部分测试用例。

ayugespidertools-1.1.7

更新内容

此次更新不会对旧项目有所影响，含 bug 修复，推荐更新。

bug 修复：

• 修复 mongodb 异步存储场景下，在不指定更新条件 mongo_update_rule 的字段时报错，此问题由于粗心遗漏所致。所以经此问题，优化了其代码结构，将可复用代码放入模板设计模式中，以防修改不完全。

新功能添加：

• 无

部分场景优化及修改：

• consul 更新对应的模板中的 .conf 配置示例；

• 使用一些设计模式增加代码复用性和易扩展性；

• 解决部分代码中 type hint 缺失和不明确的问题；

• 清理部分无效、无用的方法和文件。

ayugespidertools-1.1.6

更新内容

注意： 此次更新会对使用 consul 配置的旧项目有影响，请谨慎更新。

bug 修复：

• 无

新功能添加：

• 无

部分场景优化及修改：

• consul 功能修改
  • 可能不同人使用 consul 会有不同风格，所以本库中的 consul 配置参数由之前的 token，port，host，key_value，group 改为更清晰和方便的 token（需要读取 consul 对应配置的权限 token，一般只读权限即可，可为空），url（consul api 信息），format（对应配置的格式，可选【json，xml，hcl，yaml】），适用性更广。
  • 在使用 consul 功能时，配置 APP_CONF_MANAGE为 True 时即从 consul 中取配置。不再是之前的开启 APP_CONF_MANAGE 后，还要满足目标项目没有对应的本地配置才会激活条件。
• 完善部分测试用例。

ayugespidertools-1.1.5

更新内容

维护版本，此次更新不会对旧项目影响。

bug 修复：

• 无

新功能添加：

• 无

部分场景优化及修改：

• 去除 AyuFtyMysqlPipeline 中每次 cursor 操作前都 ping 下确认连接。若觉得重要程度：可靠性 >> 效率损耗，可使用 AyuTurboMysqlPipeline (同步) 连接池或 AyuTwistedMysqlPipeline(异步) 连接池来提高可靠性。

• 更新测试方式，添加 Makefile 和 tox 配置，使得更容易管理和自动化测试。

  只要配置好 tests 下 VIT 目录中的 .conf 即可方便地运行测试。以下方式皆可：

  • 使用 tox 测试。
  • 使用 pytest 测试。
  • 使用 make test 测试。

• 修改 version 命令实现方式，改为使用官方 toml 来解析参数。

• 修改模板中 .gitignore 示例。

ayugespidertools-1.1.4

更新内容

维护版本，此次更新不会对旧项目影响。

bug 修复：

• 无

新功能添加：

• 无

部分场景优化及修改：

• 项目代码优化：

  • 解决项目中部分 typo 的问题。

  • 优化 DataItem 的使用，不再需要一定传两个值。

    # 其实以下的几种方式都是可以的，看个人选择
    
    # 之前的方式
    demo_ = {
    -    "title": DataItem(key_value=title, notes="标题"),
    +    "title": DataItem(title, "标题"),
    }
    
    # 现在的方式
    demo_ = {
    -    "title": DataItem(title, "标题"),
    +    "title": DataItem(title), # 也可直接 "title": title, 但 dict 这种不要和 DataItem 混用。
    }

ayugespidertools-1.1.3

更新内容

本次更新的新特性都可以在 DemoSpider 示例中查看。

bug 修复：

• 解决上个版本变动 ScrapyClassicItem 类型导致 DemoSpider 示例中的 demo_item_loader 中使用 add_value 的场景报错的问题。

新功能添加：

• 增加 ayugespidertools cli 名称为 ayuge，指令输入友好。
• 简化了在 spider 中构建 item 结构的方法，使用 DataItem 来简化代码，更易于维护。
  • 不会对旧版本中的 item 写法风格的运行有影响，但更推荐新版本写法。

部分场景优化及修改：

• 项目代码优化：
  • 解决项目中部分 fstring 过长的问题。
• 模板优化
  • 修改模板中 basic.tmpl 中的部分，以匹配最新版本中 item 的新特性。
  • 优化模板中 settings.py.tmpl 中配置取值的方式，提高可读性。