Skip to content

20240803

Jump to bottom
funkye edited this page Jul 29, 2024 · 6 revisions

参会人：

会议时间：2024/08/03

下次会议时间：2024/8/17 ReleaseManager: 陈健斌

如有时间变更，再另行通知，请订阅邮件列表：[email protected]、[email protected]

会议规范:

  • 每次开会时，如果完成掉的任务，会上就直接移除掉该部分内容。
  • 一些比较大的功能点/设计，需要在讨论前形成技术文档，避免在大家不了解背景的情况下进行讨论。
  • 同时做到事后可追溯 不开没有结论的会。哪怕“方案取消”或“下次再议”，也是结论的一种。

一、安全合规 @刘秋枫 @清铭

  • seata主项目目前存在18个安全漏洞，seata sample 剩余59个安全漏洞，2个外链问题；漏洞官网3个；

    https://github.com/apache/incubator-seata/discussions/6233

    20240706：无进展

    20240720：无进展，剩余漏洞放在2.2版本进行修复。

    20240803：针对raft集群模式中使用jdk反序列化时没有进行白名单校验，存在REC问题进行了修复

    漏洞报告:https://github.com/apache/incubator-seata/wiki/security%E2%80%90report

  • 合规相关问题

    • 控制台前端侧license
    1. 如果解决不了，源码侧去除控制台后发布
    2. 通过maven打包方式引入前端依赖，而不是直接放入源码中

    20240803：已完成前端合规处理

  • Apache Logo：Seata的Logo加上Apache元素。@清铭

    20240706: 需要有设计同学帮忙设计

    20240720: 等待设计师抽空

二、活动/运营信息同步

  • 开源之夏议题，4个议题，具体可以参考[email protected]；

  • ALC hangzhou活动 在详细设计阶段；

  • Apache Con 7.26周五健斌，7月28周日 祥坤

    20240803：已完成

三、官网/文档

  • 官网访问流量治理 @刘秋枫 还是搜不到

    1. nacos和higress 已改版，后续dubbo，之后seata也进行改版。
    2. 智能答疑，参考nacos/higress

  • 官网关键词优化（长期）：前两周暂未处理，后面与提升页面体验分一起弄

  • 提升页面体验分；todo（放二期；一期先关注合规；

  • 文档

    文档问题:@刘秋枫 官网文档目前是整体一篇，需要治理下;

  • 市面上与Seata相关的文章混乱问题，博客转载到csdn，文章挂官网地址；@汪忠祥 目前转载30篇左右，有1w左右的阅读量；

四、发版信息

  • 2.1 apache rc4投票 （第一个版本比较慢，不要着急）
  • 2.0与2.1的新feature的需要一些博客pr，发布在官网，公众号等渠道
    1. rocketmq集成 @嘉伟
    2. api重构 设计文档发布到官网，然后再编写一篇博客 @瑞姗
    3. namingserver @俊敏
    4. seata-k8s @祥琨
    5. 多版本协议 @明华
    6. Seata最佳实践博客 @健斌

五、质量建设

  • 单测/变更覆盖率目标@汪忠祥

    目标覆盖率： 70%

    配置注册通过mockserver，增加覆盖度该模块整体覆盖度

    1. nacos @清铭
    2. apollo @清铭
    3. redis
    4. etcd

    当前pr进展：

    • fix(6509): improve the test case coverage of saga module to 70% #6519 开发完成，review完成；

      20240720：已合并

    • test: Improve the test case coverage of [sqlparser] module to 70% #6608 开发完成，review完成；覆盖率是下降的；模块覆盖不全，还可以继续完善，一个模块可以分多次；

      20240720：已合并，剩余覆盖度已留言让其另外提交pr

    • fix(6502): supplement the store unit test cases in the [core] module. #6524 只搞了四个文件，需要继续联系；@忠祥

    • test:Increase [integration-tx-api] module test case coverage #6533 开发完成，review中；

    • Test: increase spring autoconfigure module unit test coverage #6198 开发完成，reviw中修改中，嘉伟

    20240706：覆盖率下降的，是因为机器人有问题。拉本地看下覆盖率，没问题就merge;健斌；

    问题：

  • 集测回归能力建设 @张嘉伟 @熊靖浏

    目标：完整、自动化、持续集成，能够完成功能、稳定性、用户体验、安全上能力的验证

    进度：

    old: 集测框架，方案已确认，并进行了初步演示：先按照skywalking-e2e编写的方式,按照一个个sample去编写e2e的集成测试,本地测试需要安装go依赖和docker。pr准备中；

    升级到2.1,针对sample

    20240720：完成AT方面的集测，近期会提交相关pr

  • 兼容性测试@王良

    目标：兼容性测试需要包含：jdk、mysql-driver，arch等，确保在各个环境下稳定运行

    整体依赖集成测试的进度

BenchMark @亦夏 本周无进展

  • 目标：建立seata性能基线、能够获取到当前系统/服务的性能以及变化，并且进行图形化输出；支持火焰图、trace、基准比对，异常预警等能力；

  • 进度：

    已完成：提交第一版pr，支持微基准、profiler能力

    后续：压力、吞吐量测试需要new出不同的seataClient，依赖api改造

2.2版本pr进度：

  • 优化undolog 前后镜像批量插入过大 pr 6483 @健斌 @嘉伟 review中

  • naming server 和 client对接相关的pr

20240720：server module review中，这周会做一个整体回归测试，预计下周末前merge

  • TM的request和RM的request的鉴权 @俊敏

20240720：待namingserver pr合并后推进，统一交由summercode同学进行梳理，后续拉会沟通。

六、其他讨论事项

  • 日志优化 总体进度：20%不到（@清铭 PR已提交，能满足国际化的要求，打出的堆栈都有对应的errorCode，错误信息里会显示一个链接链到FAQ页面中。）

    根据定制的规范对其他的 exception 的格式做改造，待分配任务；待认领；

    20240720：按模块先进行拆分，发布任务。

  • seata-go 代码的错误码、日志输出等规范，待分配任务；链接的官方的 FAQ 上；和 seata java 保持一致，等 java 完成再开始；

    进度：目前已与1.5.2版本对齐，samples需要更新版本。

  • java独立日志文件输出，不和其他混在一起（现在框架和业务日志混在一起）@尹祥琨 todo

    20240720：暂未投入。

  • 事务模式松耦合调整，拆分scanner 待评估 健斌

  • tcc防悬挂时偶发间隙锁导致死锁问题 @烈烽

  • seata序列化性能优化 @亦夏

  • TM/RM 快速失败只有在节点全部不可用才失败 @正涛

  • 相同数据源中进行跨库操作，由于没有携带库名，导致获取table meta异常

review中

  • resource id + application name唯一标识/Server端寻址逻辑确认 resource id可能重复，导致下发问题，保证唯一，最终方案暂定，重新拉会议讨论 ，优先级较低 @亦夏

待认领

进行中

  • token自动续期方案选型讨论完成、PR待提交 @俊敏

  • 批量删除undolog @明华 （依赖多版本协议支持及协议协商）

  • tm/rm 注册失败需要返回原因 @明华（依赖多版本协议支持及协议协商）

  • 达梦数据库：schema只能填一个（已向达梦技术人员确认）王良

    20240720：达梦没有答复

  • jackson依赖问题 是强依赖 scope-provided 修改成compile依赖， jackson高版本禁用autotype，saga如何适配 @亦夏 方案设计中

  • TM/RM未init，rm注册，不再忽略，直接异常；改动影响比较大，暂定2.2版本去做； @亦夏 方案设计中

  • global_table积压问题 @付德蓉 下周一单独拉会 目前的现状是，committing状态在定时器扫描每次捞1000条数据的情况下，过滤出超过130s的事务，进行单条更新删除操作，在高并发5000r/s下，前者更新删除操作太缓慢，导致global_table数据太多了。 相关issue: https://github.com/apache/incubator-seata/issues/6615 单个节点，global_table累积多 上周结论: 方案1.数据分片,简单但是运维复杂,可靠性低, 方案2.使用多个锁. 缺点:global_table需要增加字段 20240720

    进展: 1.先解决单节点的问题，使用多线程的方式 2. 先不往复杂分布式的情况考虑

    1.rollbacking 50线程5000 query limit，业务线程也是50 3000tps，iftop 网卡，top -H，包括数据库40c，40c 6c 600%，xmx 2g

  • 单点服务限流 @靖浏

    20240720：已经提交sip至邮件组，目前限流组件选定为bucket4j

  • oracle 因为sql的table name不同导致锁被其事务占用AT回滚失败问题@树杰

    20240720：已合并，遗留问题：tc侧是否要适配，以便高低版本都能解决这个情况，但是目前如何解决tc无法获取真实的table meta是个问题。

https://github.com/apache/incubator-seata/issues/6561， 被删除的数据其中一列是一个唯一索引，然后回滚的时候要插回来这个数据，但是唯一索引被其他行给用了，导致回滚失败

结论：提交pr，这种情况认定向tc返回无法回滚的状态，将事务置为不可恢复回滚失败，人工介入

https://github.com/apache/incubator-seata/pull/6629 针对只读的xa事务，二阶段是无法提交的，导致全局事务失败，该pr实现增加了一个XA_RDONLY的状态，使tc提交或回滚时忽略该分支。但是由于仅对oracle的xa做了处理，故该方案还需要商讨

结论：

1.通过originalConnection.isReadOnly(); 提前判断，如果是只读就不注册分支及xa的任何操作。

2.通过prepare的result来判断是否是只读xa分支，tc进行跳过（pr方案，但是要放开只针对oracle的限制）

2个议题写文档，发邮件，流程规范；@明华 @靖浏 done

summer code

  • 全链路支持gRPC协议

    20240720：方案实践下来后，实际上属于类似于dubbo的triple协议，将seata协议转换在http2上。但无法直接兼容grpc协议，目前明俊正在做到在seata http2协议之中兼容grpc协议。

    1. seata server http2已跑通两阶段测试用例 seata 协议 转 http2
    2. 直接与grpc原生客户端通信正在测试

  • 与 Kubernetes 进行集成增强 seata-ctl 的运维能力

    20240720：本周已完成文件与k8s部分，日志方面正在进行

  • 实现控制台OpenAPI和提升系统安全性

    20240720：正在设计方案

  • 基于Raft和RocksDB实现配置中心

    20240720：正常进行中

后续规划

主持人改为release manager,直接2个月为一个周期,并且2个月发版一次,本次release manager: @陈健斌

发版规则:

  1. 大版本计划改为每个版本有一个重点feature,只要这个重点feature完成,就可以考虑发大版本
  2. 如果没有达到第一点要求,release manager认为将bugfix和optimize的commits梳理后merge到小版本上进行pr提交,测试,验证,然后进行独立的小版本release. 本次2.2剩余问题

里程碑进展：

  1. namingserver从2.3挪至2.2里程碑,并列为首要目标,并且需要达到基本可用
  2. polardb-pg @清铭 后续同步进展
  3. k8s-apiserver 优先级降低
  4. grpc 预计2.2不上,2个月的发版周期应该来不及,纳入2.3
Clone this wiki locally