We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
跨机房,两个node都是4C8G,机器资源都没打满,目标数据库资源足够大,资源利用率都在都在个位数,同步延迟越来越大?怎么破
Pipeline300个表左右
Pipeline序号: 23 Pipeline名字: xxx Select机器: Load机器: 并行度: 5 数据反查线程数: 10 数据载入线程数: 15 文件载入线程数: 15 主站点: false 同步数据来源: Canal Canal名字: xxx 主道消费批次大小: 90000 //试过1000,2000,4000,6000,8000,10000,20000,40000 获取批次数据超时时间: -1 //试过300,500,10000与参数“主道消费批次大小”,参数“canal 的内存存储buffer”的各种组合,都是延迟逐渐拉大 描述信息: 优易2出塔canal 是否显示高级设置: 使用batch: true 跳过Select异常: 关闭 跳过Load异常: 开启 仲裁器调度模式: 自动选择 负载均衡算法: Stick 传输模式: 自动选择 记录selector日志: 开启 记录selector详细日志: 关闭 记录load日志: 关闭 dryRun模式: 关闭 支持ddl同步: 开启 跳过ddl异常: 关闭 文件重复同步对比: 关闭 文件传输加密: 关闭 启用公网同步: 开启 跳过自由门数据: 关闭 跳过反查无记录数据: 关闭 启用数据表类型转化: 关闭 兼容字段新增同步: 关闭 自定义同步标记:
canal配置 canal序号: 23 canal名称: xxx 运行状态: 运行模式: EMBEDDED Zookeeper集群: zk2 数据源类型: MYSQL 数据库地址: xxx; 数据库帐号: xxx connectionCharset: UTF-8 是否启用gtid位点: false 位点信息: {"journalName":"mysql-bin.155189","position":0,"timestamp":0}; 是否开启表结构TSDB: false rds accesskey: rds secretkey: rds instanceId: 存储机制: MEMORY 内存存储batch获取模式: MEMSIZE 内存存储buffer记录数: 32,768 //试过262,144 内存存储buffer记录单元大小: 1024 HA机制: HEARTBEAT 是否开启心跳: false meta机制: MIXED 索引机制: MEMORY_META_FAILBACK 服务端口: 11111 默认连接超时: 接收BufferSize: 16384 发送BufferSize: 16384 切换回退时间: 60 过滤表达式: 描述信息:
node1
node2
网络带宽也足够25M/s,也就用了20%左右
同步进度
吞吐量
row_select日志看好像每次拉日志batchsize都没有装满,猜测应该是binlog解析慢,但是不知道怎么解决,请各位大神指教
The text was updated successfully, but these errors were encountered:
dryrun模式下也还是延时,应该是调度模型就没法支持那么大并发
Sorry, something went wrong.
No branches or pull requests
跨机房,两个node都是4C8G,机器资源都没打满,目标数据库资源足够大,资源利用率都在都在个位数,同步延迟越来越大?怎么破
Pipeline300个表左右
Pipeline序号: 23
Pipeline名字: xxx
Select机器:
Load机器:
并行度: 5
数据反查线程数: 10
数据载入线程数: 15
文件载入线程数: 15
主站点: false
同步数据来源: Canal
Canal名字: xxx
主道消费批次大小: 90000 //试过1000,2000,4000,6000,8000,10000,20000,40000
获取批次数据超时时间: -1 //试过300,500,10000与参数“主道消费批次大小”,参数“canal 的内存存储buffer”的各种组合,都是延迟逐渐拉大
描述信息: 优易2出塔canal
是否显示高级设置:
使用batch: true
跳过Select异常: 关闭
跳过Load异常: 开启
仲裁器调度模式: 自动选择
负载均衡算法: Stick
传输模式: 自动选择
记录selector日志: 开启
记录selector详细日志: 关闭
记录load日志: 关闭
dryRun模式: 关闭
支持ddl同步: 开启
跳过ddl异常: 关闭
文件重复同步对比: 关闭
文件传输加密: 关闭
启用公网同步: 开启
跳过自由门数据: 关闭
跳过反查无记录数据: 关闭
启用数据表类型转化: 关闭
兼容字段新增同步: 关闭
自定义同步标记:
canal配置
canal序号: 23
canal名称: xxx
运行状态:
运行模式: EMBEDDED
Zookeeper集群: zk2
数据源类型: MYSQL
数据库地址: xxx;
数据库帐号: xxx
connectionCharset: UTF-8
是否启用gtid位点: false
位点信息: {"journalName":"mysql-bin.155189","position":0,"timestamp":0};
是否开启表结构TSDB: false
rds accesskey:
rds secretkey:
rds instanceId:
存储机制: MEMORY
内存存储batch获取模式: MEMSIZE
内存存储buffer记录数: 32,768 //试过262,144
内存存储buffer记录单元大小: 1024
HA机制: HEARTBEAT
是否开启心跳: false
meta机制: MIXED
索引机制: MEMORY_META_FAILBACK
服务端口: 11111
默认连接超时:
接收BufferSize: 16384
发送BufferSize: 16384
切换回退时间: 60
过滤表达式:
描述信息:
node1
node2
网络带宽也足够25M/s,也就用了20%左右
同步进度
吞吐量
row_select日志看好像每次拉日志batchsize都没有装满,猜测应该是binlog解析慢,但是不知道怎么解决,请各位大神指教
The text was updated successfully, but these errors were encountered: