Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

资源足够,同步却很慢,延时时间越来越长 #1060

Open
wkq361138880 opened this issue Apr 7, 2022 · 1 comment
Open

资源足够,同步却很慢,延时时间越来越长 #1060

wkq361138880 opened this issue Apr 7, 2022 · 1 comment

Comments

@wkq361138880
Copy link

wkq361138880 commented Apr 7, 2022

跨机房,两个node都是4C8G,机器资源都没打满,目标数据库资源足够大,资源利用率都在都在个位数,同步延迟越来越大?怎么破

Pipeline300个表左右

Pipeline序号: 23
Pipeline名字: xxx
Select机器:
Load机器:
并行度: 5
数据反查线程数: 10
数据载入线程数: 15
文件载入线程数: 15
主站点: false
同步数据来源: Canal
Canal名字: xxx
主道消费批次大小: 90000 //试过1000,2000,4000,6000,8000,10000,20000,40000
获取批次数据超时时间: -1 //试过300,500,10000与参数“主道消费批次大小”,参数“canal 的内存存储buffer”的各种组合,都是延迟逐渐拉大
描述信息: 优易2出塔canal
是否显示高级设置:
使用batch: true
跳过Select异常: 关闭
跳过Load异常: 开启
仲裁器调度模式: 自动选择
负载均衡算法: Stick
传输模式: 自动选择
记录selector日志: 开启
记录selector详细日志: 关闭
记录load日志: 关闭
dryRun模式: 关闭
支持ddl同步: 开启
跳过ddl异常: 关闭
文件重复同步对比: 关闭
文件传输加密: 关闭
启用公网同步: 开启
跳过自由门数据: 关闭
跳过反查无记录数据: 关闭
启用数据表类型转化: 关闭
兼容字段新增同步: 关闭
自定义同步标记:

canal配置
canal序号: 23
canal名称: xxx
运行状态:
运行模式: EMBEDDED
Zookeeper集群: zk2
数据源类型: MYSQL
数据库地址: xxx;
数据库帐号: xxx
connectionCharset: UTF-8
是否启用gtid位点: false
位点信息: {"journalName":"mysql-bin.155189","position":0,"timestamp":0};
是否开启表结构TSDB: false
rds accesskey:
rds secretkey:
rds instanceId:
存储机制: MEMORY
内存存储batch获取模式: MEMSIZE
内存存储buffer记录数: 32,768 //试过262,144
内存存储buffer记录单元大小: 1024
HA机制: HEARTBEAT
是否开启心跳: false
meta机制: MIXED
索引机制: MEMORY_META_FAILBACK
服务端口: 11111
默认连接超时:
接收BufferSize: 16384
发送BufferSize: 16384
切换回退时间: 60
过滤表达式:
描述信息:

node1
image

node2
image

网络带宽也足够25M/s,也就用了20%左右

同步进度
image

吞吐量
image

row_select日志看好像每次拉日志batchsize都没有装满,猜测应该是binlog解析慢,但是不知道怎么解决,请各位大神指教
image

@wkq361138880 wkq361138880 changed the title 资源足够,延时时间越来越长 资源足够,同步却很慢,延时时间越来越长 Apr 7, 2022
@wkq361138880
Copy link
Author

dryrun模式下也还是延时,应该是调度模型就没法支持那么大并发

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant