我们这边一个cdc任务，每秒钟有3万条增量数据，我们通过metric发现binlog读取有一些lag
我们这边一个cdc任务，每秒钟有3万条增量数据，我们通过metric发现binlog读取有一些lag，后续我们扩了每个TM的vcore数量，但是我们发现在增量同步阶段，不管资源有多少，cdc任务只能使用一个vcore(不知道是不是单线程读binlog的原因)，社区对于这种场景有什么好的优化建议吗？
使用canal增量订阅MySQL binlog
【转载请注明出处】：https://juejin.im/post/5ecf04ec5188254316147950 基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql。早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于....
linux下如何增量增量传输mysql binlog日志
在实际的工作中我们遇到了一个问题，MYSQL 5.5 我们备份使用的mysqldump，然后每天传输的备份到备份机器，但是binlog却不好传输主要要考虑几个问题： 1、binlog 没法取时间，按照什么规则来传？ 2、binlog的传输并不是每次都全部传输过去，而是需要增量的。 3、binlog的最后一个日志是在使用的是不能传输的。 4、为了更通用需要使用一个前缀，因为每个数据库的bi...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
binlog您可能感兴趣
- binlog区别
- binlog数据
- binlog解析
- binlog特性
- binlog原理
- binlog undo
- binlog log
- binlog redo
- binlog同步
- binlog mysql
- binlog flink
- binlog cdc
- binlog日志
- binlog canal
- binlog polardb
- binlog rds
- binlog文件
- binlog flinkcdc
- binlog报错
- binlog参数
- binlog hologres
- binlog监听
- binlog模式
- binlog全量
- binlog配置
- binlog表
- binlog格式
- binlog设置
- binlog kafka
- binlog任务