阿里云文档 2024-09-12

查看工作流实例及节点实例日志

工作流创建后,您可以对已有的工作流实例和节点进行操作。本文为您介绍如何查看工作流实例、节点日志等。

文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理

问题一:Flink CDC用oracle-cdc?它是不是不能从ckp恢复? Flink CDC用oracle-cdc?它是不是不能从ckp恢复。我用cdc同步oracle,中间把任务停掉,然后从ckp恢复,发现暂停期间的变更日志会漏掉,scan.mode设的:latest-offset? 参考答案: 从savepoint恢复试下 ...

实时计算 Flink版产品使用合集之从Oracle数据库同步数据时,checkpoint恢复后无法捕获到任务暂停期间的变更日志,如何处理
文章 2024-05-23 来自:开发者社区

实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的

问题一:flink cdc同构数据库的默认支持吗? flink cdc同构数据库的默认支持吗? 参考回答: Flink CDC是Apache Flink的一种数据集成框架,它可以捕捉数据库表的增删改查操作,并将这些操作作为全量和增量数据同步到消息队列和数据仓库中。Flink SQL内部支持了完整的changelog机制,对接CDC数据只需要将CDC数据...

实时计算 Flink版产品使用合集之同步PostgreSQL数据时,WAL 日志无限增长,是什么导致的
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之在读取Oracle归档日志时出现日志数量大幅增加的情况如何解决

问题一:1.13.6的flink,该事务执行时间稍长由比较多的数据被处理,但与该job关注的表无关? 1.13.6的flink,cdc读mysql的binlog,卡在一个binlog点上,就在一直卡在这里。在这期间附近有个其他表的大事务操作发生,该事务执行时间稍长由比较多的数据被处理,但与该job关注的表无关?io.debezium.connector.mysql.MySqlS...

实时计算 Flink版产品使用合集之在读取Oracle归档日志时出现日志数量大幅增加的情况如何解决
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之怎么配置日志的输出格式和文件大小

问题一:请教一个flinksql 问题,要求是每来一条输出一次结果,有啥办法处理嘛? 请教一个flinksql 问题,要求是每来一条输出一次结果,计算一个数值按照group id,现在发现我一次发多条数据的时候,可能会触发一起计算,不是一条条的,有啥办法处理嘛? 参考回答: 并行度给低点,阻塞一下,Sleep一下 关于本问题的更多回答...

实时计算 Flink版产品使用合集之怎么配置日志的输出格式和文件大小
文章 2024-05-17 来自:开发者社区

实时计算 Flink版产品使用合集之日志文件快速增长如何解决

问题一:Flink CDC同步开源的那个postgresql数据库有碰到这个情况的不? Flink CDC阿里云基于postgresql做的polardb我用flink 2.2 postgresql 连接器做同步。查询polardb的slot显示没有消费,但是我kafka显示收到了数据。这导致wal日志持续增加且不删除。同步开源的那个postgresql数据库有碰到这个情况的不...

实时计算 Flink版产品使用合集之日志文件快速增长如何解决
文章 2024-05-16 来自:开发者社区

实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决

问题一:求问大家 ,flinksql 在idea调试都没问题 窗口触发都能出结果 ,部署到集群上就没反应了? 求问大家 ,flinksql 在idea调试都没问题 窗口触发都能出结果 ,部署到集群上就没反应了, 查看日志有数据数据读取到 就发不出去发kafka 。 就算使用无窗口sql select* 也发不出去数据 。版本是1.16 有没有人遇到类问题 。 ...

实时计算 Flink版产品使用合集之 Flink on YARN 中使用滚动日志时配置不生效如何解决
阿里云文档 2024-05-07

如何管理SLS Catalog

SLS Catalog通过自动解析Logstore中的日志来推导Schema。配置SLS Catalog后,您可以在Flink作业中直接访问SLS Logstore,无需在Flink SQL中声明SLS表的Schema便可以获取具体字段信息。本文为您介绍如何创建、查看、使用及删除SLS Catalo...

文章 2024-03-14 来自:开发者社区

Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决

问题一:Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,怎么区分先后? Flink CDC里mysql-cdc同步到kafka中,对同一条数据多次操作,op_ts字段可能会一样,如何区分先后顺序呢?同一条数据在短时间内有i、d、u操作,操作时间读取过来也是同一个,这咋区分哪个前哪个后呢? 参考答案: 我是自己解析之后按照...

问答 2023-11-08 来自:开发者社区

阿里云Flink里哪个产品可以像flume一样采集日志啊?

阿里云Flink里哪个产品可以像flume一样采集日志啊?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

日志服务SLS

日志服务 (Simple Log Service,简称 SLS) 是云原生观测分析平台,为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。

+关注