阿里云文档 2024-10-14

实时计算Flink和Paimon实现流批一体

本文演示了使用实时计算Flink版和EMR Serverless Spark构建Paimon数据湖分析流程。该流程包括将数据写入OSS、进行交互式查询以及执行离线数据Compact操作。EMR Serverless Spark完全兼容Paimon,通过内置的DLF元数据与其他云产品(例如,实时计算Flink版)实现元数据互通,形成完整的流批一体化解决方案。它支持灵活的任务运行方式和参数配置,满足实...

问答 2024-08-26 来自:开发者社区

flink里pyspark ,通过 spark-submit 这种方式提交作业,报错依赖缺失 咋办?

麻烦想问一下pyspark ,通过 spark-submit 这种方式提交作业,但报错依赖缺失 能否帮忙解决一下哈

问答 2024-07-31 来自:开发者社区

在Flink CDC中,flinsql读spark表的timestamp类型字段报这个错,这个咋解决

[ERROR] Could not execute SQL statement. Reason:java.lang.IllegalArgumentException: Unexpected type: INT64在Flink CDC中,flinsql读spark表的timestamp类型字段报这个错,这个咋解决啊?

文章 2024-07-16 来自:开发者社区

实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时,如何实时查看数据变化

问题一:flink cdc哪个版本有sqlserverCatalog,能根据表名拿到对应的字段和字段类型? flink cdc哪个版本有sqlserverCatalog,能根据表名拿到对应的字段和字段类型? 参考答案: 你指的是flink-connector-jdbc吧,这个是连接器的特性,1.17的好像就支持了 ...

实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时,如何实时查看数据变化
问答 2024-06-17 来自:开发者社区

Apache Flink 和 Apache Spark Streaming在完整性推理方面有何不同?

Apache Flink 和 Apache Spark Streaming 在完整性推理方面有何不同?

文章 2024-06-16 来自:开发者社区

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取

问题一:Flink CDC这个应该在哪里配? Flink CDC这个应该在哪里配?mysql 的超时我已经改成30s了 参考答案: 要么找DBA改一下,要么自己去看有没有参数改,我们是10分钟,有的...

实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
文章 2024-04-18 来自:开发者社区

【Flink】Flink跟Spark Streaming的区别?

Flink 和 Spark Streaming 是两个流式数据处理框架,都在大数据领域具有重要地位。它们都具有处理实时数据的能力,但在设计理念、执行模型、容错机制等方面存在一些区别。接下来,我将详细分析 Flink 和 Spark Streaming 的区别,以及它们各自的特点和优势。 1. 执行模型 Flink: Flink 使用了基于事件时间的流处理模型。它提供了严格的事件时间处理支持...

【Flink】Flink跟Spark Streaming的区别?
问答 2024-03-25 来自:开发者社区

Flink CDC里有没有用cdc 和spark hudi集成的?

有没有用 flink cdc 和spark hudi集成的?

问答 2024-03-05 来自:开发者社区

Flink CDC同步到hudi 可以直接读取hudi 的数据吗 例如用hive 或者spark?

Flink CDC同步到hudi 可以直接读取hudi 的数据吗 例如用hive 或者spark?

文章 2024-01-18 来自:开发者社区

Flink与Spark的区别是什么?请举例说明。

Flink与Spark的区别是什么?请举例说明。Flink和Spark都是流行的大数据处理框架,它们在设计和功能上有一些区别。下面我将详细介绍Flink和Spark的区别,并结合一个具体的案例进行说明。数据处理模型:Flink:Flink是一个流处理优先的框架,它提供了流处理和批处理的统一编程模型。Flink的核心概念是流(Stream)和状态(State),它可以实现精确一次(Exactly-....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注