文章 2024-03-18 来自:开发者社区

官宣|Apache Flink 1.19 发布公告

Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。与往常一样,这是一个充实的版本,包含了广泛的改进和新功能。总共有 162 人为此版本做出了贡献,完成了 33 个 FLIPs、解决了 600 多个问题。感谢各位贡献者的支持! 一、Flink SQL 提升 源表自定义并行度 现在,在 Flink 1.19 中,您可以通过选 scan.p...

官宣|Apache Flink 1.19 发布公告
文章 2024-03-16 来自:开发者社区

Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档

Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档。以下是基本的步骤: 首先,你需要安装Docker。 然后,你需要下载Flink CDC的Docker镜像。你可以使用以下命令下载最新的Flink CDC Docker镜像: docker pull apache/flink-cdc-connec...

文章 2024-03-12 来自:开发者社区

Apache Flink自定义 logback xml配置

<?xml version="1.0" encoding="UTF-8"?> <configuration scan="true" scanPeriod="60 seconds" debug="false"> <property name&...

文章 2024-03-12 来自:开发者社区

Apache Hudi + Flink作业运行指南

近日Apache Hudi社区合并了Flink引擎的基础实现(HUDI-1327),这意味着 Hudi 开始支持 Flink 引擎。有很多小伙伴在交流群里咨询 Hudi on Flink 的使用姿势,三言两语不好描述,不如实操演示一把,于是有了这篇文章。 当前 Flink 版本的Hudi还只支持读取 Kafka 数据,Sink到 COW(COPY_ON_WRITE) 类型的 Hudi 表...

Apache Hudi + Flink作业运行指南
文章 2024-03-12 来自:开发者社区

Apache Hudi与Apache Flink更好地集成,最新方案了解下?

1. 现有架构 现有Flink写Hudi架构如下 现有的架构存在如下瓶颈 •InstantGeneratorOperator并发度为1,将限制高吞吐的消费,因为所有的split都将会打到一个线程内,网络IO会...

Apache Hudi与Apache Flink更好地集成,最新方案了解下?
文章 2024-03-12 来自:开发者社区

Apache Flink 1.12.2集成Hudi 0.9.0运行指南

1. 准备工作 1. 编译包下载 •下载Flink 1.12.2包:https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz•Hudi编译:https://github.com/apache/hudi•git clone https://github...

Apache Flink 1.12.2集成Hudi 0.9.0运行指南
文章 2024-03-12 来自:开发者社区

超详细步骤!整合Apache Hudi + Flink + CDH

1. 环境准备 各组件版本如下 Flink 1.13.1 Hudi 0.10 Hive 2.1.1 CDH 6.3.0 Kafka 2.2.1 1.1 Hudi 代码下载编译 下载代码至本地 steven@wangyuxi...

超详细步骤!整合Apache Hudi + Flink + CDH
文章 2024-03-07 来自:开发者社区

使用 Apache Flink 和 Apache Hudi 创建低延迟数据湖管道

近年来出现了从单体架构向微服务架构的转变。微服务架构使应用程序更容易扩展和更快地开发,支持创新并加快新功能上线时间。但是这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的见解,企业应该将来自不同孤岛的所有数据集中到一个地方。AWS 提供复制工具,例如 AWS Database Migration Service (AWS DMS),用于将数据更改从各种源数据库....

使用 Apache Flink 和 Apache Hudi 创建低延迟数据湖管道
文章 2024-03-07 来自:开发者社区

万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践

1. 背景 经典场景 Flink 侧实现 ...

万字长文:基于Apache Hudi + Flink多流拼接(大宽表)最佳实践
文章 2024-03-07 来自:开发者社区

在 Apache Flink SQL 中,并没有内置的 GROUP_CONCAT 函数

在 Apache Flink SQL 中,并没有内置的 GROUP_CONCAT 函数。但是,您可以通过以下两种方式实现类似的功能: 自定义聚合函数:您可以编写一个自定义的聚合函数来实现 GROUP_CONCAT 功能。这个函数将根据需要,将每个组中的值连接为一个字符串。下面是一个简单的示例代码: import ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像