文章 2024-10-11 来自:开发者社区

从Apache Flink到Kafka再到Druid的实时数据传输,用于分析/决策

通过使用实时分析,企业可以快速有效地对用户行为模式做出反应。这使他们能够利用可能错过的机会,防止问题变得更糟。 Apache Kafka 是一个流行的事件流平台,可用于实时摄取从多个垂直领域(如物联网、金融交易、库存等)的各种来源生成的数据/事件。然后,这些数据可以流式传输到多个下游应用程序或引擎中,以便进一步处理和最终分析,以支持决策。 Apache Flink 是一个强大的引...

从Apache Flink到Kafka再到Druid的实时数据传输,用于分析/决策
阿里云文档 2024-09-09

ApacheLog4j0Day安全漏洞公告说明

近日,阿里云计算有限公司发现阿帕奇Log4j2组件存在远程代码执行漏洞,并将漏洞情况告知阿帕奇软件基金会。本文为您介绍该漏洞的影响范围及相应的客户侧和云服务侧的安全建议。

文章 2024-08-25 来自:开发者社区

【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls

问题描述 参考Github上 Event Hub的示例代码(Using Apache Flink with Event Hubs for Apache Kafka Ecosystems : https://github.com/Azure/azure-event-hubs-for-kafka/tree/master/tutorials/flink),使用Apache Flink kafk...

【Azure 事件中心】使用Apache Flink 连接 Event Hubs 出错 Kafka error: No resolvable bootstrap urls
文章 2024-08-25 来自:开发者社区

【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)

问题描述 Azure Event Hub 在标准版以上就默认启用的Kafka终结点,所以可以通过Apache Kafka协议连接到Event Hub进行消息的生产和消费。通过示例代码下载到本地运行后,发现没有 Kafka Producer 的详细日志输出。当查看SDK源码中,发现使用的是 org.slf4j.Logger 输出日志,如: ...

【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
阿里云文档 2024-08-21

在挂载文件存储HDFS版的Hadoop集群上安装及使用ApacheFlink

本文介绍如何在挂载文件存储 HDFS 版的Hadoop集群上安装及使用Apache Flink。

文章 2023-12-07 来自:开发者社区

Apache Flink消费Kafka数据时,可以通过设置`StreamTask.setInvokingTaskNumber`方法来实现限流

Apache Flink消费Kafka数据时,可以通过设置StreamTask.setInvokingTaskNumber方法来实现限流。这个方法可以设置每个并行任务消费的分区数,从而控制数据消费的速度。 以下是一个简单的示例,展示了如何在Flink的消费源中设置限流: StreamExecutionEnvironment env =...

文章 2023-11-11 来自:开发者社区

将Apache Flink任务实时消费Kafka窗口的计算改为MaxCompute

将Apache Flink任务实时消费Kafka窗口的计算改为MaxCompute,需要经过以下几个步骤: 数据接入:首先,你需要将Flink任务产生的数据写入到MaxCompute。这可以通过Flink的DataStream API中的sink函数来实现。你可以选择将数据写入到MaxCompute的表或者分区。 数据处理:在...

文章 2023-11-09 来自:开发者社区

Apache Flink在处理Kafka数据时遇到的问题

你的问题是关于Apache Flink在处理Kafka数据时遇到的问题,具体表现为HDFS文件写入失败。这个错误的原因是HDFS集群没有足够的datanode来满足文件的写入要求。 错误消息提示“File /flink/yarn/ha/default/blob/job_d8abd7d1c158e3ed63a553ee04175a81/blob_p-143fd61770897b489...

文章 2022-02-17 来自:开发者社区

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

文章目录: Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator 总结 Apache Flink 自2017年12月发布的1.4.0版本开始,为流计算引入了一个重要的里程碑特性:TwoPhaseCommitSinkFun...

文章 2022-02-17 来自:开发者社区

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

$stringUtil.substring( $!{XssContent1.description},200)...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像