文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——5.数字化转型——移动云Apache Flink 在移动云实时计算的实践(上)

作者:谢磊用户背景 中移(苏州)软件技术有限公司是中国移动通信有限公司的全资子公司,公司定位为中国移动云设施的构建者、云服务的提供者、云生态的绘制者。公司以移动云为运营中心,产品和服务在电信、政务、金融、交通等领域都有广泛应用。 平台建设 实时计算引擎在移动云的演进分为几个阶段:• 2015 年到 16 年,使用第一代实时计算引擎 Apache Storm;• 2017年开始调研 Apache ....

《Apache Flink 案例集(2022版)》——5.数字化转型——移动云Apache Flink 在移动云实时计算的实践(上)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——5.数字化转型——移动云Apache Flink 在移动云实时计算的实践(下)

《Apache Flink 案例集(2022版)》——5.数字化转型——移动云Apache Flink 在移动云实时计算的实践(上) https://developer.aliyun.com/article/12278472. 稳定性实践 作业稳定性主要指服务故障以及处理方案,服务故障主要包括作业运行失败、作业消费延迟、作业出现 OOM 以及作业异常重启。对应的处理方案是可以将作业进行物理隔离,....

《Apache Flink 案例集(2022版)》——5.数字化转型——移动云Apache Flink 在移动云实时计算的实践(下)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——5.数字化转型——翼支付Apache Flink 在翼支付的实践应用(上)

用户背景 翼支付是中国电信的全资子公司,公司主要业务分为民生缴费、消费购物、金融理财,同时依托云计算、大数据、人工智能等技术手段,赋能线上及线下的商户。公司主要的业务板块分为数字生活、数字金融及金融科技服务。 业务需求 目前,翼支付的月活用户数为 5000万+,存量用户数 5 个亿+,线上的服务器大约 4000 台,每日的记录数为千亿条。随着公司的业务规模不断扩展,翼支付面临的业务挑战也在不断增....

《Apache Flink 案例集(2022版)》——5.数字化转型——翼支付Apache Flink 在翼支付的实践应用(上)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——5.数字化转型——翼支付Apache Flink 在翼支付的实践应用(下)

《Apache Flink 案例集(2022版)》——5.数字化转型——翼支付Apache Flink 在翼支付的实践应用(上) https://developer.aliyun.com/article/1227825生产实践 在实践过程中翼支付遇到了很多挑战,总结起来主要是业务 State 数据一致性、指标重复计算问题、动态规则配置以及全链路监控监控问题。   首先是指标作业升级过程....

《Apache Flink 案例集(2022版)》——5.数字化转型——翼支付Apache Flink 在翼支付的实践应用(下)
文章 2023-05-24 来自:开发者社区

【大数据架构】Apache Flink和Apache Spark—比较指南

1. 目标在本教程中,我们将讨论Apache Spark和Apache Flink之间的比较。Apache spark和Apache Flink都是用于大规模批处理和流处理的开源平台,为分布式计算提供容错和数据分布。本指南提供了Apache Flink和Apache Spark这两种蓬勃发展的大数据技术在特性方面的明智比较。2. Apache Flink vs Apache Spark特性Apa....

【大数据架构】Apache Flink和Apache Spark—比较指南
文章 2023-04-21 来自:开发者社区

Apache Flink ML 2.2.0 发布公告

来源 | Apache Flink 官方博客翻译 | 林东Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布!本次发布的版本重点添加了 Flink ML 中的特征工程算法。现在 Flink ML 包含了 33 个开箱可用的特征工程算法,可以支持很多常见的特征工程任务。随着这些算法的添加,我们相信 Flink ML 已经准备好用于需要特征工程的生产....

Apache Flink ML 2.2.0 发布公告
问答 2023-04-19 来自:开发者社区

Apache Flink China 这个报错是什么原因?

org.apache.flink.runtime.rest.handler.job.checkpoints.CheckpointingStatisticsHandler [] - Exception occurred in REST handler: Job dc0c020140fda687ba5f3442b0ca6d7f not found ...

问答 2023-04-19 来自:开发者社区

Apache Flink China读hive报这个,该怎么解决?

Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.RecordReaderImpl$StringDictionaryTreeReader.startStripe(RecordReaderImpl.java:1560) at org.apache.hadoop.hive.ql.io.orc.R....

文章 2023-04-13 来自:开发者社区

海量数据实时分析引擎 Apache Flink

摘要:当系统出现大量或者重大的错误却不被人感知,将会对业务产生影响,从而导致资产损失。当竞争对手实施了新战术,却无法及时感知,跟不上竞争对手的节奏,总是追着对方尾巴走。当要做决策的时候,海量的业务数据增长却无法实时看到聚合结果,决策总是凭借过往经验或者过时的数据分析之上。可以看到如果没有数据分析,我们的系统大部分时间处于黑盒状态,对业务的决策也只能凭借过往经验。实时与批量的数据分析可以帮助企业洞....

海量数据实时分析引擎 Apache Flink
文章 2023-04-06 来自:开发者社区

快手基于 Apache Flink 的实时数仓建设实践

摘要:本文整理自快手实时数据开发工程师冯立,快手实时数据开发工程师羊艺超,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分:快手实时数仓的发展实时数仓建设方法论实时数仓场景化实战未来规划点击查看直播回放和演讲 PPT一、快手实时数仓的发展作为短视频领域的领头羊,快手 APP 一直致力于视频、直播技术的迭代,其背后对数据实时性、准确性的要求非常高,这....

快手基于 Apache Flink 的实时数仓建设实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像