《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(上)
作者:邹云鹤用户背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信工具) 三部分,在全球范围内拥有 4 亿用户。 业务需求 伴随着BIGO业务的发展,对数据平台处理能力的要求越来越高,平台所面临的问题也日益凸显。BIGO 大数据平台的数据流转图如下所示: 用户在 APP,....
《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(下)
《Apache Flink 案例集(2022版)》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化(上) https://developer.aliyun.com/article/1228256实时数仓建设和优化 为了提升 BIGO 大数据平台上某些业务指标的产出效率,以及更好的管理 Flink 实时任务,BIGO 大数据平台建设了实时计算平台....
《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(1)
作者:张杨 用户背景 哔哩哔哩是中国年轻一代的标志性品牌及领先的视频社区。网站创立于2009年6月,并于2010年1月正式命名为“哔哩哔哩”,提供全方位的视频内容以满足用户多元化的兴趣喜好,并且围绕着有文化追求的用户、高质量的内容、有才华的内容创作者以及他们之间的强大情感纽带,构建了bilibili的社区。 业务需求 B站围绕 Flink 主要做了三个方面的工作:平台建设、增量化和 AI on ....
《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(2)
《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(1) https://developer.aliyun.com/article/12282312.增量化B站的增量化方案由Flink+Hudi构成,架构如上图所示。Flink计算引擎的 checkpoint 是一个天然的增量化机制,实时任务进行一次 che....
《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(3)
《Apache Flink 案例集(2022版)》——3.机器学习——Bilibili-Flink 在 B 站的多元化探索与实践(2) https://developer.aliyun.com/article/12282293. AI on Flink 传统的机器学习链路里数据的传输、特征的计算以及模型的训练,都是离线处理的,存在两个大的问题:第一个是时效性低,模型和特征的更新周期基....
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(1)
作者:郭育波 用户背景 众安在线财产保险股份有限公司(以下简称“众安”)是中国首家互联网保险公司,众安总部位于上海,不设任何分支机构,完全通过互联网展业。由“保险+科技”双引擎驱动,众安专注于应用新技术重塑保险价值链,围绕健康、数字生活、消费金融、汽车四大生态,以科技服务新生代,为其提供个性化、定制化、智能化的新保险。 平台概况上图是众安保险的实时计算整体架构图,最下层是数据源层,包....
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(2)
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(1) https://developer.aliyun.com/article/1228201应用场景1. 智能营销 营销平台的最下层是数据源层,包括金融业务数据、保险业务数据、用户行为数据、第三方平台的数据和运营结果数据。离线数据通过 ETL 的方式进入离线数仓,....
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3)
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(2) https://developer.aliyun.com/article/12282002. 实时特征 特征工程主要服务于金融风控场景,比如决策引擎、反欺诈、风控模型服务等。特征工程主要的目的是将原始数据转换为更好的表述问题本质的过程。使用这些特征....
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(4)
《Apache Flink 案例集(2022版)》——3.机器学习——众安保险-Flink 在 众安保险金融业务的应用(3) https://developer.aliyun.com/article/12281983. 反欺诈 上图是实时反欺诈特征应用的数据流图,它和金融实时特征服务的数据流图有些类似的一面,但也存在一些差异。这里的数据源除了会使用业务数据外,更关注的是用户行为数据和....
《Apache Flink 案例集(2022版)》——3.机器学习——奇安信-如何设计信息安全领域的实时安全基线引擎(1)
作者:覃永靖 用户背景 奇安信集团,是中国网络安全公司之一,专门为政府、企业,教育、金融等机构和组织提供企业级网络安全技术、产品和服务,已覆盖90%以上的中央政府部门、中央企业和大型银行,已在印度尼西亚、新加坡、加拿大、中国香港等国家和地区开展了安全业务。 业务需求 近 10 年来,大数据技术发展日新月异。安全分析场景和方法也更新换代。 安全领域主要有三个特点: 快速响应....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
Apache更多flink相关
- Apache flink流处理
- Apache flink框架
- 大数据Apache flink
- Apache flink数据
- Apache flink分析
- Apache flink kafka
- Apache flink技术
- Apache flink版本
- Apache flink连接
- Apache flink推理
- Apache flink场景
- Apache flink实时计算
- Apache flink优化
- 官宣Apache flink
- Apache flink案例
- Apache flink meetup北京站
- Apache flink客户端
- flink caused Apache
- Apache flink应用实践
- Apache flink fault tolerance
- Apache flink spark
- Apache flink引擎
- Apache flink ml
- Apache hudi flink
- flink Apache实时计算
- Apache flink下载
- Apache flink window
- Apache flink开源
- Apache flink join
- Apache flink教程
Apache您可能感兴趣
- Apache开源
- Apache架构
- Apache学习
- Apache shenyu
- Apache函数
- Apache实践
- Apache doris
- Apache湖仓
- Apache湖仓一体
- Apache分析
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache从入门到精通
- Apache kafka
- Apache hudi
- Apache应用
- Apache web
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
+关注