
《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(1)
作者:李辉用户背景 伴鱼是一个创新驱动的互联网+教育公司,也是一个基于互联网的在线学习平台,致力于打造一个自适应学习 Adaptive Learning + 社会化学习 Social Learning 的完整语言学习环境。 业务需求目前伴鱼内部数据的集成需求主要体现在三块:Stat Log...

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(2)
《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(1) https://developer.aliyun.com/article/1228434用户提交集成任务后将同步创建三个任务: 增量任务 (流):增量任务...

《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(3)
《Apache Flink 案例集(2022版)》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现(2) https://developer.aliyun.com/article/12284312. Merge任务 Merge 任务的前提是存量数据与增量数据都...
伴鱼如何基于Flink构建数据集成平台的设计与实现?
伴鱼如何基于Flink构建数据集成平台的设计与实现?

伴鱼基于 Flink 构建数据集成平台的设计与实现
数据仓库有四个基本的特征:面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提,指将多个分散的、异构的数据源整合在一起以便于后续的数据分析。将数据集成过程平台化,将极大提升数据开发人员的效率。本文主要内容为:数据集成 VS 数据同步集成需求数据集成 V1数据集成 V2...

伴鱼:借助 Flink 完成机器学习特征系统的升级
本文作者陈易生,介绍了伴鱼平台机器学习特征系统的升级,在架构上,从 Spark 转为 Flink,解决了特征上线难的问题,以及 SQL + Python UDF 如何用于生产实践。 主要内容为:前言老版特征系统 V1新版特征系统 V2总结GitHub 地址 https://github.com/ap...

基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现
作者:李辉GitHub 地址 https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~在伴鱼发展早期,出现了一系列实时性相关的需求,比如算法工程师期望可以拿到用户的实时特征数据做实时推荐,产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中...
更新时间 2023-05-26 18:15:20
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。