万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践
文章贡献者 Authors • 技术指导: 泰康人寿 数据架构资深专家工程师 王可 • 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公司战略对 Apache Hudi 进行的功能扩展与实施的详...
腾讯音乐基于阿里云数据库 SelectDB 版内核 Apache Doris + 大模型构建全新智能数据服务平台
2023 年 3 月，在阿里云瑶池数据库峰会上，阿里云与飞轮科技正式达成战略合作协议，双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库，为用户提供在阿里云上的全托管服务。 SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 Selec...
《Apache Flink 案例集（2022版）》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现（1）
作者：李辉用户背景 伴鱼是一个创新驱动的互联网+教育公司，也是一个基于互联网的在线学习平台，致力于打造一个自适应学习 Adaptive Learning + 社会化学习 Social Learning 的完整语言学习环境。 业务需求目前伴鱼内部数据的集成需求主要体现在三块：Stat Log (业务标准化日志或称统计日志)、TiDB 及 MongoDB。另外，由于实时数仓正处于建设过程中，目前数据....
《Apache Flink 案例集（2022版）》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现（2）
《Apache Flink 案例集（2022版）》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现（1） https://developer.aliyun.com/article/1228434用户提交集成任务后将同步创建三个任务： 增量任务 (流)：增量任务将 DB 日志数据由 Kafka 同步至 Hive。由于采集组件都是按照集群粒度进行采集，且集群数....
《Apache Flink 案例集（2022版）》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现（3）
《Apache Flink 案例集（2022版）》——1.数据集成——伴鱼-伴鱼基于 Flink 构建数据集成平台的设计与实现（2） https://developer.aliyun.com/article/12284312. Merge任务 Merge 任务的前提是存量数据与增量数据都已经 ready，通过 _SUCCESS 文件进行标记。整个Merge 任务的工作流如下图所示： ....
基于 Apache Hudi 构建增量和无限回放事件流的 OLAP 平台
1. 摘要在本博客中，我们将讨论在构建流数据平台时如何利用 Hudi 的两个最令人难以置信的能力。增量消费--每 30 分钟处理一次数据，并在我们的组织内构建每小时级别的OLAP平台事件流的无限回放--利用 Hudi 的提交时间线在超级便宜的云对象存储（如 AWS S3）中存储 10 天的事件流（想象一个具有 10 天保留期的 kafka 主题）具有部分记录更新的自定义 Hudi Payload....
实时计算 Flink:基于 Apache Flink 构建的大数据计算平台（附白皮书）
Apache Flink：全球领先的开源大数据计算引擎 Apache Flink 是一个开源的分布式大数据处理引擎, 可对有限数据流和无限数据流进行有状态计算。作为 Apache 软件基金会 (ASF) 顶级项目之一，Flink 在流处理方面具有绝对的优势，提供高吞吐、低延时的计算能力， Exactly-once 语义保证数据的准确性，亚秒级别的处理延迟确保业务的快速响应。 作为快速发展的新一代....
Apache+SVN构建代码仓库平台
很多同学对SVN+Apache整合很少头疼，今天整理了一版Apache+SVN整合的文档，希望能帮助到大家！ SVN是Subversion的简称，是一个开放源代码的版本控制系统，相较于RCS、CVS，它采用了分支管理系统，它的设计目标就是取代CVS。互联网上很多版本控制服务已从CVS迁移到Subversion。说得简单一点SVN就是用于多个人共同开发同一个项目，共用资源的目的。 Apache...
RHEL6.3配置Apache服务器（5） 构建LAMP平台
Apache本身只支持静态网页，但目前的绝大多数网站都是动态Web站点，所以在实际应用中，Apache还必须得跟其它一些应用软件配合使用，只有这样才能构建一个高效可用的Web平台。 在诸多Web平台中，LAMP可谓是最经典的一个。 在本篇博文中，我们就来构建一个最基本的LAMP平台。在部署LAMP时，安装的一般顺序是Linux、Apache、MySQL、PHP，其中的MySQL和PHP我们仍使用....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache构建相关内容
- Apache doris构建数据
- Apache kafka构建
- Apache paimon构建
- Apache构建lakehouse
- 构建Apache
- Apache构建流程
- Apache kylin构建
- Apache kylin流式构建
- Apache cube构建
- Apache增量cube构建
- Apache kylin增量构建
- Apache增量构建
- Apache kylin构建cube
- Apache构建分析
- Apache构建湖仓
- Apache hudi构建
- Apache构建数据湖
- Apache构建实时数据湖
- Apache构建方案
- Apache azure构建
- Apache构建流式
- apachedoris案例集Apache构建
- Apache maven构建
- Apache构建数据中台
- Apache平台构建
- 构建Apache web服务器
- Apache kylin权威指南构建
Apache您可能感兴趣
- Apache开源
- Apache架构
- Apache学习
- Apache shenyu
- Apache flink
- Apache函数
- Apache实践
- Apache doris
- Apache湖仓
- Apache湖仓一体
- Apache配置
- Apache rocketmq
- Apache安装
- Apache php
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache从入门到精通
- Apache kafka
- Apache hudi
- Apache应用
- Apache web
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！
+关注