问答 2023-08-01 来自:开发者社区

实时计算Flink sql代码块中 如何实现 删除操作 下游 Hologres 的语句呢?

实时计算Flink sql代码块中 如何实现 删除操作 下游 Hologres 的语句呢? 如:DELETE FROM [ WHERE ] 我想实现的逻辑是删除下游 Hologres的整行数据根据pk字段;代码块如下: DELETE FROM mongodb_sourcewhere id in (SELECTif(JSON_VALUE(o,'$[0].Name')='_id',JSO...

问答 2023-07-26 来自:开发者社区

简单权限模式下,Flink能使用jdbc模式读hologres的binlog吗?

问题1:简单权限模式下,Flink能使用jdbc模式读hologres的binlog吗? 我们表的owner是prod_developer,这个角色没有Replication Role权限。(hologres2.0版本)问题2:cannot alter or drop reserved roles in SPM (Simple Permission Mode)

高性能

Flink 与 Hologres 搭建实时数仓

本方案将 Hologres 与 Flink 深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
技术解决方案背景图
文章 2023-07-18 来自:开发者社区

Flink CDC & MongoDB 联合实时数仓的探索实践

摘要:本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝,在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分: MongoDB 在实时数仓的探索 MongoDB CDC Connector 的实现原理和使用实践 FLIP-262 MongoDB Connector 的功能预览 总结...

Flink CDC & MongoDB 联合实时数仓的探索实践
问答 2023-07-13 来自:开发者社区

Flink + Doris 做实时数仓 谁有过经验? 怎么做的?

Flink + Doris 做实时数仓 谁有过经验? 怎么做的?

问答 2023-06-28 来自:开发者社区

有同学遇到这个问题么,本地使用flink 连接不上hologres,使用data stream的方式

有同学遇到这个问题么,本地使用flink 连接不上hologres,使用data stream的方式?

问答 2023-06-24 来自:开发者社区

使用flink来消费hologres的binlog的自定义连接器的源码在哪儿了?

问题1:使用flink来消费hologres的binlog的自定义连接器的源码在哪儿了?想了解下。我看到官网有个HologresSource类,但是在github上搜不到这个类的源码。看hologres-connector-flink也没有对binlog来做特殊的处理?问题2:那可以理解为商业版的connetor里面有特殊处理binlog的source?

问答 2023-06-13 来自:开发者社区

请问使用实时计算Flink消费Hologres binlog时提示有不支持的数据类型,怎么处理?

请问使用实时计算Flink消费Hologres binlog时提示有不支持的数据类型“默认的Binlog源表不支持SMALLINT等数据类型,仅支持INTEGER、BIGINT、TEXT、REAL、DOUBLE PRECISION、BOOLEAN、NUMERIC(38,8)、DATE、TIMESTAMPTZ类型。” 该如何处理?是不是这条路就走不通了?

文章 2023-06-12 来自:开发者社区

美团买菜基于 Flink 的实时数仓建设

摘要:本文整理自美团买菜实时数仓技术负责人严书,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分: 背景介绍 技术愿景和架构设计 典型场景、挑战与应对 未来规划 点击查看原文视频 & 演讲PPT 一、背景介绍 美团买菜是美团自营生鲜零售平台,上面所有的商品都由美团亲自采购,并通过供应链物流体系...

美团买菜基于 Flink 的实时数仓建设
文章 2023-06-06 来自:开发者社区

基于 Flink 的实时数仓建设实践

小米目前的技术架构,在存储侧我们主要应用数据湖 Iceberg 和自研消息队列 Talos,计算层主要应用 Flink 和 Spark,他们统一运行在 Yarn 上,统一通过 Metacat 获取元数据信息,并通过 Ranger 来进行统一的鉴权服务。我们内部使用 Spark 和 Presto 来支撑 OLAP 查询场景&#x...

文章 2023-06-01 来自:开发者社区

小米基于 Flink 的实时数仓建设实践

摘要:本文整理自小米软件开发工程师周超,在 Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为四个部分: 小米数仓架构演变 Flink+Iceberg 架构升级实践 流批一体实时数仓探索 未来展望 点击查看原文视频 & 演讲PPT 一、小米数仓架构演变 1.1 数仓架构现状 在介绍演变前,我们先来了解下小...

小米基于 Flink 的实时数仓建设实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

实时数仓Hologres

Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975

+关注