阿里云实时数仓Hologres的应用场景 - 交互式分析Hologres

Hologres兼容PostgreSQL生态,是新一代的阿里云 实时 产品,与大数据生态无缝连接,支持 实时分析 实时 线数据,对接第三 ...

OPPO 实时数仓揭秘:从顶层设计实现离线与实时的平滑迁移

底层逻辑决定顶层设计,而底层逻辑则来自于 实时的观察。下图中将 实时 线 放在一起进行了对比,发现两者的相似性很多,无论是数据来源、数据使用者、数据开发人员以及数据应用都非常相似,两者最大的差异点在于时效性,因为 实时 中数据的时效性需要达到分钟级 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:91 回复:0
推荐

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

基于Flink的资讯场景实时数仓 - 消息队列Kafka版

本文介绍如何针对资讯聚合类业务场景搭建基于消息队列Kafka版 实时计算Flink的 实时 ...

通过实时计算 Flink 写入数据 - 云原生数仓 AnalyticDB PostgreSQL

PG版),本文将为您介绍使用的必要条件、操作流程、字段映射 参数支持。 前提条件 实时计算集群 ADB PG版 ...

互联网行业实时BI分析 - 云原生数仓 AnalyticDB MySQL

本文以某互联网公司为例,介绍如何将DB业务数据 日志数据 实时同步到云原生数据仓库AnalyticDB MySQL版中,然后通过 ...

通过实时计算Flink版读取云原生数据仓库AnalyticDB PostgreSQL - 云原生数仓 AnalyticDB PostgreSQL

、语法示例、创建 运行Flink作业、WITH参数、CACHE参数、类型映射 参数支持等。版本限制创建3.6.0及以上版本 实时计算集群创建6.0版本ADB PG集群( 实时计算集群 ADB PG版实例需要位于同一VPC下,且ADB PG版实例的白名单规则允许 ...

RDS PostgreSQL实时同步数据至AnalyticDB for PostgreSQL - 云原生数仓 AnalyticDB PostgreSQL

DTS在执行全量数据初始化时将占用源库 目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有 ...

五分钟DMS数仓开发之ADB for PG - 数据管理 DMS

分析型数据库PostgreSQL版(原HybridDB for PostgreSQL,下面简称ADB for PG)是阿里云上一款流行的 实时数据仓库产品,提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。本文将重点介绍DMS 开发如何对接 ...

基于AnalyticDB构建企业数仓 - DataWorks

,并进行运维和元数据管理等操作。 开始本文的操作前,请首先创建工作空间,详情请参见创建工作空间 ...

数仓性能优化 - MaxCompute

。 合表:随着 的发展,针对业务重叠或重复的表,您可以进行任务 数据合并。 拉链表:合理利用拉链表 ...

数仓性能优化 - DataWorks

单独的表。 合表:随着 的发展,针对业务重叠或重复的表,您可以进行任务 数据合并 ...

数仓构建流程 - 智能数据构建与管理 Dataphin

最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库的流程。 构建流程 ...

步骤一:规划数仓 - 智能数据构建与管理 Dataphin

本文为您介绍如何规划店铺销售的 ,包括创建业务板块、计算源、数据源、项目及项目中的成员 ...

数仓分层 - MaxCompute

。 该数据分类架构在ODS层分为三部分:数据准备区、 线数据 实时数据区。整体数据分类架构如下图所示。在 ...

数仓分层 - DataWorks

。 该数据分类架构在ODS层分为三部分:数据准备区、 线数据 实时数据区。整体数据分类架构如下图所示。在 ...

数仓构建流程 - DataWorks

称为实体对象。例如, 在分析交易过程时,可以通过买家、卖家、商品 时间等维度描述交易发生的环境 ...

数仓大法好!跨境电商 Shopee 的实时数仓之路

实时标签培训 查询需求。同时大量业务共享了一些业务逻辑,造成大量业务耦合度高,重复开发。平台架构而言,当前任务越来越多,管理调度,资源管理,数据质量异常监控等也越来越重要。 实时化也越来急迫,目前大量业务还是 线任务形式,导致凌晨服务负载压力巨大,同时 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:18 回复:0

日期和时间函数 - 云原生数仓 AnalyticDB MySQL

增加N个月。 PERIOD_DIFF:返回P1 P2之间相差的月 。 QUARTER:返回日期在一年中的季度 ...

一级分区的规划和设计 - 云原生数仓 AnalyticDB MySQL

本章节介绍一级分区表的规划 设计,其中主要是一级分区列的选取。一级分区列选择分析型数据库MySQL版一级分区表采用HASH分区,可指定任意一列(不支持多列)作为分区列。HASH分区通过标准CRC算法计算出CRC值,并将CRC值与分区 作模计算,得出每条 ...

案例:商品属性提取和多模搜索 - 云原生数仓 AnalyticDB PostgreSQL

需求 电商卖家在准备新商品资料时,需要拍摄商品照片、标注商品类别 属性 ...

数据库账号和权限 - 云原生数仓 AnalyticDB MySQL

权限账号 普通账号(子账号)两种类型的数据库账号,高权限账号可以管理所有普通账号 数据库;使用普通账号进行数据库操作时,需要手动创建普通账号,然后为普通账号授权 ...

AWS Redshift应用和数据迁移至AnalyticDB for PostgreSQL - 云原生数仓 AnalyticDB PostgreSQL

: 资源 环境准备,执行操作前需提前准备Amazon Redshift、Amazon S3(Amazon Simple Storage Service)、AnalyticDB ...

UNION、INTERSECT和EXCEPT - 云原生数仓 AnalyticDB MySQL

UNION、INTERSECT EXCEPT用于将多个查询语句的结果集进行组合,从而形成一个最终结果。query UNION [ ALL ] INTERSECT EXCEPT MINUS }query参数UNION:返回两个查询表达式的集合运算 ...

申请和释放公网地址 - 云原生数仓 AnalyticDB MySQL

ADB集群支持VPC地址 公网地址两种类型的地址,如果需要通过公网连接集群,您需要先申请公网地址 ...

RAM子账号和权限 - 云原生数仓 AnalyticDB MySQL

该RAM子账号 所属阿里云主账号查看或使用集群;其他RAM子账号需要授权后才能查看或者使用该集群 ...

如何诊断和处理锁等待 - 云原生数仓 AnalyticDB PostgreSQL

,每个被锁的对象或等待锁的对象为一条记录。 pg_stat_activity:显示所有会话的信息,每个会话为一条记录。 创建锁监控视图 具体如何查询当前的锁等待 持锁信息,您可以通过如下SQL语句创建锁监控 ...

什么是一键建仓 - 云原生数仓 AnalyticDB MySQL

云原生数据仓库AnalyticDB MySQL版(简称ADB,原分析型数据库MySQL版)支持一键建 功能,通过简单几步配置即可将 ...

配置同步任务中的数据来源和去向 - 云原生数仓 AnalyticDB MySQL

,以避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率。 错误记录 超过 任务资源组 单击保存 提交,配置任务需要的其他信息。 完成同步任务的配置后,先保存 提交节点,单击运行开始导入操作。成功将数据导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。 ...

创建和查看MySQL分析实例 - 云原生数仓 AnalyticDB MySQL

您可以通过AnalyticDB for MySQL控制台或者RDS控制台实例详情页两种方式创建 查看MySQL分析实例 ...

主地址和集群地址 - 云原生数仓 AnalyticDB PostgreSQL

。 支持通过水平扩展协调节点(Master Node)来突破原架构单Master的限制,在计算节点(Execution Storage Node)不存在瓶颈的情况下,系统连接 及读写能力可以随着Master节点 线性扩展 ...

位函数和操作符 - 云原生数仓 AnalyticDB MySQL

函数 操作符。 BIT_COUNT:系统先将参数转换为二进制,然后返回二进制中1的个 ...

商品属性提取和多模搜索 - 云原生数仓 AnalyticDB MySQL

系统需求电商卖家在准备新商品资料时,需要拍摄商品照片、标注商品类别 属性。以女装为例,需要设置子类目是裙子或者衬衣,衬衣需要标注是圆领、V领、长袖、短袖、风格等多种属性。随着商品类别的增长,将积累大量的图片素材。如果这些图片素材没有被很好地管理 利用,则 ...

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017 年底,美团点评实...
来自: 开发者社区 >博客

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 点击查看本场直播>>> 更多2019 Flink Forward 大会视频>>> 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入...
来自: 开发者社区 >博客

滴滴基于 Flink 的实时数仓建设实践

随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。 1.实时数仓建设目的 随着互联网的发展进入下半场,...
来自: 开发者社区 >博客

专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享

整理 | 青渊(Flink 社区志愿者)校对 | 青雉(Flink 社区志愿者)作者 | 黄伟伦@美团点评 摘要:本文根据 Apache Flink 系列直播整理而成,由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下: 实时数仓建设目的 如何建立实时数仓 仓库质量保证 Tips:点击...
来自: 开发者社区 >博客

一套 SQL 搞定数据仓库?Flink有了新尝试

目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分复杂,需要使用很多系统和计算框架,这就要求企业储备多方面的人才,导致人才成本较高,且出了问题难以排查,终端用户也需要熟悉多种语法。本文分析目前的数仓架构,探索离线和实时数仓是否能放在一起考虑,...
来自: 开发者社区 >博客

一套 SQL 搞定数据仓库?Flink有了新尝试

数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务,也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验,更有利于公司的科学决策,因此获取数据的实时性尤为重要。 目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构...
来自: 开发者社区 >博客

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个...
来自: 开发者社区 >博客
< 1 2 3 4 ... 6549 >
共有6549页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

云计算服务器排行榜 大数据产品榜单