概述

业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库,随着业务数据的增长,业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算...

数据迁移操作指导

数据迁移可以帮助您实现同构或异构数据源之间的数据迁移,适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文介绍数据迁移功能的使用流程,帮助您快速掌握创建、监控、管理数据迁移任务的操作。背景知识 迁移...

资产全景

流动模式展示数据的流入、整合与输出过程,体现数据中台能力。结构化模式,以不同形状的物料组件表示业务实体,以不同样式的连线表示实体间不同的业务过程关系。为您清晰展示同一业务板块下的数据结构。全局模式 登录Dataphin控制台。在...

订阅方案概览

数据订阅功能可以帮助您获取数据库的实时增量数据,您可以根据自身业务需求自由消费增量数据,并写入任意目标端,实现各类业务场景,例如缓存更新、业务异步解耦、异构数据数据实时同步及含复杂ETL的多种业务场景。说明 DTS控制全面...

图层配置项说明

在数据页签,不同的图层在数据面板上的配置内容不一样,图层可分为基底数据图层和业务数据图层两类。基底数据图层:在基地数据图层数据面板,您可以单击面板内的重新选择数据,打开选择范围对话框,重新选择仅针对当前图层对应的数据...

最佳实践

选择数据源及物理表,输入元数据名称在业务定义配置数据分析需要用到的维度和指标,此处需要注意的是如果元数据有日期维度,则必须要指定日期维度的格式,并在日期维度下拉框选择对应的维度。选择需要用到的指标和维度,将其逐个...

业务切换流程

为最大化地减少数据迁移对业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于迁移或已完成状态,配置案例请参见DTS数据迁移方案概览。注意事项 由于执行业务切换操作需要...

业务切换流程

为最大化地减少数据迁移对业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于迁移或已完成状态,配置案例请参见DTS数据迁移方案概览。注意事项 由于执行业务切换操作需要...

概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义业务板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

半结构化分析

其中,JSON数据类型直接存储输入文本,会保存JSON数据中语义无关的空格,并且会保持JSON对象键的顺序,以及JSON数据中重复的键和键对应的数据。对于重复键在查询的时候会将最后一个遇到键的值当作有效值。JSONB数据类型则是以二进制格式来...

订阅方案概览

数据订阅功能可以帮助您获取数据库的实时增量数据,您可以根据自身业务需求自由消费增量数据,并写入任意目标端,实现各类业务场景,例如缓存更新、业务异步解耦、异构数据数据实时同步及含复杂ETL的多种业务场景。说明 DTS控制全面...

资产地图

资产地图基于业务板块、数据域、维度、业务过程和所属项目的关联关系,集中为您展示数据。同时,资产地图支持搜索、访问及收藏等功能,为您提供高效、快捷、准确的数据查找入口。页面介绍 登录Dataphin控制。在Dataphin控制页面,选择...

应用场景

实时通道通过数据总线,业务数据能够实时汇入大数据系统,缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据,实时清洗并归一化通过数据总线和实时计算,您可以把多种数据源的异构数据实时清洗成统一的结构化数据,为进一步...

概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。背景信息 Dataphin数据服务旨在为企业搭建统一的数据...

新零售:特步

解决方案 通过PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线,通过垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性。通过这套架构...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

数据可视化概览

实时运营监控 通过DMS数据工厂把业务数据实时同步到ADB或RDS分析库,再基于分析库之上构建可视化,可实时观察运营状态,衔接各个环节流程,对比检测异常情况,处理关键环节问题。提供透视驱动与图表驱动两种图表配置模式,满足不同的应用...

确定需求

本教程以A公司的电商业务为例,梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块,每个板块的需求和数据应用都不同。您在构建数据仓库之前,首先需要明确构建数据仓库的业务板块和需要具体满足的...

添加DataWorks数据服务数据

本文介绍在DataV添加DataWorks数据服务数据源,并将通过DataWorks数据表生成的API,快速地展示在DataV可视化大屏的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...

基础架构

后台定时调度任务为用于定时获取用户指定的数据(如数据趋势),数据管理后台将统一定义调度各项任务对各项业务数据进行采集,提供查阅和分析。连接层连接层为数据管理的访问数据的核心部件,主要包含如下几点:兼容MySQL、SQLServer、...

典型应用场景

将深耦合业务优化为通过实时消息通知实现的异步耦合,让核心业务逻辑更简单可靠,具体调整为:该场景,买家下单系统只要完成下单操作,就直接返回,底层通过DTS的数据订阅实时获取订单系统的变更数据业务通过SDK订阅这些变更数据,并...

逻辑结构说明

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。维度 人们观察事物的角度,是指一种视角,是确定事物的多方位、多角度、多层次的条件和概念。业务过程 业务过程即企业的业务活动事件...

名词解释

物联网数据分析相关产品名词的详细说明。名词解释Link Analytics物联网数据分析产品LA(Link ...业务修饰词用于描述指标汇总的业务数据。T+1调度按照T+1方式计算存储备份的数据。数据罗盘用于提供全生命周期、多维度地呈现设备情况的能力。

版本发布记录

规格及定价 数据字典 支持控制配置数据字典,当业务有常量数据或者业务数据可以划分为业务事实表和业务维度表,通过数据字典来替代维度表,直接查询字典获得维度数据,增加查询效率。数据字典 资源队列 解决开源版单个大查询消耗资源...

什么是数据传输服务DTS

迁移方案概览 数据迁移功能特性 数据集成 数据集成功能作为数据迁移功能的延伸,可根据调度策略的配置,定期地将源库的结构和存量数据迁移至目标库,帮助您构建更加灵活的数据仓库(例如构建T+1的周期性数仓)。配置RDS MySQL间的数据...

在DataV展示ARMS监控数据

本文档为您介绍如何在ARMS控制创建数据源,并在DataV展示ARMS监控数据。背景信息 业务实时监控服务(Application Real-Time Monitoring Service,简称ARMS)是一款APM类的监控产品。用户可基于ARMS的前端、应用和自定义监控功能,快速...

核心概念

项目 项目是一种物理空间上的划分,便于用户在数据中台建设过程中对物理资源及开发人员进行隔离化管理。一个业务板块可以包含多个项目,Dataphin成员可以加入到多个不同的项目。一个业务板块可以有多个项目,但是一个项目只能属于一个业务...

通过DTS实现数据库的垂直拆分

双写方案 说明 可以实现业务的灰度切流,最大限度保证业务不受影响,但您需要先改造业务的应用程序,使应用程序的相关数据能够同时写入源和目标实例的数据库B。配置源和目标实例的数据迁移任务,迁移对象选择为数据库B,配置案例请参见...

划分数据

例如A公司电商营销业务板块可以划分为如下数据域,数据每一部分都是实际业务过程经过归纳抽象之后得出的。数据业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下...

数据订阅(旧版)

实时数据订阅功能旨在帮助用户获取RDS MySQL、DRDS的实时增量数据,您可以根据自身业务需求自由消费增量数据,搭建/实现多种业务场景,例如缓存更新策略、业务异步解耦、异构数据数据实时同步及含复杂ETL的数据实时等。支持的数据库、...

快速入门

通过机器人查询分析新冠疫情数据本例场景:通过在阿里云RDS数据中已有的T+1疫情数据为数据源,定制每日疫情简报推送给企业内部人员,包含疑似和确诊人数,绘制趋势变化。另外,企业人员也可以通过对话端(企业可以根自己部署的IM进行集成,...

结束数据迁移任务

对于需要停止或迁移失败(不再需要)的任务,您可以结束数据迁移任务,避免源数据库的数据覆盖写入至目标数据。前提条件 数据迁移任务处于迁移、已暂停、迁移失败状态。影响 结束数据迁移任务后,数据迁移任务将处于已完成状态,处于...

应用场景

设备通过工业接口协议将自身状态数据和生产业务数据接入工业设备网关,然后通过 MQTT 协议发送到物联网平台,继而传输到云上的消息服务系统并经过流计算系统处理后写入 TSDB,完成时序数据的存储和分析。系统运维和业务实时监控 通过对大...

释放数据迁移项目

背景信息OceanBase 数据库提供全量数据迁移和增量数据同步功能,支持迁移源数据库业务数据至新数据库,并实时维护两个数据库之间的同步链路。如果您决定不再需要同步数据,可以暂停并手动释放迁移项目,以节省资源。使用限制OMS 不...

划分数据

划分数据域,需要分析各个业务模块有哪些业务活动。数据域,可以按照用户企业的部门划分,也可以按照业务过程或者业务板块的功能模块划分。例如,A公司电商营销业务板块可以划分为如下表所示的数据域。数据的每一部分,都是根据...

规范定义最佳实践

在您开始使用Dataphin进行数仓模型设计前,需要完成业务调研、需求分析、构建总线矩阵(从业务数据中抽象出业务过程和维度)、明确并定义统计指标。本教程中假设已完成需求调研、业务分析和构建总线矩阵,带您体验明确并规范定义统计指标,...

T+1多库合并建仓

为保证业务可以继续使用RDS数据库,业务端通常会采用分库分表技术,将一个RDS数据的单张表数据拆分到多个数据库的多张表。上述方案可解决因数据量大而导致的用户体验问题,但在对分库分表数据进行大数据分析时,逻辑上的一个表被拆成...

入湖基础操作

可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖,选择在数据源管理配置好的数据源,将数据源对应数据选定表的数据全量同步到OSS,如果待同步表中数据量大,则所消耗的资源也会比较大,建议在业务低谷期执行此类任务,...

资产安全概述

应用场景 基于Dataphin实现数据安全保护的一些典型的场景:场景1:业务数据中敏感数据保护您可以使用资产安全的敏感数据识别和保护功能,脱敏明文敏感数据,保证业务数据安全。例如,姓名张三脱敏后*三。场景2:开发环境数仓建设敏感数据从...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折