应用场景
1.2 收益 系统解耦 对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦。实时通道 通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期。2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过...
功能概览
1.4 生态融合 系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Db2的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1024
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Vertica的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL ...否 insert batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与SQL Server的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
数据引入层（ODS）
业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，您需要首先了解MaxCompute支持的 数据类型版本说明。数据引入层表设计 本教程中，在ODS层主要包括...
数据引入层（ODS）
业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。说明 在构建MaxCompute数据仓库的表之前，您需要首先了解MaxCompute支持的 数据类型版本说明。数据引入层表设计 本教程中，在ODS层主要包括...
公共规范
数据类型规范 ODS层的数据类型应基于源系统数据类型转换。例如，源数据为MySQL时的转换规则如下。MySQL数据类型 MaxCompute数据类型 TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE ...
功能特性
Hudi存储 数据导入与导出 功能集 功能 功能描述 参考文档 大数据数据源 Maxcompute数据源 AnalyticDB for MySQL支持通过外表、DataWorks两种方式将MaxCompute数据导入至数仓版或湖仓版集群，也支持通过外表将AnalyticDB for MySQL数仓版...
备份策略
您应确保您的数据传输符合所有适用法律，包括提供充分的数据安全保护技术和策略，履行获得个人充分明示同意、完成数据出境安全评估和申报等法定义务，且您承诺您的业务数据不含任何所适用法律限制、禁止传输或披露的内容。若您未遵守上述...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
相关的云服务
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
支持的云服务
AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）是海量数据实时高并发在线分析（Realtime OLAP）云计算服务，与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘，产出高质量...
Memcache（OCS）数据源
Memcache（原名OCS）数据源为您提供其它数据...否 0，0永久有效 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与MySQL的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
计费说明
每日任务实例数（个/天）100 1000 10000 100000 500000 系统计算资源√自定义计算资源×服务规格 阿里云工单系统√钉钉大群5*8答疑服务×钉钉专属群×配置费用 新客专享 1元/首月 500元/月 3000元/月 6000元/月 240000元/年 说明“√”表示...
续费
Dataphin服务到期之后，为不影响您的正常使用，建议您在14天之内完成续费操作，期间系统将暂停所有的任务，但会为您保留数据和资源。若您14天内未完成续费，系统将会清空所有任务并释放资源，详情请参见 到期提醒与停机策略。说明 续费时不...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
购买指引
每日任务实例数（个/天）100 1000 10000 100000 500000 系统计算资源√自定义计算资源×服务规格 阿里云工单系统√钉钉大群5*8答疑服务×钉钉专属群×说明“√”表示支持，“×”表示不支持。购买时长：各版本购买时长各异。说明 试用版仅...
备份恢复计费说明
计费项 免费额度 7 天内免费项说明 区域 数据备份与日志备份 0.5*N N 为数据库当前使用的存储总量大小。备份总大小数据存储大小（N）*0.5 倍，无需支付额外的备份费用。中国内地、中国香港、新加坡、马来西亚（吉隆坡）、印度尼西亚...
互联网教育：尚学博志（上海）教育科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍尚学博...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
调度周期：月调度
月调度是指调度任务在每月的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每月一号、二号执行。...每月月底调度的任务在执行补数据操作时应选择业务时间为月末的前一天。若补数据选择业务时间为其他时间，补数据实例将空跑。
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
客户案例
客户诉求 帮助企业和开发者解决数据系统独立，无法融合分析的问题。帮助企业和开发者解决BI分析系统灵活性与业务可用性难以平衡的问题。解决方案 友盟+联合MaxCompute构建开发者数据银行，为企业提供面向分析的、实现友盟域数据与企业私域...
ODS层设计规范
日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否保留特殊日期数据。ODS镜像型全量表 按天分区 重要的业务表及需要保留历史的表视情况保存。ODS全量表的默认生命周期为2天，...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
存储费用
MaxCompute会对存储的数据（例如表或资源）及备份的数据，按照数据容量大小进行计费。本文为您介绍存储费用的计费规则。背景信息 MaxCompute数据的压缩比一般在5倍左右，因此多数情况下，您上传的数据文件大小与实际存储在MaxCompute的大小...
实验介绍
数据加工 使用 DataWorks数据开发（DataStudio）模块，将日志数据通过函数正则等方式拆解为可分析字段，并与用户信息表加工汇总产出基本的用户画像数据，并提交调度系统，结合DataWorks调度参数实现周期性数据清洗操作。学习如下内容：如何...
阶段一：基础防护建设
通过管理者身份，可以实现系统与阿里云的单点登录集成。例如：管理者可以在云上维护几个RAM角色，既可支持大量开发人员从本地SSO扮演角色进行开发工作，也可从操作审计日志中追踪到扮演者。调度访问身份权限较大，管理者可以将RAM角色配置...
- 产品推荐
- 这些文档可能帮助您