数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
数据质量教程概述
完整性 完整性是指数据的记录和信息是否完整、不缺失。数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工...
查看元数据
表 页签：展示当前数据库下的所有表和物化视图，单击对应的表名称，可以逐层查看相关的表信息（包括表的大小、缓存数据大小和类型）、分区信息、节点分片情况和分片信息。此外，还支持按表大小排序的功能，允许您按升序或降序显示这些信息...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
导入数据至维表
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
什么是OceanBase
数据编码是基于数据库关系表中不同字段的值域和类型信息，所产生的一系列的编码方式，它比通用的压缩算法更懂数据，从而能够实现更高的压缩效率。高兼容：兼容常用MySQL/ORACLE功能及MySQL/ORACLE前后台协议，业务零修改或少量修改即可从...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
PolarDB PostgreSQL版（兼容Oracle）间的迁移
背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个新版本的发布都带来了许多改进和新特性，以提高性能、可用性和安全性。目前，升级到 PolarDB PostgreSQL版（兼容...
什么是云数据库HBase
代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV Key和Value HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL（参见Lindorm产品）存储量大、分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...
面临的业务挑战
这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑增加了企业存储和使用数据的成本。分析不实时 企业运营的形式越来越多样化，...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
IoT数据自动化同步至云端解决方案
物联网、大数据和云计算作为当前第三次信息化浪潮的代表技术，将在未来形成广泛的影响。物联网专注于物物相连，大数据专注于数据的价值化，云计算则为大数据和物联网提供计算资源等服务支持。大数据是物联网体系的重要组成部分。物联网的...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
增强E-R
E-R图能较好的描述业务数据中的关联关系、数据库存储表和字段之间的依赖和关联关系，并通过此关系将业务或数据库存储的逻辑关系沉淀到数据库设计中。随着业务规模的增大和数据库外键性能的降低，越来越多的系统设计采用应用系统来保障业务...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
创建元数据
背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接读取到数据源的数据，因此在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据。...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
什么是RDS MySQL
有关阿里云关系型数据库RDS MySQL更多介绍信息，请查看 产品详情。基本概念 实例：一个独立占用物理内存的数据库服务进程，用户可以设置不同的内存大小、磁盘空间和数据库类型。其中内存的规格会决定该实例的性能。实例创建后可以变更配置...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
应用场景：低成本历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
什么是数据库自治服务DAS
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
快速体验
主要操作流程 操作目的 维度建模 使用DataWorks的 智能数据建模 完成对业务数据仓库的模型规范制定及数据分层、数据域、业务过程等信息的设定，完成逻辑模型的设计，并将逻辑模型发布生成物理表。DataWorks智能建模会将创建的模型表发布到...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
长周期指标的计算优化方案
改进思路：维护一张店铺商品和买家购买关系的维表A，记录买家和店铺的购买关系、第一次购买时间、最近一次购买时间、累计购买件数、累计购买金额等信息。每天使用最近1天的支付明细日志更新表A的相关数据。计算老买家数量时，判断最近一次...
新建离线自定义源类型
背景信息 RDBMS数据库即关系型数据库，如Mysql、Oracle、SqlServer等。通常，关系型数据库的链接方式一样，包括数据库驱动和配置项（链接地址、登录的用户名和密码）。Dataphin已提供RDBMS类型数据库的默认数据源配置项，您只需要准备数据...
新建离线自定义源类型
背景信息 RDBMS数据库即关系型数据库，如Mysql、Oracle、SqlServer等。通常，关系型数据库的链接方式一样，包括数据库驱动和配置项（链接地址、登录的用户名和密码）。Dataphin已提供RDBMS类型数据库的默认数据源配置项，您只需要准备数据...
血缘查看
使用DataWorks数据地图查看表或数据服务API时，可在对应的详情页面查看详细的血缘信息，这对于数据溯源及管理有很大帮助，本文为您介绍数据地图的血缘查看能力。表血缘 查找某张表并进入表详情页面后，您可以单击 血缘信息 页签，查看表级...
功能简介
支持展示数据表资产基本信息、扩展信息、字段信息、数据预览、血缘关系和数据质量等信息，并提供申请数据表使用权限的功能。支持展示API基本信息、扩展信息、接口信息、血缘信息，并提供申请API使用权限的功能。支持展示指标基本信息、扩展...
功能简介
支持展示数据表资产基本信息、扩展信息、字段信息、数据预览、血缘关系和数据质量等信息，并提供申请数据表使用权限的功能。支持展示API基本信息、扩展信息、接口信息、血缘信息，并提供申请API使用权限的功能。支持展示指标基本信息、扩展...
概述
配置循环SQL节点 跨库Spark SQL 基于Spark引擎，实现大规模跨库数据传输和数据加工，主要针对各类跨库数据同步和数据加工场景。配置跨库Spark SQL节点 Lindorm Spark 通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、...
- 产品推荐
- 这些文档可能帮助您