应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
受众与核心能力
数据地图（公共云）/数据管理（专有云）：提供强大的数据搜索、数据类目、数据血缘等能力。数据资产管理（仅专有云）：统一管理整个平台的数据表、API等各类数据资产。数据安全：数据脱敏、权限控制等能力。应用开发（仅公共云）：基于Web...
典型场景
构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建大规模的可以增删改查的数据集，延迟为T+10分钟。一键建仓：支持数据库一键入湖，T+1天。文件上传：数据上传后，DLA元数据发现功能可自动发现并构建好元数据体系。数据...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
应用场景
数据审计 智能解析数据库及大数据的通信流量，细粒度审计数据访问行为，通过对数据源全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警，为您最敏感的数据库资产做好最安全的监控保障。个人信息合规 可精准区分和保护个人数据，...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
应用场景
MongoDB提供二级索引功能满足动态查询的需求，利用MongoDB的map-reduce聚合框架进行多维度的数据分析。其他各领域应用 游戏应用：使用云数据库MongoDB作为游戏服务器的数据库存储用户信息。用户的游戏装备、积分等直接以内嵌文档的形式存储...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
SQL查询
支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、AnalyticDB for PostgreSQL、MySQL。...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
OSS数据安全防护最佳实践
您可以使用 DSC 内置算法规则，或根据其行业特点自定义规则，对其存储在OSS中的数据进行整体扫描、分类、分级，并根据结果做进一步的安全防护，如利用OSS的访问控制和加密功能等。数据脱敏 数据进行对外交换供用户分析或使用时，未进行脱敏...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
概述
数据同步：数据同步属于持续性动作，项目创建后会一直同步数据，保持源端和目标端的数据一致性，实现关键业务的数据实时流动。您可以通过数据同步功能，实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、数据聚合和实时...
创建Hudi数据源
本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并...同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。
创建Hudi数据源
同步到Hive的数据库名称：填写同步到Hive的数据库名称。单击 确定，完成Hudi数据源的创建。重要 创建Hudi数据源时不支持测试数据源是否可以和Dataphin进行正常的连通，因此需要您确保连接信息的正确性。您可根据 网络连通解决方案 自行排查...
JindoFS实战演示
视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
数据量
数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储空间。ECS中为：购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库的数据文件在...
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
概述
仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座，确保...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
什么是数据库自治服务DAS
数据库的安全风险大 随着数据价值的提升，企业的数据面临着越来越多的内部或者外部的攻击，数据泄漏、数据丢失等问题层出不穷。未授权或者不可预期或者错误的数据库访问和使用。数据泄漏。数据损坏。黑客攻击。软硬件bugs，导致数据异常。...
自媒体：易撰
业务端存在复杂查询，查询涉及的数据时间跨度大。单表10亿级数据，亿级数据需要多维度查询。业务端数据存储量大，TB级数据存储诉求，且数据量持续高速增长。业务端数据有更新诉求，对事务有强一致性要求。解决方案 通过 PolarDB-X+RDS的...
创建数据脱敏规则
若脱敏特征值相同则脱敏后的数据也是相同的。例如，原始数据为a123：脱敏特征值设置为0时，脱敏成b124。脱敏特征值设置为1时，脱敏成c234。脱敏特征值的默认值为5，可选范围0~9。（可选）替换字符集 当选择的 敏感字段类型 的识别规则为非...
基于Delta lake的一站式数据湖构建与分析实战
数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如 OSS等对象存储中，并对外提供统一的数据目录，支持多种计算分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。...
应用场景
数据通道：通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入HBase，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，自动化扩容。...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
概述
数据域 数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。数据域面向业务分析，一个...
修改组件数据
背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏...
修改名单抽奖数据
背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置...
修改名单抽奖数据
背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
数据建模：智能数据建模
适用场景 DataWorks智能建模可助力企业构建自身建模能力，挖掘企业的数据资产价值，例如：海量数据的标准化管理 企业业务越庞大数据结构就越复杂，企业数据量会随着企业业务的快速发展而迅速增长，如何结构化有序地管理和存储数据是每个...
- 产品推荐
- 这些文档可能帮助您