技术原理
全量迁移 系统选择当前时间之前的一个时间点，将这个时间点之前的数据进行全量的数据复制迁移。增量数据同步 完成全量迁移后，基于全量迁移开始之前时间点的增量变更日志进行增量同步，最终原分库和目标分库数据实时同步。数据校验 增量...
各地域功能说明
在物联网平台使用规则引擎将设备数据转发至其他阿里云产品时，需确认目的云产品已经在该地域上线，并且支持相应格式数据的转发。本文介绍不同地域支持数据转发的目的云产品。背景信息 目前物联网平台的华东2（上海）、新加坡、日本（东京）...
各地域功能说明
在物联网平台使用云产品流转将设备数据转发至其他阿里云产品时，需确认目的云产品已经在该地域上线，并且支持相应格式数据的转发。本文介绍不同地域支持数据转发的目的云产品。背景信息 目前物联网平台的华东2（上海）、新加坡、日本（东京...
数据转发到另一Topic
工作原理 消息转发的云产品流转功能可以将Topic1中的数据转发到Topic2内。数据流转示意图如下。云产品流转可以将设备1的Topic1消息转发给另一个具备订阅权限设备2的Topic2，设备2订阅Topic2，即可接收设备1的Topic1消息，实现不同设备间的...
数据转发到消息队列RocketMQ
如果当前产品下设备与物联网平台之间的上下行消息量大于1,000 QPS，需要将设备上报至物联网平台的数据转发至您业务服务器的应用中进行消费（例如过滤、分析、存储等），可以使用云产品流转功能将物联网平台数据转发到消息队列（RocketMQ）...
数据转发到时序数据库（TSDB）
您可以配置数据流转规则，将处理过的数据转发到时序数据库（TSDB）的实例中存储。本文介绍将数据流转到数据目的地的完整流程。前提条件 已确认当前物联网平台实例及所在地域支持将数据转发到时序数据库（TSDB）。支持的地域详细信息，请...
数据转发到时序数据库（TSDB）
您可以配置数据流转规则，将处理过的数据转发到时序数据库（TSDB）的中。本文以物模型数据上报Topic为例，介绍流转消息数据的完整流程。前提条件 已确认当前物联网平台实例及所在地域支持将数据转发到时序数据库（TSDB）。支持的地域详细...
数据转发到函数计算（FC）
背景信息 使用规则引擎数据转发功能，将设备中的数据转发到函数计算，函数计算执行函数的业务脚本，最终实现丰富的业务功能。数据流转示意图如下。使用说明 目前，新版和旧版云产品流转功能均支持将数据流转到函数计算。旧版云产品流转使用...
数据转发到消息队列Kafka
您可以使用规则引擎，将物联网平台数据转发到消息队列（Kafka）中存储，从而实现消息从设备、物联网平台、Kafka到应用服务器之间的全链路高可靠传输能力。本文介绍将数据流转到数据目的地的完整流程。前提条件 已创建消息队列（Kafka）实例...
数据转发到其他Topic
工作原理 消息转发的云产品流转功能可以将Topic 1中的数据转发到Topic 2内。数据流转示意图如下。云产品流转可以将设备1的Topic1消息转发给另一个具备订阅权限设备2的Topic2，设备2订阅Topic2，即可接收设备1的Topic1消息，实现不同设备间...
数据转发到消息队列RocketMQ
如果当前产品下设备与物联网平台之间的上下行消息量大于1,000 QPS，需要将设备上报至物联网平台的数据转发至您业务服务器的应用中进行消费（例如过滤、分析、存储等），可以使用云产品流转功能将物联网平台数据转发到消息队列（RocketMQ）...
数据转发到消息服务（MNS）
当需要对设备数据进行复杂或精细化处理，且单个产品下所有设备或指定设备的消息量小于1,000 QPS时，可以使用云产品流转功能将物联网平台数据转发到消息服务（MNS）中，服务端再从消息服务主题中订阅消息，实现设备端与服务端之间高性能的...
ListParserDestination
调用该接口查询指定解析器关联的数据目的列表。QPS限制 单个阿里云账号调用该接口的每秒请求数（QPS）最大限制为10。说明 RAM用户共享阿里云账号配额。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
数据转发到消息队列Kafka
您可以使用规则引擎，将物联网平台数据转发到消息队列（Kafka）中存储，从而实现消息从设备、物联网平台、Kafka到应用服务器之间的全链路高可靠传输能力。本文以物模型数据上报Topic为例，介绍流转消息数据的完整流程。前提条件 已创建数据...
概述
背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形...
冷热分层
通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
主备方案介绍
A：不会，双向同步中会根据集群ID区分是数据同步写入的数据还是客户端写入的数据，保证数据不会循环发送。Q：目标实例出现异常无法写入时，LTS是否会缓存数据？A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，...
创建ClickHouse数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
独享数据集成资源组
功能介绍 独享数据集成资源组的功能亮点如下：支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据...
MongoDB 4.0
如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库小版本升级至最新版。升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库...
添加转发到的数据目的
使用限制 每个数据目的中最多添加1个数据转发操作。云产品流转功能支持的数据目的，请参见 数据流转目的列表。配置数据流转解析器时，可以关联已添加的多个数据目的，作为数据正常或异常流转的目的。解析器脚本中需使用对应的数据流转函数...
数据源权限管理
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
在GDB控制台清除实例数据
当图数据库GDB实例中的数据不再使用但需要保留该实例时，您可以通过图数据库GDB提供的清除数据功能清除实例中的数据。本文介绍在图数据库GDB控制台上清除图数据库GDB实例数据的方法。注意事项 清除实例数据后仅保留实例账号信息，且清除的...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
数据质量教程概述
在整体数据链路的处理过程中，为保证最终产出数据的质量，您需要对数据仓库ODS、CDM和ADS层的数据分别进行监控。数据仓库分层的定义请参见 数仓分层。本教程基于 搭建互联网在线运行分析平台 教程，ods_user_trace_log、dw_user_trace_log...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
概述
例如，实例中创建了2021年01月01日00:00:01的数据备份集以及该时间之后的日志，则可以恢复2021年01月01日00:00:01以来任意时间点（精确至秒）的数据。备份方式 PolarDB-X 支持自动备份与手动备份两种方式。自动备份：系统自动定期触发的...
管理Agent
数据库审计提供了Agent管理功能，使用该功能您可以设置Agent占用服务器资源的阈值，根据您的需要进行挂起、唤醒或停止Agent等操作。本文介绍管理Agent支持的具体操作。前提条件 已在您的服务器中安装Agent。具体操作，请参见 部署Agent程序...
技术发展趋势
IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值的时代已经来临，并逐渐取代了从模拟数据向数字化转变的时期；产生、使用和管理对生活产生...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
查询概述
通过使用Catalog，您可以快速访问和分析存储在外部数据源中的数据，从而实现更加灵活和全面的数据管理和分析。SelectDB也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成SelectDB中的表，...
- 产品推荐
- 这些文档可能帮助您