离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
Java SDK Demo
演示如何使用Java SDK操作数据湖分析的spark作业*@author aliyun*/public class Demo {/*提交一个SQL作业到数据湖分析Serverless Spark*@param virtualClusterName 数据湖分析虚拟集群名称*@param sql sql内容*@return Spark JobId,提交...
数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
概览
quota 中为当前限流规则，上图的规则是将读数据操作和写数据操作的阈值分别设置为20000CU和10000CU。单击 确定。可选：单击限流规则后面的 删除，删除当前限流规则。删除表 警告 数据表 一旦删除无法恢复，在进行删除操作前，请确保您的...
概述
例如，您可以编写基于Java的后端逻辑流操作，实现对复杂嵌套数据结构的转换和处理。关于如何自定义逻辑流操作，详细操作请参见 开发流程。自定义模块 当您需要对一个特定领域的问题创建一个完整的解决方案时，您可以尝试使用自定义模块将...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
Kafka兼容说明
流引擎的流表兼容Kafka协议，支持通过开源Kafka客户端写入数据，也支持通过Kafka生态工具将MySQL、日志等数据投递至流引擎。本文介绍通过开源Kafka客户端将数据写入流表的操作步骤。操作步骤 获取流引擎连接地址。具体操作，请参见 查看...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
CREATE STREAM
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
设置限流降级
查看监控数据 存量应用：在左侧导航栏，选择 限流降级（仅支持Java）>应用概览，在 应用概览 页面查看。新增应用：在左侧导航栏，选择 微服务治理>限流降级，在 应用概览 页签查看。应用概览 该页面会动态刷新，展示应用的QPS、RT、CPU数据...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和...查看服务 在数据列表，单击目标数据 操作 列的 更多，选择 查看服务，查看已经发布的服务，详细操作，请参见 查看服务。
DROP STREAM
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
开通数据订阅
操作步骤 数据订阅功能需要在控制台完成两次开通操作，分别购买流数据节点和LTS节点。购买流数据节点 说明 如果您的实例已开通流引擎，则不涉及该步骤。登录 Lindorm管理控制台。在页面左上角，选择实例所属的地域。在 实例列表 页，单击...
前言
BucketReplicationSample.java 数据复制 BucketTransferAccelerationSample.java 传输加速 CreateFolderSample.java 简单上传 PostObjectSample.java 表单上传 说明 PostObject 的实现不依赖Java SDK。AppendObjectSample.java 追加上传 ...
补数据实例运维概述
对周期任务发起补数据操作后，将根据实例的调度类型产生不同的补数据实例，包括待生成实例、已生成实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。名词解释 待生成实例：将在未来时间段生成实例并提交...
补数据实例运维概述
对周期任务发起补数据操作后，将根据实例的调度类型产生不同的补数据实例，包括待生成实例、已生成实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。名词解释 待生成实例：将在未来时间段生成实例并提交...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
在GDB控制台清除实例数据
如果目标实例下存在只读实例，清除目标实例数据的同时，只读实例的数据会被同步清除，建议您先确保目标实例和只读实例中的数据均不需要使用，然后进行清除数据操作。清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议...
包年包月
本文介绍使用流数据服务Confluent包年包月模式下的注意事项。包年包月计费是一种需要先付费才能使用资源的计费方式，主要适用于长时间稳定的业务运行场景。您需要根据实际业务量分析资源的使用需求，一次性支付一个月或者多个月的费用。...
操作审计
如何获取界面一些操作审计日志，比如界面下载数据操作？重要数据如何通过事前设置来获得事后溯源能力？MaxCompute表权限的权限审计 表数据，节点删除如何恢复？如何进行节点版本对比与版本回滚？如何获取界面一些操作审计日志，比如界面...
数据服务
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成数据开发操作，具体信息请参见 数据开发。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 ...
概述
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
任务流运维
操作步骤 登录 数据资源平台控制台。在菜单栏左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 任务流。在 任务流列表 页面，单击目标任务流“对象[kh]加速”操作 ...
访问CDC数据
C：新增数据操作。U：更新数据操作。D：删除数据操作。无需配置，Schema中包含默认配置值。cdc_timestamp_lindorm long 该操作记录被Lindorm引擎处理的时间戳。单位为毫秒。spark.sql.catalog.lindorm_cdc.lindormTsEnabled_cdc_timestamp_...
将时空数据写入宽表引擎
写入数据，使用Kafka客户端写入数据到数据流表，具体操作请参见 通过开源Kafka客户端写入Lindorm流引擎数据。完整的代码示例如下：import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer....
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
添加入库任务
在 数据管理 页面，单击目标数据 操作 列的 入库。在 入库 面板，配置入库任务名称、入库目标表和入库选项。配置完成后，单击 确定。跳转到 入库任务 页面，等待任务运行完成，则数据入库成功。说明 如果入库任务运行异常，在入库任务列表 ...
内置全密态能力
安全隔离 各实体自身数据库数据明文只有自身可见，合作实体间的数据库操作通过在可信执行环境中鉴权、执行，与按权限加密分发，实现基于全密态数据库的数据操作合作与隔离。多TEE支持 支持Intel SGX、FPGA神盾卡等不同可信执行环境TEE，...
连接方式概述
驱动 在连接 OceanBase 数据库的 Oracle 租户时，支持的驱动如下：Java 驱动（OceanBase Connector/J）OceanBase Connector/J 使用标准 Java 数据库连接(JDBC)API 为 Java 提供连接到 OceanBase 数据库的驱动程序。Java 数据库连接器（Java...
数据标准建模
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。操作步骤 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。单击 字段标准设计。...
DML操作
ArgoDB中的DML语句包括插入、更新和删除数据操作。本文为您介绍计算引擎为ArgoDB时Dataphin支持的DML操作语句。权限说明 Dataphin中使用DML语句需要具备写入表数据的权限。配置说明，请参见 申请、续期和交还表权限。目录 插入单条数据 ...
JavaSDK实现数据流分片上传的代码样例
详细信息 数据流分片上传中，需要对数据流进行clone操作，其中inputstream是不能重复读。以下是数据流分片上传的代码样例。说明 说明：代码中cloneInputStream是复制数据流的实现。import java.io.ByteArrayInputStream;import java.io....
上传数据
上传数据操作入口 您可以在数据开发的头部菜单栏、业务流程下的表分组或表管理页面中进行上传数据的操作，入口如下所示。在 数据开发 页面的头部菜单栏中。在 数据开发 页面业务流程下的表分组中。标准模式下，在 表管理 页面中，对开发表...
开通消息引擎
在 选择数据引擎 部分，按需选择 流数据节点规格 与 流数据节点数量。创建实例后开通消息引擎 在 实例列表 点击对应实例，进入 实例详情 页面，在左侧菜单选择 流引擎 标签页，点击 立即开通 按钮。在购买页面按需选择 流数据节点规格 与 ...
数据同步
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。数据同步 登录企业数据智能平台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择 快速入门 工作组。在左侧导航栏，单击 图标。获取物理表，具体步骤...
全增量同步任务运维
您可以在DataWorks 运维中心 的 查看周期实例 页面查看该同步任务Merge实例的执行情况，如果Merge任务和全量补数据操作产生冲突，您可以：暂停全量补数据操作，等待Merge任务执行完成后，再执行全量补数据操作。冻结即将运行的Merge实例，...
数据质量：全流程的质量监控
数据质量以数据集（DataSet）为监控对象，支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量提供历史校验结果的管理，...
数据资产管理
前提条件 已根据快速入门教程完成加载样例数据操作，具体信息请参见 样例数据。已根据快速入门教程完成物理化逻辑表操作，具体信息请参见 数据标准建模。已根据快速入门教程完成API资产上线操作，具体信息请参见 数据服务。新建资产目录 ...
- 产品推荐
- 这些文档可能帮助您