数据源概述
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...
使用DataWorks（离线与实时）
DataWorks离线同步为您提供 数据读取（Reader）和 写入插件（Writer）实现对数据源的读写操作（离线同步）。DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。DataWorks还为您提供多种...
支持的数据源及同步方案
DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）实现对数据源的读写操作。DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。DataWorks还为您提供多种数据源之间进行...
MySQL整库实时同步至OSS数据湖
已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源...
Tomcat 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 Tomcat 连接池、OceanBase Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 tomcat-mysql-client 示例工程 前提条件 您已安装 OceanBase...
插件配置概述
阿里云Logstash支持100余款系统默认插件，包含开源和自研Logstash插件，能够提升集群在数据传输和处理、日志调试等各方面的能力。本文介绍阿里云Logstash支持的系统默认插件。阿里云Logstash仅支持系统默认插件，不支持自定义插件。系统...
常见问题
在没有脏数据的情况下，数据以batch方式写入。但是遇到了脏数据，正在写入的batch就会失败，并回退到逐行写入，生成大量的data part，大幅度降低了写入速度。您可以参考如下两种方式判断是否有脏数据。查看报错信息，如果返回信息包含 ...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
通过DataX导入数据
column 是 无 目的表需要写入数据的字段，这些字段将作为生成的JSON数据的字段名。字段之间用英文逗号分隔。示例："column":["id","name","age"]。preSql 否 无 写入数据到目的表前，会先执行这里的标准语句。postSql 否 无 写入数据到目的...
快速入门
操作步骤 代码示例下载，lindorm-ganos-sample。下载解压后进入lindorm-sample目录，执行以下语句。mvn install-Dmaven.test.skip=true-s./settings.xml 编译成功后，在target目录下生成 lindorm-sample-1.0.0.jar。代码示例说明。以AIS...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
快速入门
SparkDemo:从HBase Ganos读取数据，转换为Spark DF模型，并基于SparkSQL进行空间查询等操作。依赖配置 可以选择使用GeoMesa客户端或Ganos客户端，其中Ganos客户端支持更加丰富的特性。GeoMesa客户端 HBase Ganos兼容开源的GeoMesa客户端，...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
TPC-H
复杂关联分析：多表Join、相关查询、数据多维过滤和高精度数值计算等，不仅对优化器是挑战（如何解相关、选择最优Join顺序、选择表的分发方式等），对计算引擎的实现也是挑战（内存管理、代码生成、执行调度等）。大批量实时写入：亿级数据...
Java SDK快速入门
使用宽表模型时，关于创建表、写入数据和读取数据的更多信息，请参见 创建数据表、创建加密表、写入数据、读取数据。相关API信息，请参见 CreateTable、PutRow 和 GetRow。使用时序模型时，关于创建表、写入数据和读取数据的更多信息，请...
RDS MySQL I/O高问题
高吞吐导致实例I/O高 现象 如果表上有很多索引或大字段，频繁地更新、删除、插入，读取数据和刷新脏页时会有大量的I/O。您可以在控制台的 自治服务>性能趋势 页面，单击 性能趋势 页签，查看读写负载情况。解决方案 建议降低读写频率或升级...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
SmartData常见问题
JindoFS SDK和缓存模式完全兼容阿里云OSS，通过这两种方式您可以通过OSS产品提供的API和SDK，直接读取写入OSS的文件。缓存模式需要部署和配置Jindo分布式缓存服务，打开数据缓存开关，而JindoFS SDK则不需要。如果缓存服务出现故障，系统...
Spark流式写入Iceberg
本文为您介绍如何通过Spark Structured Streaming流式写入Iceberg表。前提条件 已在E-MapReduce控制台上，创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群。已在E-...
功能更新动态（2022年之前）
系统通过项目粒度的方式，管控项目中的元表和物理表的读取和写入数据的权限申请。规避了审批者误操作，导致的数据泄露与安全问题。2020年9月17日 华东2（上海）、华南1（深圳）和华北2（北京）创建项目 编辑项目 Dev-Prod开发模式中，新增...
Spark的数据写入至Hologres
本文为您介绍如何通过Spark读取或写入数据至Hologres的操作方法。背景信息 Spark是用于大规模数据处理的统一分析引擎，Hologres已经与Spark（社区版以及EMR Spark版）高效打通，快速助力企业搭建数据仓库。Hologres提供的Spark Connector，...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
数据版本和生命周期
在属性列中写入数据时，如果未设置版本号，则系统会自动生成数据的版本号，您也可以自定义数据的版本号。由于版本号的单位为毫秒，在进行TTL比较和有效版本偏差计算时，需要除以1000换算成秒。当由系统自动生成数据的版本号时，系统默认将...
通过缓存优化性能
强制缓存 CACHE 和 SELECT.cache+任何实现缓存的操作和.persist.可用性 可以通过配置标志启用或禁用，在某些节点类型上禁用。始终可用 驱逐 在任何文件更改时自动执行，重新启动集群时手动执行。以LRU方式自动执行，使用unpersist手动...
RestAPI Reader最佳实践
背景信息 DataWorks数据集成RestAPI Reader在读取数据和返回读取结果的能力如下。维度 能力支持 返回值类型 当前仅支持JSON格式的返回结果。读取数据类型 支持读取INT、BOOLEAN、DATE、DOUBLE、FLOAT、LONG、STRING数据类型。请求方式 支持...
采集数据
前提条件 已为您准备该实验所需的用户信息数据和用户网站访问记录数据，并分别存放于平台提供的RDS MySQL及OSS上，您可直接在DataWorks注册使用。无需单独开通RDS服务与OSS服务，无需单独准备测试数据，但需自行创建DataWorks工作空间，并...
Tablestore数据源
使用限制 Tablestore Reader和Writer插件实现了从Tablestore读取和写入数据，包含 行模式、列模式 两种数据读取与写入方式，可针对宽表与时序表进行数据读取与写入。列模式：在Tablestore多版本模型下，表中的数据组织为 行>列>版本 三级的...
采集数据
前提条件 已为您准备该实验所需的用户信息数据和用户网站访问记录数据，并分别存放于平台提供的RDS MySQL及OSS上，您可直接在DataWorks注册使用。无需单独开通RDS服务与OSS服务，无需单独准备测试数据，但需自行创建DataWorks工作空间，并...
配置跨库Spark SQL节点
Spark SQL语句如下：INSERT INTO mysql_db.orders_month SELECT*FROM adb_dw.orders_month WHERE dt=${bizdate} 跨库数据加工：跨多个库的数据写入到在线库中，实现在线应用中直接查询数据的功能。示例：某电商企业的交易数据保存在MySQL...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
专业术语
shard 一个shard包含真实数据和压缩数据，shard由磁盘中的TSM文件表示。每个shard只属于一个shard group，一个shard group可以有多个shard。每个shard包含一组特定的序列（series）。一个给定的shard group中的一个序列中的所有数据点都...
X-Engine最佳实践
阿里图片空间信息库 阿里巴巴集团图片空间是淘宝智能图片中心面向商家提供的免费图片存储管理服务，由于淘宝、天猫主站上累积的用户图片数据量非常大，图片空间业务也面临非常巨大的存储空间和写入性能压力，尤其每年双11之前，商家大量...
DataWorks On Hologres使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至Hologres的能力，您可将其他数据源的数据同步至Hologres数据源，或将Hologres数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务等场景...
通用云盘IO加速功能技术介绍
在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入IO突发和IO加速功能，提升了RDS实例的IO性能。更多信息，请参见 什么是通用云盘。IO加速功能介绍 缓存池（Buffer Pool）作为...
代码示例
该示例指定AIS轨迹点数据集目录，读取数据并以分段二级索引模型存储轨迹，以ID为主索引，xz2t为二级索引创建表"traj"并写入数据。分段策略为每50个点划分一段（目前支持BY_DURATION、BY_DISTANCE、BY_ANGLE、BY_COUNT四种分段策略，可以...
DataWorks On MaxCompute使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务...
2023年
2023-02-01 全部地域 使用标签分账 2023-01 功能名称 功能描述 发布时间 发布地域 相关文档 支持Hologres外部表存储直读 支持Hologres存储直读，直读Hologres存数据时可以减少Hologres的连接数和提高读取数据的速度。2023-01-21 全部地域 ...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
通用云盘IO加速功能
如果您希望提升磁盘IO效率和系统的响应速度，可以使用RDS MySQL通用云盘的IO加速功能，该功能可以帮助扩展缓存池的大小，实现缓存加速，提升RDS实例的整体读写性能。本文介绍IO加速功能的技术原理、使用方法和性能测试详情等信息。背景 将...
- 产品推荐
- 这些文档可能帮助您