通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并将分析结果以邮箱的方式发送给指定用户。运行本案例后，您将得到Github中Top10编程语言每小时被提交的次数与排行。说明 手动配置与实际应用中的...
导入概述
导入方式 为适配不同的数据导入需求，StarRocks系统提供了5种不同的导入方式，以支持不同的数据源（例如HDFS、Kafka和本地文件等），或者按不同的方式导入数据，StarRocks目前导入数据的方式分为同步导入和异步导入两种。所有导入方式都...
表数据管理
查看数据 进入数据页签后，ODC 以表格的形式展示表中的数据，并导航栏中提供了以下功能键查看和管理表中的数据：功能 说明 编辑 单击编辑图标进入编辑态，以修改表中的数据。提交（Oracle 模式）Oracle 模式下自动提交默认设置为关（OFF）...
数据开发
查询数据表报错 您通过以下两种方式，查询数据表：如果您需要查询逻辑表，则执行以下命令。SELECT*FROM LD_newretail.dws_xnwd_03 WHERE ds='${bizdate}';其中，dws_xnwd_03 为逻辑表。LD_newretail 为业务板块的英文名称。如果您需要查询...
创建三维城市场景项目
三维城市构建器项目，支持通过使用 官方基底数据 和 空间构建数据 两种方式添加多个城市基底子组件和数据映射子组件。本文介绍两种创建三维城市构建器场景的方法。使用官方基底数据方式创建 在控制台内，单击切换到 三维城市构建器 页面，...
创建三维城市场景项目
三维城市构建器项目，支持通过使用 官方基底数据 和 空间构建数据 两种方式添加多个城市基底子组件和数据映射子组件。本文介绍两种创建三维城市构建器场景的方法。使用官方基底数据方式创建 在控制台内，单击切换到 三维城市构建器 页面，...
权限自查建议
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
数据仓库需求模板
约定项 填写内容 约定项 填写内容 时间窗口（历史数据要求）*存储周期*更新频率（日、周、月、小时、分钟、其它）*期望数据更新时间*数据验收人 待验收数据样本 数据验收方式 数据提供形式 物理表 数据文件 数据查询服务或接口 备注 NO....
修改数据复制方式
您可以根据自身业务特点，设置MyBase MySQL主备实例之间的数据复制方式，以提高数据库可用性。前提条件 实例要求如下：MySQL 8.0高可用版（本地SSD盘）MySQL 5.7高可用版（本地SSD盘）MySQL 5.6高可用版（本地SSD盘、ESSD云盘）复制方式...
接口说明
其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在的数据库列表。Result对象有columns、metadata、rows等3个字段，其中，columns为结果的列名集合，metadata为对应列的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
用户价值
数据服务更便捷：能够赋予数据以业务价值，让各级用户能够直观的理解数据，并以此为基础向应用输出多样、便捷的数据服务，不断提升数据面向业务的价值。数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低...
管理敏感数据
脱敏方式 请按需选择脱敏方式，当前支持的取值如下：半脱敏：数据将以对应的遮掩算法生成的形式展现。明文：数据将以明文形式展现。说明 若您申请了 半脱敏 的 导出 权限，您导出的数据也为半脱敏格式。期限 请按需选择您的申请期限。申请...
查询和修改数据复制方式
您可以根据自身业务特点，设置RDS MySQL主备实例之间的数据复制方式，以提高云数据库可用性。前提条件 实例满足以下条件：MySQL 5.7、8.0高可用系列（本地SSD盘）MySQL 5.7、8.0高可用系列（ESSD云盘），且内核小版本必须大于或等于...
无锁数据变更
当业务累积了大量数据时，需要对在线数据与历史数据进行分隔管理，或定期清除表中数据。DMS的无锁数据变更功能将结合表中的主键或非空唯一键，分批对表中的目标数据进行操作，在保证执行效率的同时，尽可能地减小了对数据库性能、空间的...
数据节点管理
背景介绍 PolarDB-X 的数据节点管理功能支持存储资源池和数据节点单独升降配，实现数据节点的精细化管理与资源隔离，以适应多样化业务场景需求，进而有效提升整体资源使用率。存储资源池，即将DN存储节点划分为互不交叉的池，支持在单个...
无锁结构变更
DMS为解决结构变更时的锁表问题而推出的无锁结构变更功能，能较好地规避因数据库变更导致锁表以至于阻塞业务的现象、以及数据库原生Online DDL带来的主备延迟现象。前提条件 实例的管控模式为稳定变更或安全协同。更多信息，请参见 管控...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
云数据库录入
本文介绍如何通过数据管理DMS录入阿里云数据库。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
常见问题
（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？Elasticsearch writer配置了Settings，...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
SQL结果集导出
水印嵌入方式 是 您可选择如下嵌入方式：数据水印：是指将标识信息通过一定方式嵌入到数据中，数据使用者难以察觉该水印信息。文件水印：是指将标识信息通过一定方式嵌入到文件中，数据使用者可以直接看到该水印信息。文件水印信息 是 请...
事务管理
比如对于Clustering操作和Insert into并发执行，即使事务Start和Commit时间出现交叉也不会冲突失败，因为Clustering操作虽然改变了数据组织方式，但没有改变数据本身的状态，和其他数据更新操作并没有影响一致性的冲突，因此允许并发执行。...
调整innodb_flush_log_at_trx_commit和sync_binlog...
背景 优化innodb_flush_log_at_trx_commit和sync_binlog参数的配置可以提高数据库的性能和数据安全性，参数作用如下：innodb_flush_log_at_trx_commit：控制MySQL实例在事务提交后，是否立即将日志缓冲数据更新至log file文件中，用于进行...
资源组介绍
区别如下：Interactive型资源组：工作原理：用户提交查询到前端节点后，Interactive型资源组的常驻计算资源会以XIHE MPP方式执行查询，响应时间较快，通常在毫秒级。XIHE MPP的详细信息，请参见 XIHE MPP引擎。适用场景：高QPS低RT的在线...
普通数据变更
数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...
表设计最佳实践
在写入数据前进行数据的采集和整合，整合好后，一次性提交数据（通常是每64 MB提交1次）。日志数据很少会对原来分区执行更新操作，可以用INSERT操作进行少量数据的插入，但通常需要限制插入次数。如果有大量的更新操作，需要采用INSERT ...
通过外表导入至数仓版
您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据，相较于Tunnel方式，Storage API方式可以 提高数据访问和处理的效率。本文主要介绍如何通过外表将MaxCompute数据导入 AnalyticDB for MySQL 数仓版（3.0）...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
数据库迁移
说明 如果存在不一致数据，可单击 查看详情 查看不一致的概览信息，在概览信息对话框中单击 详情 查看不一致的具体数据：如果数据量比较少，可以通过手动修改的方式同步数据，如果数据量比较大，查明数据不一致的原因，清理目标数据库后...
云数据库录入
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
任务管理
事务 仅当配置单个数据库时生效，支持的选项：开启：任务中的多条SQL语句将以事务的方式执行。关闭（默认）并发执行组内任务 仅当配置多个数据库时生效，支持的选项：开启：SQL语句会同步执行到所有数据库中。关闭（默认）：SQL语句会执行...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
文档更新动态（2023年）
更新说明 创建Flink SQL任务 新建元表 新建镜像表 新增支持创建补数据任务 新增支持创建补数据任务：支持配置补数据任务，可设置定时补数据或手动触发补数据，以回刷节点范围和业务日期相对规律，确定补数据的场景，减少人工投入。...
从自建MySQL迁移至MyBase MySQL
连接方式 根据数据安全要求选择 非加密连接 或 SSL安全连接，本文以 非加密连接 为例介绍配置流程。目标库信息 选择已有的实例 您可以按实际需求，选择是否使用已有实例。如使用已有实例，数据库信息将自动填入，您无需重复输入。如不使用...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
- 产品推荐
- 这些文档可能帮助您