PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
MySQL中出现“Too many connections”报错
如果重启服务后，仍然发生该报错，请联系对应业务的DBA，终止服务器连接或者重启数据库。查看对应业务的DBA请参考以下内容：登录 DMS控制台。在左侧的导航栏中找到需要查看的数据库，右键单击目标实例，在弹出的列表中选择实例DBA，即可...
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
应用场景
物联网设备无时无刻不在产生海量的设备状态数据和业务消息数据，这些数据有助于进行设备监控、业务分析预测和故障诊断。背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算...
业务分类
如您所在的集团或公司业务复杂且较为庞大时，可创建业务分类，对数据进行业务区分，便于对业务数据进行更加方便的管理。本文为您介绍如何创建业务分类并关联数据域及管理数据集市。新建业务分类 进入智能数据建模页面。登录 DataWorks控制...
DataWorks数据集成常见问题
报错：同步数据出现业务脏数据情况，数据类型转换一处，转位long类型出现溢出。原因：同步时存在不支持的数据类型，比如MySQL BIGINT（20）UNSIGNED。解决方法：修改Hologres建表类型，比如修改为TEXT，详情请参见 MySQL数据类型映射。报错...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
快速体验
背景信息 本次实验根据零售电商行业的会员、商品、交易、物流、评价等业务数据计算出GMV（商品交易总额）、用户画像等数据供业务决策。您可以通过本次实验，了解到如下信息。了解一个项目从数据建模、数据同步（数据传输）、数据开发、运维...
AUTO模式核心特性及典型场景
热点分裂——有效解决数据热点 对于热点数据，PolarDB-X 支持两种处理方式：第一种方案是将热点数据所在的分区数据迁移到特定的数据节点，让热点数据以独享存储资源的方式服务业务，能够实现热点数据不影响非热点数据的业务。具体操作步骤...
使用创建反向任务功能
前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备数据库中创建用于数据同步的账号。权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的...
数据字典
在数仓开发和数据分析过程中，当业务中有常量数据或者业务数据可以划分为业务事实表和业务维度表时，您可以通过使用数据字典来替代维度表实现，避免使用Join语句，从而提升查询效率。注意事项 以下版本的 云数据库ClickHouse 集群不支持...
应用场景
云原生数据仓库AnalyticDB MySQL版 为千万家企业级客户提供了数据处理ETL、实时在线分析、核心报表、大屏和监控能力，为广大商家和消费者提供稳定的离线和在线数据服务。本文介绍 云原生数据仓库AnalyticDB MySQL版 的五个使用场景：实时数...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
补数据任务概述
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
上传数据
本文介绍在我的数据页面中...上传业务数据 单击 业务数据 页签右上角的 新建数据集 按钮，在新建数据集合对话框中，输入 数据集合名称 和 数据集合分组，单击 OK，新建数据集合。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。
上传数据
本文介绍在我的数据页面中...上传业务数据 单击 业务数据 页签右上角的 新建数据集 按钮，在新建数据集合对话框中，输入 数据集合名称 和 数据集合分组，单击 OK，新建数据集合。完成创建后，您可以在 我的数据 页面，查看创建后的空间数据。
无感数据集成（Zero-ETL）
AnalyticDB for MySQL 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月22号到6月30。公测地域 华北2（北京）、华东1（杭州）、华东2（上海）、...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 请参见 补数据任务页面入口，进入 补数据任务 页面。在 补数据任务 页面，...
新建补数据任务
对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补数据任务进行补数据。本文将为您介绍如何新建补数据任务。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建补...
需求分析
步骤一：了解已有业务数据 实际操作前，请先了解该项目背景下企业已有的业务数据及其数据格式，以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析（user_log.txt）以下为OSS中存储的 user_log.txt 文件原始数据。remote_...
需求分析
步骤一：了解已有业务数据 实际操作前，请先了解该项目背景下企业已有的业务数据及其数据格式，以及业务背景分析需要的目标用户画像基本结构。OSS原始日志数据分析（user_log.txt）以下为OSS中存储的 user_log.txt 文件原始数据。remote_...
离线同步常见问题
读取PostgreSQL数据报错：org.postgresql.util.PSQLException:FATAL:terminating connection due to conflict with recovery 写入/读取MySQL报错：Application was streaming results when the connection failed.Consider raising value ...
产品概述
可视化的数据资产：系统化构建业务数据资产大图，从数据视角还原业务系统、提取业务数据，快速感知业务关键环节及数据。数据使用简单可依赖：通过主题式数据查询服务，您可以快速查询和访问研发构建的数据逻辑表，简化约80%的查询代码。...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
无感集成（Zero-ETL）
云原生数据仓库 AnalyticDB PostgreSQL 版 提供无感集成（Zero-ETL）功能，可以帮助您一站式完成数据同步和管理，实现事务处理和数据分析一体化，专注于数据分析业务。公测时间 2024年4月1日至6月30日。公测地域 华东2（上海）。方案概述 ...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
亿海蓝-航运大数据的可视化案例
示例使用场景如下：大宗航线繁忙度分析 铁矿石LNG等货种航线分布 港口业务强度分析 内河横向截面的多航道通行量研究 区域内船舶周期性活动强度研究 对政策面影响区域业务活动强度的研究 业务挑战 数据访问要求高效性。一旦数据查询性能低，...
支持的云服务
基于MaxCompute的数据仓库能力，您可以与阿里云其他产品集成，实现可视化开发、数据存储、数据迁移、机器学习、业务决策等能力，构建满足实际业务需求的解决方案。本文为您介绍支持与MaxCompute集成的各阿里云产品信息。MaxCompute支持集成...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
创建概念模型：维度
维度是您观察业务状况的视角，您可在维度建模中规划并创建维度，后续创建维度表时进行关联，关联后即可通过不同维度分析呈现不同视角的业务数据状况。如果您希望在维度表中直接关联使用已有维度，则可参考本文创建。本文为您介绍如何创建并...
基于MaxCompute实现拉链表
拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。本文将为您介绍基于MaxCompute引擎在DataWorks上实现拉链表ETL的案例。前提条件 已...
常见问题
非插件报错原因及解决方案 如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacks如何处理？离线同步任务执行偶尔成功偶尔失败。离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
创建OpenGauss数据源
通过创建OpenGauss数据源能够实现Dataphin读取OpenGauss的业务数据或向OpenGauss写入数据。本文为您介绍如何创建OpenGauss数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
- 产品推荐
- 这些文档可能帮助您