关键技术竞争力
异地多活单元化容灾 异地多活单元化容灾架构致力在分布式架构应用拆分和数据拆分的基础上解决以下问题：异地场景下的访问延时问题，实现异地多活。单机房 数据库连接限制 问题，突破物理限制。容量预估和扩容复杂问题，按单元预估和扩容。...
管理待发布数据架构对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
PolarDB-X 1.0拆分的基本原则是什么？
关于 PolarDB-X 1.0 的数据拆分的基本原则，请参见 如何选择拆分键。
数据拆分
在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练模型时能够使用独立的数据集来评估模型的性能和泛化能力。训练集是模型用来学习的数据集，可以用于训练模型并优化模型的参数...
基础术语
Cluster task 支持在单个执行步骤中把数据拆分成多个数据分片（data chunk），把一个任务的数据分散到不同的机器上运行。适用于数据量很大的业务场景。调度过程分为拆分阶段和执行阶段。任务拓扑 Topology 由许多通过事件触发的任务的集合...
发布包总览概述
数据架构及研发页签的对象数与发布包中的对象数不一致时，系统仅展示当前环境中的已存在的板块和项目下的待发布对象数量，不包括未发布的新增板块和项目下的对象数量。若发布包中的对象与当前环境下的对象版本一致，则无需进行发布，但依然...
SQL 路由
有关数据访问代理的数据拆分原理，请参考文档 分库分表。拆分键 分库分表过程中，数据访问代理按照指定的拆分键，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分表中。拆分键是数据访问代理中数据分布和 SQL 路由的凭证。...
分库分表
数据拆分 数据库访问代理支持库级拆分，表级拆分和分库分表拆分，通过数据库访问代理 DDL 语句指定，具体操作参见 DDL 语法。数据访问代理根据指定拆分键的值，采用特定的算法进行计算，然后根据计算结果将数据存储到对应的分库/分表中。...
应用场景
数据访问代理提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而从根本上解决数据库单机瓶颈的问题。金融级数据容灾 基于蚂蚁金服内部多年的金融级数据容灾场景，数据访问代理针对不同业务场景提供了...
Binlog日志服务
实例，可支持同时开通多个多流服务，每个多流服务中支持多个流，不同服务之间是完全隔离的，可设置不同的拆分数量、不同的数据拆分级别、不同的参数规则等，可根据实际需求开通不同形态的多流服务。拆分级别 多流binlog提供了3种形式的数据...
概念原理
当数据量很大时，任务调度系统支持在单个执行步骤中把数据拆分成多个分片（data chunk），把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上...
产品简介
为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、数据治理等。大数据解决方案POC 基于计算平台的产品组合，全托管或指导客户完成针对...
安全联邦学习-工作流FL
将数据拆分为训练集和测试集，用于验证模型的各项指标数据。note：在模板中，选择了拆分比例80%，即80%数据用于训练（输出表1），20%数据用于测试（输出表2）。用户可自行调整需求。3、训练侧特征工程 选择和提取有用的特征，包括特征选择...
通用联邦学习模版
将数据拆分为训练集和测试集，用于验证模型的各项指标数据。note：在模板中，选择了拆分比例80%，即80%数据用于训练（输出表1），20%数据用于测试（输出表2）。用户可自行调整需求。step 3 训练侧特征工程 选择和提取有用的特征，包括特征...
分账账单查看方式
本文为您介绍通过用户中心或API查看分账账单的方式。前提条件 请确保您已为资源绑定了标签。通过用户中心查看分账账单（推荐）分账账单 在用户中心的 分账账单 中，按标签查看资源...实例账单是根据结算总账单数据拆分生成，一般会有1天延迟。
数据中台建设架构咨询服务工作说明书
通过阿里云数据中台产品和建设实施方法论，建设【XXX】集团数据中台数据资产目录，基于资产盘点设计数据中台技术规范及总体架构，指导客户构建数据中台建设框架，并按需完成数据中台详细设计。数据中台建设咨询内容包括【业务调研、数据...
自媒体：易撰
长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。公司多年来坚持创新、创意发展，...
创建ID
在 数据架构 页面，单击 标签架构。在标签架构页面，按照下图操作指引，选择 ID管理 页签，并 单击 新增ID。在弹出的 创建ID 对话框窗口中，配置ID相关信息。参数 描述 ID名称 ID名称。命名规则如下：允许中英文、数字、下划线或连字符，64...
RDS MySQL临时文件导致实例磁盘空间满且出现“锁定中...
建议您监控磁盘使用率，及时清理数据或进行数据拆分，使磁盘使用率不超过80%。更多信息 若您暂时无法清理临时文件进行解锁，您可以清理其他类型的文件，降低磁盘空间使用率，如下所示：实例状态显示“锁定中”时如何解决？数据文件导致实例...
逻辑订阅
PostgreSQL实例之间实现准实时表级单向同步，可以用于数据共享、数据汇总、数据拆分等业务场景。如果您在全国多个地域部署业务，可以通过逻辑订阅共享数据，例如将中心数据共享给其他地域，或者将其他地域数据汇总到中心进行实时分析查询等...
DTS介绍与使用限制
Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建安全、可扩展、高可用的数据架构。支持的数据库及使用限制如下： 关于DTS支持的迁移、同步、订阅方案，请参见 支持的数据库。...
Dataphin创建T+1时效的维度逻辑表对应的表名后缀不...
概述 本文为您介绍Dataphin创建T+1时效的维度逻辑表对应的表名后缀不显示df的原因以及解决方法。详细信息 天时效的表命名规范需要...数据架构-研发规范-表命名规则中开启后缀命名。编辑表命名规则：将后缀-天表的开关打开：适用于 Dataphin
Dataphin维度逻辑表提交报错“invalid partition type...
问题描述 Dataphin维度逻辑表提交报错“invalid partition type DATETIME”。问题原因 用的项目是MaxCompute 1.0 数据类型，不支持...解决方案 在“规划”“数据架构”“研发规范”中，将分区字段的数据类型设置为STRING。适用于 Dataphin
管理市场类目
在 数据架构 页面，按照下图操作指引，进入在 标签架构 页面选择所需创建的市场类目的市场卡片，并单击 设置类目。在 设置类目 对话框中，支持 标签类目 与 设置。您可根据业务需求选择对应类目类型并单击 新增一级类目 进行创建。说明 若...
创建市场
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，按照下图操作指引，进入在 标签架构 页面并单击 新增市场。在弹出的 新建市场 窗口中，配置市场名称、管理员、选择关联项目以及市场类型等参数信息。参数 描述 市场...
ActionTrail日志清洗
理论上可以分析上述格式的JSON数据，但非常不便，需要先把每行数据拆分成多条记录，然后再对拆分后的记录进行分析。小文件多，分析数据耗时且占用大量系统资源 当您通过账号（阿里云账号和RAM子账号）频繁操作云产品时，每天产生的操作日志...
公共规范
数据拆分 数据的水平和垂直拆分是按照访问热度分布和数据表非空数据值、零数据值在行列二维空间上分布情况进行划分的。在物理上划分核心模型和扩展模型，将其字段进行垂直划分。将访问相关度较高的列在一个表存储，将访问相关度较低的字段...
使用OSS中的数据作为机器学习的训练样本
本案例按8:2的比例将源数据拆分为训练集和测试集，其中一个订单中可能有多个item，故ID列选择order_id，保证含有多个item的订单不会被拆分，如下图所示： 本案例中共有17个产品item。通过协同过滤算法组件，取相似度最高的item，结果如下表...
创建并管理业务实体
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，找到需要创建业务对象的数据板块后，按照下图操作指引，单击 新建业务实体。在 新建业务实体 对话框，配置参数。参数 描述 实体名称 命名规则如下： 汉字、字母、...
如何分析数据分布不均衡
PolarDB-X 的分区表来说，支持更灵活的数据拆分方式，即LIST、HASH或RANGE分区，以及灵活的分区分裂、合并、迁移。对于分区表来说，同样支持通过 show table info from$TABLE 命令查询每个分表的物理大小。除此之外，分区表还支持通过 ...
分布式序列
通过将 Sequence 表和业务数据表部署在一起，保持数据拆分规则一致，方便生成业务主键。数据访问代理的分布式序列在 nextVal 语法基础下，扩展了更多业务型的字段，在获得 Sequence 值之外，还可以获得更多分库分表相关的信息，开发者可以...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
概述
随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有MySQL数据库的数据架构已经不能满足现在的业务需求，您可以选择将MySQL数据库中的数据迁移到表格存储中。表格存储是阿里云自研的多模型...
创建主题域
主题域由数据域升级而来，用于存放同一数据板块内不同意义的指标，如商品域、交易域、会员域等。在进行规范建模前，您需要完成主题域的创建。本文为您介绍如何创建主题域。前提条件 仅支持智能研发版。若需使用，请升级当前版本。升级版本...
基于对象特征的推荐
将数据拆分为两份。其中一份作为训练数据，通过分类算法生成二分类模型。另一份作为预测数据，通过预测组件对模型效果进行测试。通过评估组件，获得模型效果。数据集 本数据源由天池大赛提供，根据时间将其分为4月份和5月份的购买行为数据...
创建实体
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 标签架构 页面，按照下图操作指引，选择 实体管理 页签，并 单击新增实体。在弹出的 新建实体 对话框中，配置实体相关信息。参数 描述 实体名称 实体名称。命名规则如下：允许中英文...
实例介绍
PolarDB-X 1.0 由计算层与存储层资源构成，计算层是由多个计算节点所组成的分布...PolarDB-X 1.0存储资源只读实例 数据，使数据库诉求更加贴合业务，降低在线数据架构的复杂度，节省运维和资源持有成本。专享实例 专享实例可以独享物理资源。
条形图
打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 打开开关，数据拆分后，可自定义设置同一分类...
HDFS云原生上云方案
是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：Lindorm文件引擎支持100...
柱状图
打开开关，需要配置数据面板中的trace拆分字段，对数据做更细粒度的拆分效果，且数据拆分后将会变成 堆叠分组 的样式；关闭开关，默认根据数据面板中的 colorField 颜色映射字段分组。组内间距 数据拆分后，可自定义设置同一分类下柱子内部...
- 产品推荐
- 这些文档可能帮助您