索引优化

需要从大数据量的表中取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极大地减少无效数据的加载。批量载入大量数据前删除索引:对于载入大量数据到一个表中,请考虑先删掉索引并且在数据装载完成后重建它们。...

数据视图

k:v,k:v稀疏数据格式 是否采用KV格式的稀疏数据。参数设置 连续特征离散区间数 连续性特征等距离划分最大区间数。执行调优 计算核心数 计算的核心数,取值范围为正整数。每个核心内存 每个核心的内存,取值范围为1 MB~65536 MB。PAI命令...

特征尺度变换

支持稠密及稀疏数据格式。参数配置 PAI-Studio支持通过可视化或PAI命令的方式,配置该组件参数,如下所示:可视化方式 页签 参数 描述 字段设置 尺度变换特征 需要缩放的特征。选择标签列 如果您设置了该字段,则可以通过可视化方式查看...

概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。如果您是在2020年4月份之后购买的Dataphin,则数据同步能力已升级为数据集成。背景信息 面对各行...

产品概述

阿里云HBase是低成本、高扩展、云智能的大数据NoSQL,兼容标准HBase访问协议,提供低成本存储、高扩展吞吐、智能数据处理等核心能力,是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴核心...

数据模型

在HBase中,数据存储在具有行和列的表中,这是与关系数据库(RDBMS)类似的模型,但与之不同的是其具备结构松散、多维有序映射的特点,它的索引排序键由行+列+时间戳组成,HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...

线性模型特征重要性

计算线性模型的特征重要性,包括线性回归和二分类逻辑回归,支持稀疏和稠密数据格式。参数配置 计算线性模型的特征重要性,包括线性回归和二分类逻辑回归,支持稀疏和稠密数据格式。您可以通过以下任意一种方式,配置线性模型特征重要性...

K近邻

输入表数据是稀疏格式 使用KV格式表示稀疏数据。kv间的分隔符 默认为英文逗号(,)。key和value的分隔符 默认为英文冒号(:)。参数设置 近邻个数 默认值为100。执行调优 核心数 默认系统自动分配。内存数 默认系统自动分配。PAI命令方式 ...

使用EasyCompression进行模型压缩训练

本文介绍如何使用EasyCompression进行剪枝、量化及结构化稀疏训练。使用限制 目前,EasyCompression工具库仅支持TensorFlow1.x,不支持TensorFlow2.x。EasyCompression工具库已经集成在PAI-DSW和PAI-DLC支持的TensorFlow1.x官方镜像中,您...

预测

稀疏矩阵 使用KV格式表示稀疏数据。key与value分隔符 默认为英文冒号(:)。kv对间的分隔符 默认为英文逗号(,)。执行调优 核心数 与参数每个核的内存大小搭配使用,取值范围为正整数。每个核的内存大小 与参数核心数搭配使用,单位为MB。...

什么是云数据库ClickHouse

数据库ClickHouse是开源列式数据库管理系统ClickHouse在阿里云上的托管服务,用户可以在阿里云上便捷地购买云资源,搭建自己的ClickHouse集群。总体架构 云数据库ClickHouse在开源版本基础上提升了稳定性、安全性、可运维性。在架构设计...

产品架构及功能原理

对于异构数据库之间的迁移,DTS会从源库读取结构定义语法,根据目标数据库的语法定义,将语法重新组装成目标数据库的语法格式,并导入到目标实例中。全量数据迁移过程持续较久,在这过程中,源实例不断有业务写入,为保证迁移数据的一致性...

产品功能FAQ

支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库(通过数据库网关DG接入)通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...

确定需求

基于上个问题,进一步思考明细数据层的事实模型和公共可引用的维度模型、汇总数据层的汇总模型应该如何设计?是否有公共使用,命名及逻辑相似的统计指标,目前已经重复建设使用,需要通过上述设计规范化?举例:数据分析师需要了解A公司...

逻辑回归二分类

是否稀疏数据 输入数据是否为稀疏格式。参数设置 正则项 支持None、L1及L2类型。最大迭代次数 默认值为100。正则系数 如果 正则项为None,则该参数失效。最小收敛误差 默认值为0.000001。执行调优 核数目 系统自动分配。每个核内存数 系统...

数据迁移与同步FAQ

本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步?使用DTS和Redis-shake都能实现数据迁移或同步,推荐用什么工具?DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS...

创建MySQL数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择生产数据源。配置数据源与Dataphin的连接参数。当上述...

概述

数据源是物联网数据分析产品的基础,物联网数据分析的数据管道、数据存储、数据资产等功能都需依赖已存储备份的数据源。物联网数据分析提供了设备数据源和API数据源功能,您在物联网平台控制台的数据分析>数据源,配置和管理您的数据源...

常见问题

数据迁移/数据同步/数据订阅 数据迁移时显示已完成的值超过总数 自建MySQL源数据库server_id检查失败 数据迁移时目标数据库increment_trx表的作用说明 如何通过DTS实现同实例中的数据库复制和重命名 使用数据订阅功能传输数据后日期数据...

数据

数据库备份场景下,有4个概念:数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为:购买时选择的存储...

创建PolarDB数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择生产数据源。配置数据源与Dataphin的连接参数。当上述...

添加数据库实例

数据库审计系统支持审计ECS上自建数据库和RDS云数据库实例。购买数据库审计实例后,您需要根据数据库的部署方式,将其添加至数据库审计系统中。背景信息 数据库审计系统支持审计的数据库类型,请参见支持审计的数据库。添加ECS上自建数据库...

新功能发布记录

物联网数据分析LA(Link Analytics)功能和文档的最新动态。2021年11月 更新项目 功能描述 发布时间 相关文档 SQL分析任务 新增SQL分析功能。通过编写SQL语句,将存储表中的数据作为查询对象,配置执行查询的策略,调度产出所需的数据。...

创建Microsoft SQL Server数据

创建Microsoft SQL Server数据源用于实现Dataphin能够读取Microsoft SQL Server的业务数据,及能够向Microsoft SQL Server写入数据。在引入Microsoft SQL Server的业务数据至Dataphin和将Dataphin的数据写入至Microsoft SQL Server的场景中...

概述

数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。背景信息 Dataphin数据服务旨在为企业搭建统一的数据服务总线,帮助企业提升数据资产的价值,同时保证了数据的可靠性...

Dataphin支持的数据

数据存储型数据数据源类型 数据集成 实时研发 数据治理 数据服务 数据安全 创建数据源的操作指导 MaxCompute 支持 支持 支持 不支持 支持 创建MaxCompute数据源 Hive 支持 不支持 支持 不支持 支持 创建Hive数据源 SAP HANA 支持 不...

业务切换流程

为最大化地减少数据迁移对业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于迁移中或已完成状态,配置案例请参见DTS数据迁移方案概览。注意事项 由于执行业务切换操作需要...

添加数据

本文为您介绍如何在DataV中创建一个完整数据集。前提条件 已经添加RDS for MySQL、RDS for PostgreSQL和兼容MySQL数据数据源,具体请参见添加适配数据源。登录DataV控制台。选择我的数据页签,在左侧列表中单击数据集管理。在数据集管理...

常见问题

如何申请数据湖构建产品的公测资格?入湖模板中CU数如何评估?数据湖构建如何收费?数据湖构建与OSS有什么区别?什么情况下我需要使用数据湖构建?如何申请数据湖构建产品的公测资格?请使用阿里云主账号进行公测资格申请(请如实填写公司...

创建PostgreSQL数据

创建PostgreSQL数据源用于实现Dataphin能够读取PostgreSQL的业务数据,及能够向PostgreSQL写入数据。在引入PostgreSQL的业务数据至Dataphin和将Dataphin的数据写入至PostgreSQL的场景中,您需要先创建PostgreSQL数据源。本文为您介绍如何...

设置资产数据

本文介绍DataV设置资产数据源的方法,以及设置数据源页面的内容,包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录DataV控制台。在我的可视化页面,单击您创建的可视化应用项目上方的编辑按钮。在画布编辑器页面,单击图层...

准备数据源和计算源

准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型请参见Dataphin支持的数据源。确定了业务数据源类型后,您需要创建对应类型的数据源使其...

应用场景

数据库审计服务支持对云数据库及自建数据库进行适配审计,满足您对数据审计及日志数据留存的要求。RDS数据库审计 通过在访问数据库的应用系统服务器上部署数据库审计Agent,获取访问日志数据用于日志审计,实现对RDS云数据库的审计。说明 ...

创建OceanBase数据

创建OceanBase数据源用于实现Dataphin能够读取OceanBase的业务数据,及能够向OceanBase写入数据。在引入OceanBase的业务数据至Dataphin和将Dataphin的数据写入至OceanBase的场景中,您需要先创建OceanBase数据源。本文为您介绍如何创建...

业务切换流程

为最大化地减少数据迁移对业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于迁移中或已完成状态,配置案例请参见DTS数据迁移方案概览。注意事项 由于执行业务切换操作需要...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据,如果您的数据存放在传统的关系型数据库且数据量庞大...

什么是物联网数据分析

物联网数据分析LA(Link Analytics)是阿里云为物联网开发者提供的数据智能分析产品,针对物联网数据特点,提供海量数据的存储备份、资产管理、报表分析和数据服务等能力,帮助企业用户更容易地挖掘物联网数据中的价值。物联网数据分析是...

数据页面管理

在管理数据页面中,数据的类型分为矢量、栅格和三维模型三种。...上传数据 管理数据页面中的数据类型有矢量、栅格和三维模型三大类,不同类型的数据可上传的数据格式互不相同,具体三种类型数据上传数据的详细说明请参见上传数据

创建数据

数据管理DMS离线集成中,可以组合各类任务节点,形成数据流,通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。使用限制支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL引擎、MyBase MySQL、PolarDB-...

创建SAP HANA数据

创建SAP HANA数据源用于实现Dataphin能够读取SAP HANA的业务数据,及能够向SAP HANA写入数据。在引入SAP HANA的业务数据至Dataphin和将Dataphin的数据写入至SAP HANA的场景中,您需要先创建SAP HANA数据源。本文为您介绍如何创建SAP HANA...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折