发展历程

深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台,成为国际TPC(Transaction Processing Performance Council)委员会大数据评测标准BigBench的委员会委员,是中国担任此国际性能标准化测试组织委员的唯一企业。...

EMR+DLF数据湖解决方案

采用EMR+DLF数据湖解决方案,相对传统EMR数据湖方案下列优点:DLF提供数据湖跨引擎的统一的,托管免运维的元数据服务。支持可视化的元数据管理,以及多版本管理和回退。支持可视化一键元数据迁移。支持元数据全文检索。支持元数据...

数据集成概述

说明 以业务数据数据同步到MaxCompute数据仓库为例,当大量的数据存储在数据库系统里,需要将数据库中的量及增量数据同步到MaxCompute进行数仓分析时,数据集成传统方式是通过量同步或者依赖数据库表中的 modify_time 等字段进行...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

独享数据服务资源组

因此,如果您的实际业务场景与上述数据有出入,请加入 DataWorks钉钉群 咨询技术支持,我们会根据您的实际业务场景推荐合适的资源组规格。计费与相关操作 如您需要专业的售前购买指导,请前往查看 DataWorks购买指引。可以使用钉钉扫描...

聚合支付方案

阿里云从业务扩展性、数据流动性、服务高可用三方面入手,通过多款云数据库产品为利楚扫呗制定聚合支付方案,解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...

技术发展趋势

近些年来,数据在国民经济各个领域扮演着愈发重要的作用,其使用特点较之以往也发生了诸多变化,其趋势主要几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展,数据量迎来了爆发式增长。IDC在《Data Age 2025》的...

配置数据

使用数据服务创建API前,需先将您的数据库或数据仓库添加为DataWorks数据源,以此作为数据服务API的数据来源。开发数据服务API时,数据服务将访问该数据源获取数据表的Schema信息,帮助您进一步设置请求和返回参数。本文为您介绍如何配置...

配置自定义区域右下角组件数据

可视化应用创建完成后,您可以通过以下方式配置全国疫情分布可视化应用中右下角自定义区域内组件的数据。前提条件 已完成可视化应用的创建,详情请参见 创建可视化应用。参见 快速选中自定义区域面板内组件,选择自定义区域右下角面板内的...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

混合存储型(已停售)

场景分类 混合存储型实例 社区版实例 数据量与预算 数据降低成本需求。正在使用Pika、SSDB或者ARDB等。正在使用大容量的主备或者集群Redis。数据量小,或者预算充足且暂时无需降低存储成本。冷热数据分布 业务中冷热数据区分明显。...

新建补数据任务

高级配置 并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的...

附录:周期任务补数据

并发运行组数 并发运行组数用于控制同时有多少个补数据进程在运行。您可以选择并发运行的组数,系统支持最少并发运行 1组,最多并发运行 12组。业务日期的跨度时间小于并发运行组数,则实际并行组数为业务日期天数。业务日期的跨度时间大于...

适用场景

按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都比较好的用户沉淀和技术发展,适用于如下场景:对超高并发和规模数据存储较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...

应用场景

数据传输服务DTS(Data Transmission Service)支持数据迁移、数据订阅和数据实时同步功能,帮助您实现多种典型应用场景。不停机迁移数据库 传输方式:数据迁移 为了保证数据的一致性,传统的迁移过程需要您在迁移数据时停止向源数据库写入...

索引优化

大数据集场景下优先考虑稀疏索引:如果您的数据量非常地大,并且您的查询限定条件为<、、=、>=、>,需要从大数据量的表中取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极地减少无效数据的加载。...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

操作指南

一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要,提前或者在问题发生时购买大数据专家服务,服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一,而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

ECS实例说明

大数据型 使用本地SATA盘作存储数据,存储性价比高,是大数据量(TB级别的数据量)场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点;Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型 使用本地...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作流程,DataWorks为您提供了...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

应用场景

互联网类应用 Cassandra能够支持并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

图扑案例

为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据,如图3所示,阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力,通过阿里云DTS/DMS或第三方开源数据...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:行业...

DataWorks on EMR数据安全方案

大数据领域,阿里云为企业用户提供了一整套数据安全方案,包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例,为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

数据表-数据概况

功能说明 在数据表详情的数据概况标签页,基于对元数据及存储数据的统计,为您提供了数据表更加详细的指标信息,比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小,分区文件数,分区最后更新时间等...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce(简称EMR)是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

基于MaxCompute进行大数据BI分析

本实践以电商行业为例,通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理,并同步至分析型数据库MySQL(AnalyticDB for MySQL)进行实时分析,再通过Quick BI进行可视化展示。背景信息 MaxCompute:用于进行规模数据计算,详情...

产品优势

数据安全中心DSC(Data Security Center)可扫描和识别海量数据,帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品,可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...

通过自定义模型识别

说明 如果模型训练的评估结果准确率达不到100%,则投入上线使用识别的数据可能会误差。建议您增加样本数据,重新训练模型,直至准确率达到100%后再投入上线使用。单击 确定创建,完成当前规则模型的创建。后续步骤 成功创建规则模型...

相关的云服务

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

DMS支持的数据库

本文介绍数据管理DMS支持录入的云数据库、他云/自建的数据库类型。支持的云数据库 关系型数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 PolarDB PostgreSQL版(兼容Oracle)PolarDB...

DataWorks V3.0

MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见 ...

简介

系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力,广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

账单数据订阅及查询分析

DataWorks及MaxCompute:DataWorks基于MaxCompute等大数据引擎,支持您在线进行SQL分析、业务洞察、编辑和分享数据,以及将查询结果保存为可视化图表卡片,快速搭建可视化数据报告。订阅账单数据后,用户中心会将相关账单数据同步至指定...

OSS Foreign Table功能概览

OSS Foreign Table(简称OSS FDW)是基于PostgreSQL Foreign Data Wrapper(简称PG FDW)框架开发的用于访问OSS数据数据分析方案,支持将OSS数据导入至 AnalyticDB PostgreSQL版,且提供分区表功能,在性能、功能以及稳定性上都优于OSS ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云原生大数据计算服务 MaxCompute 数据传输服务 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用