MaxCompute

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据...

云数据库 Memcache

数据库Memcache版(ApsaraDB for Memcache)是...云数据库Memcache可以极缓解对后端存储的压力,提高网站或应用的响应速度。云数据库Memcache支持Key-Value的数据结构,兼容Memcached协议的客户端都可与阿里云云数据库Memcache版进行通信。

应用场景

应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统通过数据总线,您可以实时接入...大数据实时化数仓是大数据的基础,实时化的数仓能够让BI、报表、推荐(用户标签产出)等多种业务收益,大数据系统总体向实时化迈进。

产品简介

统一数据湖存储阿里云数据湖构建使用阿里云对象存储(Object Storage Service,OSS)作为云上数据湖的统一存储,在云上可以使用多种计算引擎面向不同的大数据计算场景,开源大数据E-MapReduce,实时计算,MaxCompute交互式分析(Hologres)...

应用场景

访问频度极高业务如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks,完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中,DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

概述

MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力。MaxCompute能够调度大量的节点执行并行计算,同时对分布式计算中的Failover、重试等功能都有体系化的处理、管理机制。背景信息 MaxCompute SQL作为分布式数据处理的...

客户案例

MaxCompute已被广泛应用于各大领域处理云上大数据,帮助众多企业解决了海量数据分析问题,同时降低企业运维成本,企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息,请参见行业客户案例。...

发展历程

关键性里程碑 2009年9月,ODPS(即现在的MaxCompute)大数据平台飞天项目正式启动。2010年10月,阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月,平台的单集群规模已达到5000台。2014年7月,平台开始对外提供服务,完全替换...

应用场景

互联网类应用 Cassandra能够支持大并发低延时的访问需求,具备高可用和弹性扩容能力,适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式,实现更好的可用性和容灾能力。云...

数据分析整体趋势

大数据与数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

引擎简介

Lindorm Ganos是阿里云推出的一款管理空间几何数据、时空轨迹的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法等,结合阿里云Lindorm宽表引擎强大的分布式存储能力以及DAL Spark...

从DataWorks同步

该模式下,配置较任务并发数会增加数据存储访问压力,如需使用该功能,请提前评估数据存储的访问负载。该功能仅支持在独享数据集成资源组配置,详情请参见独享数据集成资源组和新增和使用独享数据集成资源组。配置数据集成资源组。单击...

简介

HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感...

数据变化监控

我们一谈到数据分析,总离不开大数据,但要发挥大数据分析的真正价值并没有想象的那些容易,DMS倡导:不要等到把数据搞大了才分析。数据管理DMS推出数据变化功能,通过对RDS内核定制,高性能采集每个实例、数据库及表的行数变化,并通过...

产品优势

支持最常见的云上数据库和非数据库类型的数据存储服务,包括对象存储(OSS)、关系型数据库(RDS)、分布式数据库(DRDS)、云原生数据库(PolarDB)、表格存储(OTS)、ECS自建数据库和大数据服务(MaxCompute)。智能化 运用大数据和机器...

东软案例

业务/技术亮点 移动端到云端业务全链路海量运维大数据存储。指标、日志等多源异构监控数据融合分析。99.99%数据可用性的高可靠低成本存储。客户感言 利用阿里云新一代云原生多模数据库Lindorm“灵动”引擎驱动的政府、企业数字信息系统智能...

概述

如果使用自建开源大数据生态体系,例如Hive、Spark等,需要专门的大数据工程师来操作和运维,且操作流程也不像使用MySQL一样简单,成本极高。解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源(RDS、PolarDB for MySQL、MongoDB...

Napatech案例

Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与各类大数据平台集成,完成数据的大规模离线分析。基于Lindorm的解决方案,用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将...MaxCompute处理业务数据和日志数据后,可以通过Quick BI快速地以可视化方式展现数据处理结果,详情请参见基于MaxCompute的大数据BI分析。

大数据用户画像解决方案

方案总览作为面向大数据场景的半结构化、结构化存储系统,Lindorm可以很好的满足用户画像:没有强事务要求,大数据量、高并发读写场景这样的业务特征。其架构如下图所示:方案优势1.低成本:集群内单表冷热分离能力、独有的压缩优化能力、...

数据归档

随着冷数据体量的不断变,存储成本也会水涨船高。所以降低冷数据存储成本,提升热数据读取性能,对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中,随着时间的不断推移,数据呈现出很明显的冷温热分层。其相应的概念如下:...

数据编排概述

解决企业复杂大数据批处理难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。数据编排功能底层基于Spark开发,可有效提升Hadoop平台运行速度。创建数据流流程 登录DMS数据管理服务。在顶部导航栏,选择传输与加工(DTS)。在...

Hints

但是对于一些规模的ETL,比如 INSERT INTO SELECT FROM这类语句,如果数据的话,它的执行时间很长。如果服务端长时间不返回任何数据给客户端,连接可能会中断,因此就有了异步执行的概念。异步执行的场景下,用户提交一个SQL,服务端...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题:数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

支持的数据

表、文件迁移支持的数据源类型 数据源分类 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 SAP HANA 支持 支持 DataHub 不支持 不支持 Hologres 支持 支持 文件数据源 HDFS 支持 支持 FTP 支持 支持 OSS 支持 ...

产品概述

阿里云HBase是低成本、高扩展、云智能的大数据NoSQL,兼容标准HBase访问协议,提供低成本存储、高扩展吞吐、智能数据处理等核心能力,是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴核心...

Lindorm数据生态

本文介绍Lindorm与关系型数据库、NoSQL数据库、大数据生态之间的数据导入导出能力。其中部分能力由LTS支持(Lindorm自研的数据通道服务)、部分能力由开源的Datax支持数据导入源集群目标集群全量导入增量导入关系数据库MySQLLindorm 宽表...

面临的业务挑战

越来越多的企业大数据分析已不再局限于传统的T+1场景,对数据的实时性分析和处理要求提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟,不能满足T+0的业务需要,用户要求在秒级,甚至毫秒级完成对海量数据分析。系统极复杂 ...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

索引优化

需要从大数据量的表中取出少于50%的数据,那么使用稀疏索引(BRIN Index或者AOCS表的metascan)可以极大地减少无效数据的加载。批量载入大量数据前删除索引:对于载入大量数据到一个表中,请考虑先删掉索引并且在数据装载完成后重建它们。...

技术发展趋势

规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展,数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测,从2018年到2025年,全球数据将从33ZB急速增长到175ZB,比2016年产生的数据量增加了十倍。这表明注重数据价值...

常见问题

数据湖后端存储使用OSS,用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图,更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建?在云上有数据分析和机器学习需求,希望构建云上的...

轮播页面

数据源 单击配置数据源,可在设置数据源页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见配置组件数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击添加过滤器,可在...

业务场景与开发流程

本教程基于大数据时代在线运营分析平台的基础需求,为开发者提供从数据高并发写入存储、便捷高效的数据加工处理到数据分析与展示的全链路解决方案。本教程帮助您了解并操作阿里云的大数据产品,完成在线运营分析平台的搭建。业务场景 本文...

Dataphin支持的数据

Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源,各模块支持对接的数据源类型说明如下。如果您需要在Dataphin中连接某数据源,则需要先在数仓规划中的数据源模块创建该数据源。...

生态集成

云原生数据仓库AnalyticDB PostgreSQL版具备完善和开放的生态系统,支持无缝对接业界以及阿里云生态的数据管理工具,BI报表可视化工具,ETL工具,数据迁移工具,同时可以与业界流行的流式处理系统,日志类系统,大数据类系统,传统数仓及...

基本介绍

云数据库HBase增强版适用于在规模、吞吐、性能、可用性等方面有更高要求的企业级场景,面对大数据(无限扩展、高吞吐)、在线服务(低延时、高可用)、多功能查询的诉求,其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱...

产品概述

产品简介移动数据分析(Mobile Analytics)是阿里云推出的一款移动App数据统计分析产品,提供通用的多维度用户行为分析,支持日志自主分析,助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。产品特点完备...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 物联网无线连接服务 轻量应用服务器 商标 SSL证书 对象存储
这些文档可能帮助您
什么是MaxCompute 收费项、计费方式与价格 SQL错误码(ODPS-01CCCCX) 复杂类型函数 MaxCompute-Endpoint Java SDK介绍

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折