应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
数据可视化工具
DataV可用于展示表格存储数据表或者二级索引表中的数据，一般用于构建复杂的大数据处理分析展现的企业应用系统。对接DataV Grafana Grafana是一款开源的可视化和分析平台，支持Prometheus、Graphite、OpenTSDB、InfluxDB、Elasticsearch、...
EMR Studio概述
覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 优势 描述 兼容开源 EMR Studio提供深度优化的开源组件使用体验，100%兼容开源大数据生态。您无需修改任务代码，即可平滑迁移上云。通过EMR ...
什么是EMR on ECS
ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合，使得您可以更加灵活地配置和管理EMR集群，从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS，您可以快速创建、管理和运维EMR集群，同时也能够更加高效地使用计算和存储资源...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版作为企业级高性能Serverless实时大数据处理系统，集成Apache Flink内核，100%兼容Apache Flink，并提供丰富的企业级增值功能。在成本上，基于Serverless的服务支持作业弹性扩缩容，只需增加计算节点无需修改硬件配置...
应用场景
物联网边缘计算平台的典型应用场景有：未来酒店、工业生产、风力发电效率提升等。...大数据处理：数据上传至阿里云后，使用大数据训练模型。即时反馈：算法或规则导入本地边缘节点后，实时自动调整机组参数，实现最优化生产。
网商银行
DAAS（Data as a Service）层围绕大数据处理和计算，面向业务提供风控和数据分析能力。SAAS（Software as a Service）层提供面向用户端的金融服务和产品，提供最为直接的服务和体验。网商银行之所以能够顺利完成分布式的云计算架构建设，...
聚合支付方案
的大数据处理能力，决策报表的生成时间从分钟级别降低至秒级，大部分报表可以在10秒内生成，部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接，决策者可以通过报表数据快速进行业务决策，实现通过计算数据创造业务价值。...
开放平台概览
DataWorks开放平台的OpenAPI功能为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。您还可以在OpenAPI区域查看OpenAPI免费额度使用情况、...
开放平台：能力全面开放
通过OpenAPI可以实现您的自有应用与DataWorks的深度集成，例如实现批量创建任务、发布任务、运维任务等，提升您的大数据处理效率，减少人工操作成本。关于OpenAPI功能，具体请参见 开放API（OpenAPI）。开放事件（OpenEvent） 通过...
创建集群
是通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark集群只能关联...
什么是云数据库Cassandra
理由三：大数据存储的利器、方便搭配X-Pack Spark Spark是目前主流默认的大数据处理引擎，Cassandra是目前主流的BigData NoSQL数据库。Cassandra+Spark可以处理风控、推荐、物联网等很多数据驱动的业务。阿里云数据库团队也提供了X-Pack ...
Spark对接OSS
Spark对接OSS提供了高效、灵活的数据处理和分析方式，将大数据处理和云存储相结合。本文介绍Spark如何处理和分析OSS中的数据。背景信息 当前E-MapReduce：支持 MetaService 服务。支持通过免AccessKey方式访问OSS数据源。支持通过显式写...
互联网金融：武汉利楚商务服务有限公司
ADB的大数据处理能力，决策报表从分钟级别降低至秒级，大部分报表可以在10秒出来，部分特别复杂的报表需要1分钟左右。使业务行为和业务决策能平滑对接，公司负责人可以通过报表快速进行业务决策，使数据通过计算创造业务价值。提供7x24 高...
Quick引擎概述
“慢”虽然只是一种难以精确定义的体感，但想要解决以上问题，就需要BI产品拥有很强的大数据处理架构和能力，可以横向扩展支持不断增长的数据量和计算任务。Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放...
DataWorks On EMR使用说明
开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了...
客户案例
大数据处理能力：随着阿里巴巴集团业务的高速发展，推广营销在商业引流上的重要性越发明显，报表作为营销产品的闭环，其诉求也越发的多样化、个性化，报表数据在近几年的发展中在量级上已经增长到TB甚至数十& TB&的规模。这个时候存储系统...
创建PYTHON计算任务
3.7更能满足更多样化的大数据处理的诉求，例如 list.clear()。Python 2.7和Python 3.7的更多信息，请参见 Python。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图指引，进入 新建PYTHON任务 对话框。在 新建PYTHON任务 ...
快速使用EMR on ACK
集群类型 Spark 通用的分布式大数据处理引擎，提供了ETL、离线批处理和数据建模等能力。重要 创建Spark集群后，如果您需要关联集群，则所选产品版本的大版本号需要和关联的Shuffle Service集群大版本号一致。例如，EMR-5.x-ack版本的Spark...
Tez
Graph）的计算框架，支持通过复杂的DAG描述并处理大数据任务。背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。...
GeoMesa(HBase/Cassandra)
GeoMesa是由locationtech开源的一套地理大数据处理工具套件。本文主要介绍如何通过DLA Ganos查询基于GeoMesa管理的HBase和Cassandra数据库。通过GeoMesa您可以在NoSQL分布式计算存储系统上进行大规模的地理空间查询和分析。GeoMesa目前支持...
阿里云电子政务云产品全家福
阿里云电子政务云平台提供弹性计算类、网络、数据库、存储、大数据、中间件、IoT等品类丰富的产品及高标准的安全合规服务，用以支撑多种政务类业务场景，例如：城市大脑，合规应用平台等。截至文档发布时间，阿里云电子政务云共计上线95款...
注册EMR集群至DataWorks
背景信息 开源大数据开发平台 E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还...
什么是对象存储OSS
E-MapReduce：构建于ECS上的大数据处理的系统解决方案，基于开源的Apache Hadoop和Apache Spark，方便您分析和处理自己的数据。更多信息，请参见 E-MapReduce产品详情页面。在线迁移服务：您可以使用在线迁移服务将第三方数据源，例如...
DataWorks On Hologres使用说明
DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放事件 DataWorks开放平台的开放...
如何对JSON类型进行高效分析
Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半...
DataWorks On MaxCompute使用说明
DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放事件 DataWorks开放平台的开放...
云产品事件触发器概述
作为一种Serverless的事件总线服务，支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源。事件总线EventBridge 与 函数计算 集成后，接入 事件总线EventBridge 的事件源能够...
云产品事件触发器概述
作为一种Serverless的事件总线服务，支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源。事件总线EventBridge 与 函数计算 集成后，接入 事件总线EventBridge 的事件源能够...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
内存型
各种内存型数据库应用（Redis、Memcache）大数据类应用（Kafka、ElasticSearch等）音视频转码类应用 与操作系统的兼容性说明 更多信息，请参见 AMD实例规格与操作系统兼容性说明。r8a包括的实例规格及指标数据如下表所示。实例规格 vCPU ...
PolarDB HTAP实时数据分析技术解密
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
实例规格族
大数据计算密集型实例规格族d2c 大数据存储密集型实例规格族d2s 大数据网络增强型实例规格族d1ne 本地SSD型实例规格族i4 本地SSD型实例规格族i4g 本地SSD型实例规格族i4r 性能增强型本地盘实例规格族i4p 本地SSD型实例规格族i3g 本地SSD型...
弹性裸金属服务器概述
计算集群、依赖内存的数据处理 视频编解码、渲染等 数据分析和计算 ebmg7a包括的实例规格及指标数据如下表所示。实例规格 vCPU 内存（GiB） 网络带宽（Gbit/s）网络收发包PPS 连接数 多队列 弹性网卡 单网卡私有IP 云盘IOPS 云盘带宽（Gbit...
提升I/O吞吐量和IOPS
这种策略尤其适用于处理大数据量和复杂查询的场景，例如数据分析、机器学习等高I/O需求场景。升级节点规格，请参见 计算节点变配。但升级节点规格可能会导致额外的费用。因此，在进行节点规格升级前，建议您进行全面的性能和成本评估，找出...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
MaxFrame概述
基于MaxFrame，用户可以通过统一的交互式开发环境，MaxCompute统一数据管理能力以及分布式数据开发接口，高效、一站式地完成数据分析、处理以及数据挖掘、建模全生命周期，打破大数据及AI开发使用边界，大大提高开发效率，加速AI创新应用...
企业级HBase介绍
2019杭州云栖大会Topic-基于企业级HBase的大数据存储处理 视频地址请点击 注：选择 9.27AM-NoSQL数据库专场 视频时间为01:54:20至02:23:11
- 产品推荐
- 这些文档可能帮助您