操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
产品计费
服务类型 单价（元）计费单位 购买数量 备注 大数据技术架构方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据搬站迁云方案咨询 30,000 每人日 1~20 每日8小时工作制 大数据解决方案POC 30,000 每人日 1~20 每日8小时工作制 跨地域迁移...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
查看集群性能
E-HPC优化器是性能监控与剖析平台，支持集群性能指标、查看集群性能历史记录、分析进程级的性能热点。您可以根据E-HPC优化器展示的性能大盘及性能数据优化集群性能。查看性能大盘 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择...
概述
支持并行查询加速，为基于分区的大表方案提供成倍性能提升。加强数据管理能力。索引创建、删除和重建：以分区为单位进行索引的创建、删除和重建。备份和恢复：以分区粒度进行数据备份和恢复。降低成本。分区可以根据 数据重要性、数据存储...
E-MapReduce本地盘实例大规模数据集测试
本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案，来展示如何使用阿里云大数据集群进行性能测试。详情请参见 E-MapReduce本地盘实例大规模数据集测试最佳实践。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已...
产品简介
（仅限公共云）AI算法专家服务 AI算法建模咨询 针对用户提供算法架构方案，数据梳理和建模方案规划设计的咨询服务。AI算法方案POC 全托管或指导客户完成针对特定算法建模和模型训练、服务的功能，并提供基于算法建模、模型训练、模型预测、...
构建数据仓库
方案优势：阿里巴巴大数据最佳实践，高性能、低成本、Serverless服务，免运维、全托管模式，让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合：MaxCompute+Flink+DataWorks。场景说明 用户数据来源丰富，包括来自云端...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
存储空间分析
您可以在 AnalyticDB for MySQL 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 ...
参数诊断
在数据库性能优化时，针对数据库参数的调优是一个行之有效的方案。使用参数诊断功能，您可以对数据库实例控制台可修改的参数进行诊断，获得参数优化方案和7天内的参数修改历史。背景 在数据库领域，优化数据库性能是工业界和学术界最重要的...
参数诊断
在数据库性能优化时，针对数据库参数的调优是一个行之有效的方案。使用参数诊断功能，您可以对RDS MySQL控制台可修改的参数进行诊断，获得参数优化方案和7天内的参数修改历史。背景 在数据库领域，优化数据库性能是工业界和学术界最重要的...
跨境SaaS:深圳市易仓科技有限公司
存在资源碎片，资源利用率低 痛点5:业务快速发展，租户数据越来越大，存储成本越来越高 痛点6:传统主从架构数据库模式，实例众多，数据集成成本高 痛点7:租户数据量越来越大，单租户维度查询性能遇瓶颈 解决方案 PolarDB多主集群助力易仓跨...
2022年
PTS引擎优化使用大文件数据源性能，避免使用大参数文件时施压机性能无法提升。快速压测功能上线，无需压测专业背景，支持针对指定URL一键发起压测。开源兼容 JMeter压测支持OSS数据源，解决使用JMeter压测时无法上传大文件问题。新场景 ...
公开数据集概述
H 10GB性能测试集 TPC-H 100GB性能测试集 TPC-H 1TB性能测试集 TPC-H 10TB性能测试集 tpch_10g tpch_100g tpch_1t tpch_10t TPCx-BB TPCx-BB Express Benchmark BB（TPCx-BB）是一个大数据基准测试，衡量基于Hadoop的大数据系统的性能。...
产品整体介绍
在第三方认证层面，AnalyticDB PostgreSQL版 通过了“国际数据库TPC官方TPC-H 30TB认证”（性价比综合排名第一），信通院“分布式事务型数据库基础能力评测”（TPC-C）和“分布式分析型数据库大规模性能认证”（640节点 TPC-DS 100TB）。...
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下：同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，...
如何解决Redis内存使用率突然升高
排查是否写入大量新数据 排查方法：查看 Redis 性能监控的 入流量 与 写QPS。如果入流量与写QPS的趋势与内存使用率的趋势一致，说明大量的数据写入导致内存使用率突然升高。解决方案：通过设置Key的过期时间自动清理不再需要的Key，或手动...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
排查Redis实例内存使用率高的问题
经过上述步骤优化后，内存使用率依旧较高，可评估升级至更大内存的规格，以承载更多数据并改善性能。具体操作，请参见 变更实例配置。说明 在正式升级实例的规格前，您可以先购买一个按量付费的实例，测试要升级到的目标规格是否能够满足...
IoT数据自动化同步至云端解决方案
下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行读取，详情请参见 OSS Reader。选择数据去向进行写入，本文以 MaxCompute...
PolarDB HTAP实时数据分析技术解密
因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。对比上述三种方案，从组合搭积木的方法，到Divergent Design方法，再到一体化的行列混合存储。其集成度越来越高，用户的使用体验也越来越好...
面临的业务挑战
此外，大数据平台的组合方案在细粒度的访问权限控制、高可靠性方面，特别对于金融等行业客户的数据容灾、高可用的需求无法很好支持。使用成本高 数据在企业中的使用，具有明显的周期性和不确定性。一方面，业务发展变化很快，其数据规模...
发展历程
深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的委员会委员，是中国担任此国际性能标准化测试组织委员的唯一企业。...
方案背景
背景 气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到上百TB的规模，且在爆发性...
什么是云原生数据湖分析
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB\NoSQL）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
列存索引技术架构介绍
因此，在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算成为最优方案。对比上述三种方案，从组合搭积木的方案到Divergent Design方法，再到一体化的行列混合存储方案。其集成度越来越高，用户的使用体验也...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
上海新能源汽车车辆基础数据
方案亮点：PB级新能源车辆基础数据、高性能采集入库、高效数据分析、低成本运营。客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
概述
TPC-DS由TPC委员会制定发布，用于决策支持系统测试基准，主要用于衡量大数据产品的分析性能。TPC-DS查询共包含99个查询测试语句。更多信息，请参见 TPC-DS测试集。说明 本文的TPC-DS的实现基于TPC-DS的基准测试，并不能与已发布的TPC-DS...
数据管理DMS解决方案系列
为了更好地指导您使用数据管理DMS（Data Management），DMS推出解决方案系列文档，旨在通过最佳实践（Step by Step）的形式向您介绍DMS研发流程、数据安全、...研发流程解决方案 数据安全解决方案 数据开发解决方案 更多信息，请参见 概览。
通用云盘
当您需要应对数据库磁盘IO性能瓶颈时，云数据库RDS PostgreSQL的通用云盘IO加速功能为您提供了一个高效的解决方案，帮助您在面临大规模或频繁数据读写需求时显著提升数据库IO性能，更多信息，请参见 IO加速。购买通用云盘 RDS PostgreSQL...
RDS MySQL空间不足问题
RDS MySQL实例的空间使用率是日常需要重点关注的监控项之一，如果实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍查看空间使用情况的方式，以及各种空间问题的原因和解决...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
- 产品推荐
- 这些文档可能帮助您