Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
配置跨库Spark SQL节点
在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和分析的数据仓库，再进行数据分析。数据仓库的数据回流到在线库，用于数据查询。在数据仓库中对数据进行加工分析后，往往需要...
Quick BI如何实现TopN展示
问题描述 用户在使用Quick BI制作图表的过程中，需要展示Top N的排名数据。解决方案 如下图所示，先对数据进行全局排序，然后在右边编辑栏，结果展示选择只需要的展示的前多少名，就可以解决Top N问题，同样的，此方法还可以解决展示按时间...
离线同步日志分析
切分（拆分）任务 此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：关系型数据库：按照您在界面配置时指定的切分键 splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。...
巡检配置
各巡检模块对应的事件类型如下：巡检模块 事件类型 错误率突增巡检模块 Top N接口错误率突增 应用服务整体错误率突增 平均响应时间突增巡检模块 Top N接口平均响应时间突增 应用服务整体平均响应时间突增 流量突增巡检模块 应用服务整体...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
成本分析
在 费用分析 页签，通过如下维度进行费用分析：按实例分析：账期总费用：以饼图方式展示指定账期内总的费用，光标悬停到饼图上可快速获知Top N（最大为Top 7+其他）实例的费用占比，需要注意的是因为精度和取近似值的原因，数据可能会出现...
Query Profile介绍
SortType 查询结果排序方式：全排序或者排序Top N个结果。MergingTime 数据合并耗时。SortingTime 数据排序耗时。TableFunction Operator 指标 说明 TableFunctionExecTime Table Function计算耗时。TableFunctionExecCount Table Function...
常见Latency（时延）事件的处理建议
本文向您介绍常见Latency事件超过阈值时间的原因及处理建议，您可参考本文了解并处理对应的时延问题。背景信息 原生Redis在2.8.13版引入时延监控...相关文档 设置实例参数 发现并处理Redis的大Key和热Key 实时Top Key统计 清除数据 扩容实例
常见Latency（时延）事件的处理建议
本文向您介绍常见Latency事件超过阈值时间的原因及处理建议，您可参考本文了解并处理对应的时延问题。背景信息 原生Redis在2.8.13版引入时延监控（Latency...相关文档 设置实例参数 发现并处理大Key和热Key 实时Top Key统计 清除数据 扩容实例
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
从RDS同步至MaxCompute
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据同步至MaxCompute，帮助您快速搭建数据实时...
解密ADB高效基因检测系统
基于阿里云云原生数据仓库AnalyticDB MySQL版向量分析构建的高效基因检测系统，能够在几十分钟内完成整个病原体的查询检测，大大提升了基因分析性能，为疑难杂症的确诊以及精准治疗提供有力支持。背景信息 病原体基因检测为医生诊断疑难...
从ECS上的Codis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Twemproxy Redis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Twemproxy Redis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
从ECS上的Codis集群同步至Redis实例
说明 Online DDL变更产生的临时表数据过大，可能会导致同步任务延迟。否：不同步Online DDL变更产生的临时表数据，只同步源库的原始DDL数据。说明 该方案会导致目标库锁表。源、目标库无法连接重试时间 当源、目标库无法连接时，DTS默认重...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
发现并处理大Key和热Key
大Key和热Key产生的原因 未正确使用 Tair 命令、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用 Tair，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
监控类型概述
分钟统计 Top：在统计收费站车辆通行数量的场景里，全中国有几十万个收费站，我们并不需要每个收费站、每分钟的历史数据（因为绝大部分时间里大部分的收费站都是空闲的，数据都是 0，全部统计记录会浪费很多成本）。假设某交警部门想要在节...
发现并处理Redis的大Key和热Key
大Key和热Key产生的原因 未正确使用Redis、业务规划不足、无效数据的堆积、访问量突增等都会产生大Key与热Key，如：大key 在不适用的场景下使用Redis，易造成Key的value过大，如使用String类型的Key存放大体积二进制文件型数据；...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
备份恢复计费说明
计费项 免费额度 15 天内免费项说明 区域 数据备份 2*N N 为您购买集群时所选择的存储大小数值 备份存储大小集群存储大小（N）*2 倍，无需支付额外的备份费用 中国内地、中国香港、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、德国...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
发展历程
2019大数据“星河（Galaxy）”奖 最佳大数据产品奖（TOP10）。2018年 MaxCompute的多个客户案例荣获“2017大数据优秀产品和应用解决方案案例”奖。基于公共云的BigBench在100 TB规模上，MaxCompute的性能指标较2017年10月提升了一倍，达到...
模型配置
算法模型使用的行为数据集、商品标签数据集的数据要求与一般数据集有所不同，请分别参见 行为数据集样例、商品标签数据集样例 准备数据。行为数据集、商品标签数据集数据均存储于同一个ADB3.0类型的数据源中，且数据源已接入Quick Audience...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
Tair开发运维规范
云原生内存数据库Tair 拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示 Tair 开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Tair的能力。了解 Tair 性能边界 图 1.Tair ...
Top N应用监控
应用托管到 Serverless 应用引擎 SAE（Serverless App Engine）后，SAE 会采集并分析应用数据，包括异常实例数、发布单失败率等，并在概览页显示每个指标Top N的应用列表，方便您实时、直观地了解应用的状态。操作步骤 登录 SAE控制台。在 ...
概述
存储格式 数据来源及特点 数据量增大或减少 详细数据量 JSON 大量应用产生JSON类型的数据，冗余数据量大。增大151.7%3.02GB AVRO Hadoop生态格式的数据，数据由大部分遗留系统产生。增大8.3%1.3GB RCFile Hadoop生态格式的数据，数据由大...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
调优集群性能
TopN算子 云原生数据仓库 AnalyticDB MySQL 版 在进行TopN计算时（例如SQL中有 ORDER BY id LIMIT m,n），当 m 较大时，云原生数据仓库 AnalyticDB MySQL 版 中的TopN算子会缓存较多数据在内存中，以完成最终的全局排序，这个过程会消耗较...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
选择函数
语法 SELECT BOTTOM([,(s)>],<N>)[,(s)>|(s)>][INTO_clause]FROM_clause[WHERE_clause][GROUP_BY_clause][ORDER_BY_clause][LIMIT_clause][OFFSET_clause][SLIMIT_clause][SOFFSET_clause]语法说明 BOTTOM(field_key,N)：返回field key对应...
- 产品推荐
- 这些文档可能帮助您