线程分析
线程分析功能提供线程粒度的CPU耗时和每类线程数量的统计，并且每5分钟记录一次线程的方法栈并聚合，可真实还原代码执行过程，帮助您快速定位线程问题。当发现集群的CPU使用率过高，或者出现大量慢方法时，可以通过线程分析功能找到消耗CPU...
概览
支持 Hadoop生态外表联邦分析 您可以在 AnalyticDB PostgreSQL版 中通过gphdfs协议读写HDFS（Hadoop）集群的数据。支持 仓级迁移 自建Greenplum迁移到AnalyticDB PostgreSQL版 AnalyticDB PostgreSQL 6.0版 基于Greenplum 6.0构建，并深度...
使用限制
Web应用组件 数据分析 支持 不支持 不支持 设备属性 支持 不支持 不支持 移动应用组件 设备时序 支持 支持 不支持 设备实况 支持 支持 不支持 实例下体验版、企业版、旗舰版功能差异，请参见 功能差异。项目开发限制 项目数、应用数、页面...
产品动态
本文介绍基因分析平台的版本变更信息，包括发布时间、版本变更内容、核心功能特性等信息。2024年10月 模块 功能项 子功能点 具体功能项说明 应用仓库 全基因组选择 damo/genomic-selection-dataset【新增】全基因组选择算法数据集构建 damo...
使用CreateCluster API创建集群
高可用HA集群应用填写 选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common、ZooKeeper OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN、ZooKeeper、HDFS或者OSS-HDFS任选其一 无 Spark2 Hadoop-...
权限管理
行为分析_${组织名称}_${应用名称}_应用/视图管理 可以访问「行为分析」中此应用/视图的行为分析子系统页面。行为分析-统计-预置看板」可创建、查看、订阅、编辑、删除、时间设置、常驻筛选、复制“预置看板”；可创建、查看、编辑、删除...
通过智能洞察排查异常情况
针对此类问题，ARMS应用监控提供主动诊断功能，帮助您快速准确地定位应用中各类异常，提供异常分析报告，进而解决应用响应时间过长等问题。步骤一：安装ARMS探针 为应用安装ARMS探针后，才能对应用进行全方位监控。请根据实际需求选择一种...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
Hudi
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
什么是应用监控
多维调用链分析 通过ARMS应用监控提供的调用链分析工具，您可以自由组合筛选条件与聚合维度对调用链进行实时分析，轻松应对查看耗时大于指定时间的慢调用时序分布，查看错误请求在不同机器上的分布，查看VIP客户的流量变化等典型的线上问题...
查看应用监控
错误分析 页签：单击 错误分析 页签，会跳转到 ARMS 控制台的 调用链分析 页面，此功能可以帮助您查看目标应用产生的错误信息，具体信息，请参见 错误分析。调用链路查询 页签：单击 调用链路查询 页签，会跳转到 ARMS 控制台的 调用链分析...
弹性伸缩概述
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 添加弹性伸缩规则 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性伸缩（仅Hadoop集群类型）查看...
测试方法
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。您可以按照本文介绍自行测试对比，快速了解云原生数据湖分析（DLA）Spark引擎的性价比数据。...
什么是用户体验监控
以用户体验为切入点，完整再现用户操作过程，从页面打开速度（测速）、请求服务调用（API）和故障分析（JS错误、网络错误等）稳定性（JS错误、崩溃、ANR 等）方面监测前端应用性能表现情况，并支持日志数据查询，帮助您快速跟踪定位故障...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
调用链分析
通过 调用链分析 页面对应用的调用链信息进行分析后，您可以查看链路中部分监控指标的时序曲线，以及调用链列表、应用拓扑和全链路聚合信息。功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控 应用列表。在 应用列表 页面顶部选择目标...
日志分析
将应用的日志采集到日志服务SLS，并在ARMS应用配置中配置相应的Project和Logstore后，您即可在ARMS中通过日志服务进行日志分析。当应用出现业务异常问题时，您可以通过分析业务日志，精准定位业务异常。重要 ARMS应用监控面向已开通新版...
Java应用自定义配置
线程分析设置 在 线程分析设置 区域，可以打开或关闭线程分析总控开关、定期保存本地方法栈信息开关，并设置高耗时调用阈值。说明 服务调用耗时超过慢调用监听触发阈值（默认值为2000毫秒）时才会启动监听，并一直持续到该次调用结束或超过...
常见问题
hadoop jar hadoop_home/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
配置镜像目标架构
如果您希望在一个集群里同时存在 linux/amd64、linux/arm64 的Worker，存在以下两种使用场景：场景 建议 优缺点分析 不同的应用运行在不同的架构上 推荐。优点：可控性高，可避免不同架构的节点性能不一致带来的性能问题。缺点：需为ARM...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
作业上线问题
130)at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:107)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)at com.sun.proxy.$Proxy...
产品对比
本文对比分析了几款主流的应用配置类产品。迁移到MSE Nacos ACM进入下线状态，所有配置管理相关的需求由MSE中的Nacos承接（ACM独享版，更好的安全和稳定性）。您需要在ACM控制台导出配置，然后在MSE控制台导入之前导出的配置即可完成迁移。...
标签工厂概述
标签工厂是通过从标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
支持的插件
阿里云Elasticsearch Serverless（简称ES Serverless）应用中预先集成了多款ES插件，Serverless应用可为您自动部署和管理插件，实现应用在分词查询、数据检索等方面的能力。本文介绍阿里云ES Serverless支持的插件。Analysis插件 Analysis...
X-Pack高级特性
Hadoop 插件扩展 数据存储 灵活性 数据类型 全文本搜索 文档数据库 时序/分析 地理空间 SECURITY 数据静态加密支持 字段级安全性 管理 集群式索引 数据快照和还原 汇总索引 搜索和分析 全文本搜索 倒排索引 跨集群搜索 相关性评分 查询DSL ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
客户案例
客户需求 基于Hadoop开源生态打造，软硬件维护成本高昂，稳定性问题不断，严重影响业务经营分析。线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过MMA工具，15天完成400TB+历史...
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
作业配置指南
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 Spark应用配置参数说明。Spark任务示例 本文以读取OSS...
通过JDBC方式连接Trino
创建了包含Trino服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Trino提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，在...
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见 E-MapReduce产品概述。支持的...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
日志分析
当应用出现业务异常问题时，您可以分析业务日志，精准定位业务异常。应用限制 EDAS标准版不支持日志分析，专业版和铂金版支持日志分析。步骤一：关联业务日志 登录 EDAS控制台。在左侧导航栏，单击 应用管理 应用列表，在顶部菜单栏选择...
线程分析
应用限制 EDAS标准版不支持线程分析功能，专业版和铂金版支持线程分析功能。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理 应用列表，在顶部菜单栏选择地域并在页面上方选择微服务空间，在 集群类型 下拉列表中选择 K8s集群，...
- 产品推荐
- 这些文档可能帮助您