使用限制
Web应用组件 数据分析 支持 不支持 不支持 设备属性 支持 不支持 不支持 移动应用组件 设备时序 支持 支持 不支持 设备实况 支持 支持 不支持 实例下体验版、企业版、旗舰版功能差异，请参见 功能差异。项目开发限制 项目数、应用数、页面...
产品动态
本文介绍基因分析平台的版本变更信息，包括发布时间、版本变更内容、核心功能特性等信息。2024年10月 模块 功能项 子功能点 具体功能项说明 应用仓库 全基因组选择 damo/genomic-selection-dataset【新增】全基因组选择算法数据集构建 damo...
使用CreateCluster API创建集群
高可用HA集群应用填写 选择安装应用 必须安装的依赖应用 不可同时安装的互斥应用 HDFS Hadoop-Common、ZooKeeper OSS-HDFS OSS-HDFS Hadoop-Common HDFS Hive Hadoop-Common、YARN、ZooKeeper、HDFS或者OSS-HDFS任选其一 无 Spark2 Hadoop-...
权限管理
行为分析_${组织名称}_${应用名称}_应用/视图管理 可以访问「行为分析」中此应用/视图的行为分析子系统页面。行为分析-统计-预置看板」可创建、查看、订阅、编辑、删除、时间设置、常驻筛选、复制“预置看板”；可创建、查看、编辑、删除...
通过智能洞察排查异常情况
针对此类问题，ARMS应用监控提供主动诊断功能，帮助您快速准确地定位应用中各类异常，提供异常分析报告，进而解决应用响应时间过长等问题。步骤一：安装ARMS探针 为应用安装ARMS探针后，才能对应用进行全方位监控。请根据实际需求选择一种...
数据上云场景
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA...具体场景示例请参见 Flume收集网站日志数据到MaxCompute 和 海量日志数据分析与应用。
Hudi（退役中）
如果没有显示指定，hudi会根据提交元数据动态估计record大小.Hadoop参数 名称 说明 默认值 备注 hadoop.${you option key} 通过hadoop.前缀指定hadoop配置项。无 支持同时指定多个hadoop配置项。说明 从Hudi 0.12.0开始支持，针对跨集群...
什么是应用监控
多维调用链分析 通过ARMS应用监控提供的调用链分析工具，您可以自由组合筛选条件与聚合维度对调用链进行实时分析，轻松应对查看耗时大于指定时间的慢调用时序分布，查看错误请求在不同机器上的分布，查看VIP客户的流量变化等典型的线上问题...
组件操作
Spark Shell和RDD基础操作 Spark对接OSS 常见问题和故障诊断 Hive Hive是一个基于Hadoop的数据仓库工具，通过提供类似SQL的查询语言（HiveQL）使用户可以方便地在Hadoop上进行大规模数据的存储、查询和分析。Hive连接方式 自定义函数（UDF...
查看应用监控
错误分析 页签：单击 错误分析 页签，会跳转到 ARMS 控制台的 调用链分析 页面，此功能可以帮助您查看目标应用产生的错误信息，具体信息，请参见 错误分析。调用链路查询 页签：单击 调用链路查询 页签，会跳转到 ARMS 控制台的 调用链分析...
什么是用户体验监控
以用户体验为切入点，完整再现用户操作过程，从页面打开速度（测速）、请求服务调用（API）和故障分析（JS错误、网络错误等）稳定性（JS错误、崩溃、ANR 等）方面监测前端应用性能表现情况，并支持日志数据查询，帮助您快速跟踪定位故障...
最佳实践概览
ES-Hadoop使用 通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据 通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 ...
调用链分析
通过 调用链分析 页面对应用的调用链信息进行分析后，您可以查看链路中部分监控指标的时序曲线，以及调用链列表、应用拓扑和全链路聚合信息。功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控 应用列表。在 应用列表 页面顶部选择目标...
日志分析
将应用的日志采集到日志服务SLS，并在ARMS应用配置中配置相应的Project和Logstore后，您即可在ARMS中通过日志服务进行日志分析。当应用出现业务异常问题时，您可以通过分析业务日志，精准定位业务异常。重要 ARMS应用监控面向已开通新版...
Java应用自定义配置
Span关联应用标签配置：用于控制当前在控制台 应用列表 页面为应用绑定的标签会被附在哪些Span上，默认情况下，所有Span都会包含应用标签。出于用量考虑，您可以将应用标签仅附在入口Span上（入口Span一般包括HTTP Server、RPC Server、MQ...
常见问题
hadoop jar hadoop_home/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar sleep-m 1-mt 1000-r 0 您可以在 sleep-m 之间新增配置项以指定Queue，新增的参数为-Dmapreduce.job.queuename，参数值为default。...
配置镜像目标架构
如果您希望在一个集群里同时存在 linux/amd64、linux/arm64 的Worker，存在以下两种使用场景：场景 建议 优缺点分析 不同的应用运行在不同的架构上 推荐。优点：可控性高，可避免不同架构的节点性能不一致带来的性能问题。缺点：需为ARM...
JindoFS实战演示
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
作业上线问题
130)at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:107)at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)at com.sun.proxy.$Proxy...
弹性伸缩
使用方式 集群类型 相关文档 DataLake、Dataflow、OLAP和Custom集群 创建托管弹性伸缩策略 创建自定义弹性伸缩策略 查看弹性伸缩活动 可视化弹性成本分析 查看集群资源概览 旧版Hadoop集群 配置弹性伸缩（仅Hadoop集群类型）开启或关闭弹性...
标签工厂概述
标签工厂是通过从标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
支持的插件
阿里云Elasticsearch Serverless（简称ES Serverless）应用中预先集成了多款ES插件，Serverless应用可为您自动部署和管理插件，实现应用在分词查询、数据检索等方面的能力。本文介绍阿里云ES Serverless支持的插件。Analysis插件 Analysis...
X-Pack高级特性
Hadoop 插件扩展 数据存储 灵活性 数据类型 全文本搜索 文档数据库 时序/分析 地理空间 SECURITY 数据静态加密支持 字段级安全性 管理 集群式索引 数据快照和还原 汇总索引 搜索和分析 全文本搜索 倒排索引 跨集群搜索 相关性评分 查询DSL ...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
客户案例
客户需求 基于Hadoop开源生态打造，软硬件维护成本高昂，稳定性问题不断，严重影响业务经营分析。线上业务爆发，需求积压严重，期望有整体解决方案，能够快速灵活支持业务发展所需的技术扩展。价值体现 通过MMA工具，15天完成400TB+历史...
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
管理Hadoop回收站
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/username/....
DataWorks On EMR使用说明
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云EMR提供了on ECS、on ACK和Serverless形态，以满足不同用户的需求。详情请参见 E-MapReduce产品概述。支持的...
通过JDBC方式连接Trino
创建了包含Trino服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Trino提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，在...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
使用ECI运行Spark作业
背景信息 Apache Spark是一个在数据分析领域广泛使用的开源项目，它常被应用于众所周知的大数据和机器学习工作负载中。从Apache Spark 2.3.0版本开始，您可以在Kubernetes上运行和管理Spark资源。Spark Operator是专门针对Spark on ...
绑定计算资源（参加新版数据开发公测）
相关概念 计算资源 计算资源是计算引擎用于执行数据处理和分析任务的资源实例，如MaxCompute项目（Quota组）、Hologres实例等。例如，在大数据处理场景下，使用阿里云MaxCompute时，您可以通过设置Quota组来管理您的计算任务所使用的计算...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
日志分析
当应用出现业务异常问题时，您可以分析业务日志，精准定位业务异常。应用限制 EDAS标准版不支持日志分析，专业版和铂金版支持日志分析。步骤一：关联业务日志 登录 EDAS控制台。在左侧导航栏，单击 应用管理 应用列表，在顶部菜单栏选择...
线程分析
应用限制 EDAS标准版不支持线程分析功能，专业版和铂金版支持线程分析功能。功能入口 登录 EDAS控制台。在左侧导航栏，单击 应用管理 应用列表，在顶部菜单栏选择地域并在页面上方选择微服务空间，在 集群类型 下拉列表中选择 K8s集群，...
基因分析应用
本文介绍基因分析平台中的应用定义，如何在工作空间中创建、编辑和运行应用。基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、...
操作说明
应用监控 eBPF 版 手动接入应用至应用监控 eBPF 版 通用Kubernetes环境接入应用监控 eBPF 版 应用列表 应用概览 应用拓扑 提供服务 依赖服务 调用链分析 实例监控 其他更多操作请参见 什么是阿里云应用监控 eBPF 版。应用安全 接入应用安全...
场景化分析
为应用安装探针后，ARMS即可开始监控应用，您可以在 场景化分析 页面了解全局应用的异常、数据库、慢请求和全链路灰度情况。初步筛选数据 在页面右上角选择数据展示的时间段。在页面右上角单击 标签筛选，选择展示指定标签下的应用数据。...
- 产品推荐
- 这些文档可能帮助您