Tez
背景信息 Tez主要使用在Apache Hive中，作为Hive的一种运行时引擎，可以优化Hive SQL的查询引擎。与Hive On MR（MapReduce）相比，Hive On Tez具有更好的查询性能和稳定性。Hive基于MapReduce提交任务和基于Tez提交任务流程图如下所示：Tez...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
HIVECLI
使用资源中心中的Hive SQL文件 该示例演示了如何使用资源中心中的Hive SQL文件来执行任务。在本例中，先在 资源中心 中定义了 sql 类型的文件（例如，hive.sql），然后在 程序类型 下拉列表中选择 选择资源中心文件，在 资源 下拉列表中...
SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
使用限制
不支持 Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据...
SQL优化
数据库自治服务DAS提供SQL优化功能，自动输出诊断结果、优化建议和预期优化收益，您可以根据诊断结果确认是否采纳建议。本文介绍如何使用SQL优化功能。前提条件 数据库引擎为：RDS MySQL 自建MySQL MyBase MySQL MongoDB RDS PostgreSQL ...
自动SQL优化
数据库自治服务DAS（Database Autonomy Service）为RDS PostgreSQL提供自动SQL优化功能，可以进行自动SQL诊断优化和索引创建，在数据库实例出现慢SQL问题时，及时进行诊断和优化，帮助数据库系统运行在最佳状态。前提条件 RDS PostgreSQL...
Hive
Zeppelin的Hive解释器提供以下主要功能：支持任何Hive SQL语句（包括DDL和DML等）。Hive解释器与Beeline支持的语言及功能一样。支持一个段落编写多条SQL语句，每条SQL语句以分号;结尾，按照从上到下的顺序执行。支持注释功能。支持并发执行...
2022年
2022-12-05 实例画像 2022年11月 引擎 功能名称 功能描述 发布时间 相关文档 RDS MySQL、PolarDB MySQL版 自动SQL优化 新增自动SQL优化的API接口，用于获取指定时间段内自动SQL优化任务的统计数据，包括任务总数和最大收益等。2022-11-29 ...
Paimon与Hive集成
hive 执行以下Hive SQL，查询刚刚写入的数据。select*from test_db.test_tbl;添加并查询外表。Hive也可以将指定路径下的Paimon表添加为外表并查询。CREATE EXTERNAL TABLE test_ext_tbl STORED BY 'org.apache.paimon.hive....
Flink Table Store与Hive集成
hive 执行以下Hive SQL，查询刚刚写入的数据。select*from test_db.test_tbl;添加并查询外表。Hive也可以将指定路径下的Flink Table Store表添加为外表并查询。CREATE EXTERNAL TABLE test_ext_tbl STORED BY 'org.apache.flink.table....
Quick BI报表sql优化建议中的查询的排队时间如何理解
概述 本文描述了Quick BI报表sql优化建议中的查询的排队时间如何理解。详细信息 这个查询的排队时间是指数据库内部的排队时间，这里的优化建议指的都是数据库内的。适用于 Quick BI 公共云专业版
获取自动SQL优化事件的统计数据
调用GetInstanceSqlOptimizeStatistic接口，获取指定时间段内自动SQL优化任务的统计数据，包括任务总数和最大收益等。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。使用 SDK 调用 DAS 服务时，...
Cost-based SQL诊断引擎
按照经验，约80%的数据库性能问题能通过SQL优化手段解决，但SQL优化一直以来都是一个非常复杂的过程，需要多方面的数据库领域专家知识和经验。例如如何准确地识别执行计划中的瓶颈点，通过优化物理库设计或SQL改写等手段，让数据库优化器...
Hive作业配置
已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。uservisits_aggre_hdfs.hive 内容如下。USE DEFAULT;DROP TABLE uservisits;CREATE EXTERNAL TABLE IF NOT EXISTS uservisits...
Impala概述
背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动程序等，为面向批处理或实时查询提供了一个熟悉且统一的平台。注意事项 如果使用Impala组件，请勿直接通过系统文件删除hive表分区目录，请使用Impala或者Hive...
批量开启、修改或关闭自动SQL优化功能
调用UpdateAutoSqlOptimizeStatus接口，批量开启、修改或关闭自动SQL优化功能。接口说明 使用该接口需满足以下前提条件：在使用 SDK 调用 DAS 服务时，需要将地域指定为 cn-shanghai。目标数据库实例已开启 DAS 企业版，您可以调用 ...
Data Copilot智能助手
SQL优化 左键单击需要优化的SQL区域，单击提示框的 优化，智能助手将为您提供SQL优化建议及优化后的SQL。SQL续写 输入一段SQL后，通常需要等待1~4秒（等待时间与续写的长度相关），智能助手可自动续写SQL的后半部分。说明 按下Tab键接受...
Hive数据迁移
即一次MMA任务迁移的分区数量，通过批量的分区迁移，可以减少提交Hive SQL的次数，节约Hive SQL提交时间。单个任务处理的最大数量（单位G）单位GB，默认5。即⼀次MMA任务迁移的所有分区的⼤⼩之和的上限。hive job配置,用于mr,spark,tez等...
应用场景
从最初面向DBA的工具化辅助诊断，到Self-driving Platform理念提出，开始孵化和锤炼数据库自治能力，随后DAS自治能力逐步覆盖集团全网数据库实例，如自动SQL优化、自动空间、自动异常修复等。目前，混合云数据库管理HDM+CloudDBA+自治能力...
支持的数据库引擎与功能
参数诊断 ✔️ ✔️ ✔️ ✔️ ❌ ❌ ❌ ❌ ❌ SQL优化 ❌ ✔️ ✔️ ✔️ ❌ ✔️ ✔️ ✔️ ✔️ 慢日志分析 ❌ ✔️ ✔️ ✔️ ❌ ✔️ ✔️ ✔️ ✔️ 巡检评分 ✔️ ✔️ ✔️ ✔️ ❌ ❌ ❌ ❌ ❌ 事件订阅服务 ✔️ ✔️ ✔️ ✔️ ...
自动SQL限流
自动SQL优化请参见 自动SQL优化。手动SQL优化请参见 SQL优化。当实例 CPU利用率 或者 活跃会话数 未达到阈值，无法触发自动限流时，您可以手动设置规则进行限流，详情请参见 SQL限流。相关API API 描述 UpdateAutoThrottleRulesAsync 采用...
会话管理
PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过其中的...您可以通过单击 优化 按钮，对SQL进行诊断和优化，详情请参见 SQL优化。会话统计：支持查看会话总数、会话时间，以及按照不同统计项（如按用户统计）对会话数量进行统计。
API概览
自动SQL优化 API 标题 API概述 UpdateAutoSqlOptimizeStatus 批量开启、修改或关闭自动SQL优化功能 调用UpdateAutoSqlOptimizeStatus接口，批量开启、修改或关闭自动SQL优化功能。GetSqlOptimizeAdvice 查询自动SQL优化产生的诊断建议 调用...
开启自治功能
DAS基于机器学习和细粒度的监控数据，实现7 x 24小时的异常检测，提供自动SQL优化，自动SQL限流、存储空间自动扩展、计算资源自动扩展等功能。从异常发现、根因分析、进行止损或优化、效果跟踪、回滚或沉淀知识库，实现诊断流程的闭环，...
配置Hive开启Ranger权限控制
示例三：URL权限配置 当您执行的Hive SQL语句中包含Location信息，且Location的Scheme为 oss 时，会检查Location的Write、Read权限。例如 create external table test(id int,name string)location 'oss:/test-bucket/test'，会检查 oss:/...
自动SQL限流
自动SQL优化请参见 自动SQL优化。手动SQL优化请参见 SQL优化。当实例 CPU利用率 或者 活跃会话数 未达到阈值，无法触发自动限流时，您可以手动设置规则进行限流，详情请参见 SQL限流。相关API API 描述 UpdateAutoThrottleRulesAsync 采用...
慢日志
本文介绍了 PolarDB-X 的慢日志查询功能。PolarDB-X 提供慢日志查询功能，并且将CPU使用率和慢日志数量的视角结合在一起，能帮助您快速发现影响数据库性能的关键SQL。慢日志功能提供交互页面，您可以查看格式化的慢SQL...查看慢SQL优化建议。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件...创建完Hive表后，您可以使用Hive SQL分析元数据。select*from table_name limit 200;示例如下。
对接使用CDH与CDP
在右侧代码编辑框中编写Hive SQL，完成代码编辑后单击顶部 运行图标，选择调度资源组并确认，运行完毕后可以查看Hive SQL的运行结果。如果想要设置任务周期调度，单击右侧的 调度配置，在弹窗中设置时间属性、资源属性和调度依赖，完成后...
捷顺
并且在可能的情况下对这些慢SQL进行 自动SQL优化 或者提出优化建议，避免旧系统遗留的慢SQL在高并发执行时把数据库资源耗尽导致系统崩溃。开启DAS 自动扩容，当数据库实例CPU使用率因为QPS增长而持续超过阈值一段时间，DAS调用RDS OpenAPI...
功能特性
自动SQL优化 智能压测 确认数据库实例规格是否需要扩容，并验证在真实业务场景下的实际效果，降低上线后引发故障的风险。此外，在数据库实例发生故障且无法定位原因时，可以利用克隆库复现故障场景，以便更好地定位故障原因。智能压测 搜索...
Hive连接方式
本文为您介绍在E-MapReduce集群提交Hive SQL的三种方式。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。注意事项 本文示例中需替换的参数：<主节点的节点名称>：您可以在EMR控制台目标集群的 节点管理 页面获取，具体操作...
- 产品推荐
- 这些文档可能帮助您