大数据平台查询-大数据平台查询文档介绍内容-阿里云

查询管理与分析

时间范围限制：仅展示近30天内的查询数据记录。如果您需要查看所有的查询，可以开启审计日志，详情请参见开启审计日志。进入查询页面运行中大查询进入StarRocks Manager页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR ...

加速服务

数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

GetDataServiceFolder

调用GetDataServiceFolder查询数据服务文件夹。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是...

产品简介

大数据专家服务大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...

GetDataServiceGroup

调用GetDataServiceGroup查询数据服务业务流程。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String ...

授权信息

本文为您介绍开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...

什么是阿里云Cloudera CDP

企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...

SQL查询

本文为您介绍如何通过SQL语句查询数据源。支持查询的数据源 SQL查询支持的数据源包含MaxCompute、Hologres、EMR Hive、EMR Spark SQL、EMR Impala、EMR Presto、EMR Trino、CDH hive、StarRocks、ClickHouse、AnalyticDB for MySQL3.0、...

Flink Table Store与Hive集成

E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...

E-MapReduce本地盘实例大规模数据集测试

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

什么是DataWorks

获奖经历 IDC：大数据平台公共云市场份额中国第一 Forrester：全球云数据仓库卓越表现者象限，国内唯一中国信通院：首个通过577项技术要求的数据平台整体解决方案评测中国电子学会科技进步特等奖中国国际软件博览会金奖浙江省科技进步...

GetDataServiceApplication

调用GetDataServiceApplication查询数据服务App的详情。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action ...

快速体验

大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...

什么是EMR on ACK

阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...

通用数据开发

说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...

Flink Table Store与Trino集成

E-MapReduce的Flink Table Store服务支持在Trino中查询数据。本文通过示例为您介绍如何在Trino中查询Flink Table Store中的数据。使用限制仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Trino中查询Flink Table Store中的数据。操作步骤...

基于MaxCompute进行大数据BI分析

通过MaxCompute、AnalyticDB MySQL强大的数据加工和分析能力，降低大数据平台建设的门槛，轻松解决了海量数据的计算问题。同时有效降低企业成本，并保障数据安全。与第三方开源生态无缝对接，在不侵入用户应用的情况下，传输日志至日志服务...

QueryPublicModelEngine

调用QueryPublicModelEngine接口，使用FML语句查询数据建模引擎的信息。每次调用该接口均需使用FML语句请求获取查询信息。除了数仓分层、业务过程和数据域查询外，其他引擎信息查询均可使用分页查询方式。您可以在FML语句结尾增加offset ...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口，查询数据开发可用的集群列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 ...

项目分配与安全

在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...

时序引擎应用开发简介

如果需要使用SQL查询数据，可以手动创建时序数据表或将Schema约束策略设置为弱约束。时序引擎基于SQL提供了更多的时序特性功能和更好的性能，推荐开发者使用SQL查询数据。使用OpenTSDB或单值模型写入：Schema约束策略为无约束，即无法创建...

功能发布记录（2023年）

2023.4.18 所有地域所有DataWorks用户 SQL查询 大数据公共数据集上线基于大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等），通过DataWorks与MaxCompute快速完成TB级别大数据分析。2023.4.11 所有地域所有DataWorks用户 SQL...

Superset（仅对存量用户开放）

查询数据库。选择 SQL工具箱>SQL编辑器。选择添加的数据库Hive JDBC Server。选择 default 模式。您可以执行Hive命令查看数据库信息。如下图所示。常见问题问题现象：EMR-4.6和EMR-3.33之前版本的集群，使用admin用户第一次登录Superset的...

Hadoop集群迁移至DataLake集群

背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...

风险识别管理（新版）

规则名称规则类型规则等级规则配置非工作时间查询大数据量敏感数据数据访问风险低如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询数据访问风险低十分钟内查询相似...

ListFileVersions

调用ListFileVersions查询文件的版本列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数名称类型是否必选示例值描述 Action String 是 ...

数据查询与分析管控

但在数据分析模块中，可通过指定表所在项目的方式去访问生产表，且默认使用当前登录账号查询数据。支持的数据源类型目前仅对数据分析支持的数据源类型进行权限管控。说明数据分析支持的数据源类型（包括引擎数据源和自建数据源），详情请...

TPC-H性能测试说明

TPC-H简介以下文字描述引用自 TPC Benchmark H(TPC-H)：“TPC-H是一个决策支持基准，由一套面向业务的临时查询和并发数据修改组成。选择的查询和填充数据库的数据具有广泛的行业相关性。该基准测试说明了决策支持系统可以检查大量数据，...

使用Copilot+增强分析实现一站式智能数据查询与可视化

成功登录后，在免费试用页面单击 大数据开发治理平台 DataWorks 产品的立即试用。在弹出的购买试用 DataWorks 产品面板选择开通地域为华东2（上海），勾选服务协议后单击立即试用。开通MaxCompute 本教程还需使用MaxCompute产品，您可...

Default Catalog

StarRocks 2.3及以上版本提供了Internal Catalog（内部数据目录），用于管理StarRocks的内部数据。本文为您介绍如何查询内部数据。背景信息每个StarRocks实例都有且只有一个Internal Catalog，名为 default_catalog。StarRocks暂不支持...

通过操作审计查询行为事件日志

DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...

Profile性能诊断及优化案例

确认查询瓶颈 Operator花费的时间比例越大，其对应颜色就越深（支持对执行耗时排名前三的节点标注颜色）。您可以借此轻松确认查询的瓶颈。示例如下。Query Profile优化案例 Bitmap索引 Bloom filter索引优化数据倾斜单表物化视图确认...

Hive数据源

通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见创建集群。已创建包含StarRocks服务的...

Hudi数据源

通过Hudi Catalog，您可以直接查询Hudi中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hudi Catalog。前提条件已创建包含Hudi服务的集群，例如DataLake或Custom集群，详情请见创建集群。已创建包含StarRocks服务的...

Paimon数据源

通过Paimon Catalog，您可以直接查询Paimon中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Paimon Catalog。前提条件已创建包含Paimon服务的集群，例如DataLake或Custom集群，详情请参见创建集群。已创建包含...

Delta Lake数据源

通过Delta Lake Catalog，您可以直接查询Delta Lake中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Delta Lake Catalog。前提条件已创建包含Delta Lake服务的集群，例如DataLake或Custom集群，详情请见创建集群。已...

Iceberg数据源

通过Iceberg Catalog，您可以直接查询Iceberg中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Iceberg Catalog。前提条件已创建包含Iceberg服务的集群，例如DataLake或Custom集群，详情请参见创建集群。已创建包含...

大数据平台查询

新品推荐