版本发布说明
优化存储过程的创建和删除流程，避免出现元数据残留问题。降低REPLACE/UPSERT语句在包含GSI或UGSI的表上执行时的CPU消耗。缺陷修复 修复包含clustered index的表在创建local索引时，部分旧的执行计划没有清理的问题。修复在DRDS模式数据库...
0041-00000111
问题描述 无法解析自定义元数据。问题原因 请求触发镜像回源时，源站解析自定义元数据格式错误。问题示例 解析x-oss-persistent-headers内容不合法。其他情况 解决方案 排查源站异常。相关文档 镜像回源
新功能发布记录
开启安全访问代理 接入达梦数据库 新增 全面直接接入达梦数据库（DM），包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 数据类目 新增 对表进行分类，便于管理人员、开发人员及运维人员...
数据湖管理FAQ
Lakehouse相关问题 什么是Lakehouse？Lakehouse数据入湖时，对线上RDS有压力吗？如何控制建仓的限流能力？Lakehouse工作负载为什么运行失败，又没有S park Log 日志可以看？元数据发现相关问题 为什么配置了元信息发现，并在“手动执行”...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
配置说明
EMR Doctor的基本配置在安装过程中已设置，主要控制集群元数据和任务元数据的采集行为，通常情况下不需要修改和下发配置。本文为您介绍EMR Doctor的基本配置信息以及如何修改基本配置。重要 本文为您列出了EMR Doctor中可以修改的配置。...
Logview诊断实践
用户UDF出错，调查步骤 Result>DAG 确定出问题的UDF，查看 StdOut 或 StdError 等报错信息。其他报错，可以参见 文档错误码以及解决方案。分析运行慢作业 编译阶段 作业处于编译阶段的特征是有Logview，但还未执行计划。根据Logview的子...
管理文件元数据
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定则根据文件的扩展名生成，如果没有扩展名则为默认值application/octet-stream。meta.setContentType("text/plain");设置内容被下载时的名称。meta.setContentDisposition(...
Query洞察
同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突，以及表锁情况，辅助业务进一步排查问题和处理问题。前提条件 存在已登录实例，请参见 登录实例。进入Query洞察 您可从HoloWeb的 诊断与优化 页面直接进入 Query洞察，也可通过...
JindoFS介绍和使用
常见问题 Q：针对典型的数据湖场景，建议采用什么模式？A：因为JindoFS SDK和Cache模式完全兼容OSS对象存储语义，具有完全的存储分离架构和弹性灵活性，所以，针对典型的数据湖场景，推荐您使用SDK或者Cache模式以支持大数据分析和AI训练...
其它特性
document.addEventListener('WV.Event.APP.Background',function(e){/一些机型退出时弹 alert 会出问题。console.log('Event Background');},false);应用激活事件Active 当应用被切换到后台再切换回来时，WindVane会引发WV.Event.APP....
SmartData常见问题
本文汇总了使用SmartData时的常见问题。基本概念 什么是JindoFS？已经有阿里云OSS，为什么还要使用JindoFS？JindoFS有哪些使用方式？使用场景是什么？JindoFS SDK和缓存模式的区别是什么？JindoFS缓存模式和Block模式的区别是怎么？JindoFS...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
管理文件元数据
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型，则根据文件的扩展名生成。如果文件没有扩展名，则文件类型的默认值 application/octet-stream。Content-Type的常见设置请参见 如何设置Content-Type（MIME）？...
使用DLA分析OSS中的事件
常见问题 OSS存储CSV格式文件时，为什么OSS元数据发现不出任何表？OSS存储CSV格式文件时，为什么OSS元数据发现的字段类型不对？OSS元数据发现，是否支持CSV文件第一行是说明，第二行是文件头，第三行才是数据？相关文档 OSS访问日志分析
DLF数据探索快速入门-淘宝用户行为分析
demo`.`user_log` GROUP BY date,day_of_week ORDER BY date 分析结果如下：（由于数据集经过裁剪，对于工作日和非工作日的结果有失真）最后，我们结合商品表，分析出数据集中最受欢迎的是个商品品类-销售最多的品类耗时1分10秒 SELECT ...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
使用SQL分析连接
元数据 选中 表数据 或 公共数据集 中的对象（表、资源或自定义函数），展示相应的元数据详情，包括但不限于对象的基础信息、列信息、生成DDL、数据预览等。注意需要对应对象的相关 数据权限。结果 执行脚本的结果，详细如下：运行列表：...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
使用Webshell诊断应用
为了方便定位和排查线上问题，您可以使用 SAE 控制台提供的简易版Webshell，查看并调试容器。SAE 容器的基础镜像是面向应用运行时的且暂时状态的，因此您无需在镜像中启动SSH服务，仅需带有可执行的/bin/bash，同时建议您带上所需的运维...
DML操作常见问题
问题类别 常见问题 插入或更新数据 执行INSERT操作过程中出现错误，会损坏原有数据吗？执行INSERT INTO或INSERT OVERWRITE操作时，提示Table xxx has n columns，but query has m columns，如何解决？执行INSERT INTO或INSERT OVERWRITE...
功能发布记录
湖仓加速场景中，在集成数据湖DLF元数据管理下，支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便在测试环境、开发环境、跨部门集群之间做元数据隔离，详情请参见 OSS数据湖加速。湖仓加速场景中，支持加速存储于OSS-HDFS（又名...
EMR Doctor常见问题
本文汇总了EMR Doctor使用时的常见问题。哪些集群类型支持EMR Doctor功能？EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor都会采集哪些数据？EMR Doctor收费吗？采集操作会对任务的运行会产生什么影响？...
E-MapReduce数据迁移方案
在开发过程中我们通常会碰到需要迁移数据的场景，本文介绍如何将自建集群数据迁移到E-MapReduce集群中。背景信息 适用范围：线下Hadoop到E-MapReduce迁移。线上ECS自建Hadoop到E-MapReduce迁移。迁移场景：HDFS增量上游数据源包括RDS增量...
如何基于LSM-tree架构实现一写多读
与Aurora的 日志即数据库 理念一样，Socrates的节点之间只传输redo日志，也实现了多版本页服务，它的特点是将数据库存储层的持久性与可用性分开，抽象出一套日志服务。整个数据库分为3层，一层计算服务，一层page server服务和一层日志服务...
数据索引
数据索引是OSS对外提供的文件（Object）元数据索引能力。...常见问题 Bucket内文件数量达到上亿级别时，为什么很长时间都没有成功建立数据索引？1秒内大约可以为600个文件建立索引。您可以结合Bucket内的文件数量，预估建立索引所需时间。
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
现代IM系统中的消息系统—实现
功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话元数据两类。此处群的元数据信息包括群ID（复用群的timelineId）、群名称、创建时间等信息，可以直接基于timelineMeta的管理表完成实现，所有Group类型的...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
如何配置通过自定义域名访问OSS文件实现强制下载？
通过浏览器使用自定义域名访问OSS上存储的文件时，如果您的浏览器支持预览所选的文件格式，则OSS将直接预览文件内容。如果您希望通过浏览器使用自定义域名访问OSS文件时，以附件形式下载文件，您可以通过预签名URL将response-content-...
常见问题
本文介绍使用Trino时的常见问题。Trino与Presto的区别与联系是什么？Trino的各个版本有什么区别？Trino在EMR上的部署形态是什么样的？是否支持高可用？Trino如何连接DLF？开启了DLF后是否还能连接MetaStore？默认提供的连接器不够用怎么办...
使用OSS静态存储卷
OSS只读权限策略 展开查看OSS只读权限策略内容 {"Statement":[{"Action":["oss:Get*","oss:List*"],"Effect":"Allow","Resource":["acs:oss:*:*:mybucket","acs:oss:*:*:mybucket/*"],}],"Version":"1"} OSS读写权限 展开查看OSS读写权限...
监控指标常见问题
Hologres的内存资源采用预留模式，在没有查询的时候，也会有数据表的元数据、索引、数据缓存等加载到内存中，以便加快检索和计算，此时内存使用率不为零是正常情况。理论上在无查询的情况，内存使用率达到30%~40%左右都属于正常现象。一些...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
文档更新动态（2022年）
更新说明 数据服务概述 2022年02月18日 新增Dataphin出网IP地址 在连通业务数据库与Dataphin间的网络时，您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。新增说明 Dataphin出网IP地址 2022年02月18日 新增数据源...
自定义购买实例
镜像 系统盘容量范围（GiB）Linux（不包括FreeBSD和Red Hat）[max{20,镜像文件大小},2048]FreeBSD[max{30,镜像文件大小},2048]Red Hat[max{40,镜像文件大小},2048]Windows[max{40,镜像文件大小},2048]（可选）数据盘 数据盘用于存储应用...
元数据管理常见问题
本文介绍使用智能媒体管理过程中可能遇到的元数据管理相关的问题。什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云...
成本追踪
元数据 当发现异常的计算作业时，您可以通过查看元数据来查看作业执行详细信息，找出具体的问题作业进行治理。您可以通过 Information Schema 视图中的TASKS_HISTORY数据统计作业量和TOP费用作业。具体可参考最佳实践 MaxCompute后付费消费...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
- 产品推荐
- 这些文档可能帮助您