DLF-Auth
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
EMR-3.22.x版本说明
在Cache模式下，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能。Cache模式提供不同元数据同步策略以满足用户在不同场景下的需求。外部客户端支持 客户端SDK...
数据管理
阿里云EMR Delta Lake提供了强大的数据处理能力，可以帮助您管理和操作数据，确保数据的质量和一致性。本文为您介绍EMR Delta Lake如何进行删除、更新与合并数据等操作。DELETE 该命令用于删除数据。示例如下。SQL DELETE FROM delta_table...
什么是Dataphin
您可以通过规范建模自动开发数据，萃取以实体对象为中心的标签数据体系，沉淀业务数据知识、数据资产，治理数据问题。同时，Dataphin还支持数据表查询、智能语音查询等多种类型的数据服务。选择Dataphin，您可以轻松构建具有以下优势的数据...
查看选项
为提升性能，默认情况下ossfs会使用磁盘空间来保存上传或下载的临时数据。您可以通过该选项设置保留的可用硬盘空间大小，单位为MB。例如，您需要设置ossfs保留1024 MB的可用磁盘空间，则使用-oensure_diskfree=1024。dbglevel 设置日志信息...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
功能支持情况
不适用 监控服务 OSS监控服务为您提供系统基本运行状态、性能以及计量等方面的监控数据指标，并且提供自定义报警服务，帮助您跟踪请求、分析使用情况、统计业务趋势，及时发现以及诊断系统的相关问题。支持 日志转存 访问OSS的过程中会产生...
Hologres管控台的监控指标
Hologres的内存资源采用预留模式，在没有查询的时候，也会有数据表的元数据、索引、数据缓存等加载到内存中，以便加快检索和计算，此时内存使用率不为零是正常情况。理论上，在无查询的情况，内存使用率达到30%-40%左右都属于正常情况。当...
权限自查建议
这种情况符合数据开发的实际情况，如果可以用SQL处理，通常优先使用SQL处理数据。某账号提交的任务非常多，经了解，其将自己的AccessKey通过SDK的方式配置了一个查询软件，并提供多人进行查询。不推荐该方式，请谨慎开放权限，避免多人共用...
常见问题
但是，不建议直接将A shard B replica修改为C shard D replica，这样可能出现一些问题，尤其是集群中已经有数据存在的情况下，可能会导致集群的数据错误。建议新增一个逻辑集群配置支持C shard D replica，同时保留A shard B replica的配置...
存储空间地域属性
✓×监控服务 OSS监控服务为您提供系统基本运行状态、性能以及计量等方面的监控数据指标，并且提供自定义报警服务，帮助您跟踪请求、分析使用情况、统计业务趋势，及时发现以及诊断系统的相关问题。✓ ✓ 日志转存 访问OSS的过程中会产生...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
组件接入
5.组件版本锁 为了防止某些情况下，组件内容被错误覆盖，平台提供了版本锁功能.当锁处于开启状态时，如果组件的版本已经存在，则无法使用Zlink(>=1.4.3)进行push操作，将会得到下面的报错 点击组件详情，在版本切换Tab右侧开启版本锁即可 ...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
NAS监控概述
通过查看NAS文件系统的监控信息，您可以了解文件系统的使用情况。通过对文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍NAS支持的监控项以及其报警规则说明。背景信息 云监控（CloudMonitor）是一项...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
EMR-5.4.x版本说明
本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。发布日期 版本 日期 EMR-5.4.3 2021年12月 EMR-5.4.2 2021年12月 EMR-5.4.1 2021年11月 EMR-5.4.0 2021年10月 更新内容 EMR-5.4.3 修复了所有相关组件的Log4j安全漏洞，详细信息...
DoMetaQuery
调用 DoMetaQuery 接口查询满足指定条件的文件（Object），并按照指定字段和排序方式列出文件信息。您也可以通过Query的嵌套使用实现复杂查询，以及通过聚合操作实现对不同字段的值进行统计和分析。注意事项 要查询满足指定条件的文件，您...
升级内核小版本
云数据库RDS SQL Server实例支持手动升级内核小版本，内核小版本的升级涉及性能提升、新功能或问题修复等。RDS SQL Server内核小版本的更新说明，请参见 SQL Server小版本发布记录。其他引擎升级内核小版本请参见：MySQL升级内核小版本 ...
Flink SQL作业快速入门
代码结构 数据流向图：您可以通过数据流向图快速查看出数据的流向。树状结构图：您可以通过树状结构图快速查看出数据的来源。版本信息 您可以在此处查看作业版本信息，操作 列下的功能详情请参见 管理作业版本。步骤四：进行深度检查 在...
身份认证和访问控制
限制节点对实例元数据API的访问 ECS实例元数据概述包含了ECS实例在阿里云系统中的信息，您可以在运行中的实例内方便地查看实例元数据，并基于实例元数据配置或管理实例。实例元数据中能够查询到用户使用的云资源和用户数据等敏感信息，若不...
PutObject
不建议使用ETag作为Object内容的MD5来校验数据完整性。默认值：无 Expires 字符串 否 2022-10-12T00:00:00.000Z 缓存内容的绝对过期时间，格式是格林威治时间（GMT）。默认值：无 x-oss-forbid-overwrite 字符串 否 false 指定PutObject...
SmartData 3.0.x版本简介
JindoFS存储优化 改进Jindo Namespace服务单机配置，单机情况下也可以更新并异步写入元数据至Tablestore。移除Jindo Namespace服务的Tablestore作为元数据后端的配置，不再支持基于Tablestore的HA方案。支持归档存储，允许文件数据按照OSS...
DataWorks的审计事件
操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，DataWorks支持在操作审计中查询的事件如下表...
OSS数据源
元数据发现任务可以在单次运行中自动为OSS上面的数据文件创建和更新数据湖元数据（一张或多张表），具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力。OSS数据源配置模式 OSS数据...
Debezium
在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Debezium格式的JSON消息或...
QueryAppMetadata-查询编码映射内容
根据ID和类型查询编码映射内容。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
Apache HDFS透明缓存加速
Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存，避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离，HDFS集群访问性能不及预期时，您可以通过在计算集群或靠近计算集群的地方缓存...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
管理敏感数据
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
快速使用数据湖分析版实例
数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据，并涵盖OSS、OSS-HDFS、HDFS等平台，无需数据迁移即可实现快速的数据湖查询分析，且其性能比Presto高出3到5倍。...
智能媒体管理的审计事件
操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，智能媒体管理支持在操作审计中查询的事件...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
PolarDB MySQL版8.0.1版本发布日志
修复多主集群在极少数情况下因没有及时释放定时任务元数据锁而导致集群崩溃的问题。修复访问X-Engine引擎中的表时，因访问主键索引之后无法使用索引覆盖扫描结果而导致查询变慢的问题。修复一键升级RDS MySQL至 PolarDB MySQL版 场景下，...
MySQL连接器
背景信息 本文为您介绍MySQL连接器相关的内容和操作，具体如下：配置MySQL连接器 类型映射 示例：查询MySQL 下推（Pushdown）前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，或者创建单独的Presto集群，详情请参见 创建...
MSHA应用双活架构接入Helloworld
北京单元的数据库显示如下图：数据保护规则如下图：测试步骤 北京单元的应用执行数据库读操作（即查询商品详情）、写操作（即下单），应该访问到北京数据库。杭州单元的应用执行数据库读操作（即查询商品详情）、写操作（即下单），应该...
如何打造千万级Feed流系统
数据分类 根据上述特征和信息流关系，Feed流系统中的数据主要可以分为三类：发送的数据 关系数据 接收的数据 系统分类 Feed流种类较多，可根据接收的数据和关系数据进行分类。根据接收数据的展示排序方式可以分为：基于时间的Timeline：按...
新功能发布记录
对插件数据集中IP黑白名单配置数据的修改会实时生效 全部 IP访问控制插件 参数访问控制插件支持插件数据集 用户可以将特定参数值配置到插件数据集中，并且在参数访问控制插件中引用该数据集。对插件数据集中特定参数值的配置数据的修改会...
服务运维
元数据不一致：元数据平台维护了 Pod 粒度的 Sidecar 版本信息，但是由于 Operator 是面向终态的，会出现元数据与底层实际不一致的情况，当前仍依赖巡检发现。缺少完善的 Sidecar ops 支撑平台：缺少多维度的全局视图。缺少固化的灰度发布...
客户端加密
OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。免责声明 使用客户端加密功能时，您需要对主密钥的完整性和正确性负责。因您维护不当导致主...
- 产品推荐
- 这些文档可能帮助您