我的程序要并发访问大量共享数据，该如何设计？
如果有大量共享数据需要并发访问，可以把数据存放在阿里云 OSS 或者 NAS 上，并且用InputMapping 的方式挂载访问。BatchCompute 会在访问的节点间自动建立起分布式缓存，可以大幅提升 OSS 和 NAS 的并发访问效率。
敏感数据访问及导出情况
数据访问 页面包括 访问行为 和 导出行为：访问行为：包括Select、Create、Insert操作，但不包括访问失败的行为。您可以在完成敏感数据规则配置的第二天，进入 访问行为 页签，查看数据的使用情况。包括 访问概览、访问量趋势 和 访问记录...
DLF数据访问权限控制
DataWorks为您提供DLF可视化权限申请、权限审批及权限审计等功能，帮助您实现数据湖全托管的统一权限管理，本文为您详细介绍如何进行DLF数据访问权限管控。前提条件 已将DLF设置为计算引擎元数据服务。例如，EMR已将DLF设置为元数据服务，...
MaxCompute数据访问权限控制
DataWorks的数据访问控制，为您提供了访问MaxCompute引擎数据时的权限管控能力，包括权限申请、权限审批、权限审计，还支持您查看权限申请记录、权限审批记录。本文为您介绍MaxCompute数据访问权限管控。前提条件 已了解 MaxCompute数据...
场景：跨账号创建数据源
详情请参见 创建MaxCompute数据源、创建Hologres数据源。...创建MaxCompute项目，详情请参见 创建MaxCompute项目。...说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间...
通过跨项目数据访问实现不同地域MaxCompute项目数据...
本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region的项目数据迁移；不同云账号间不同Region的项目数据迁移。使用限制 此方案只支持在中国内地地域间实现不同地域间的...
GetOpRiskData
调用GetOpRiskData，获取租户下所有DataWorks工作空间指定日期中有风险的敏感数据访问记录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
基于Package跨项目访问资源
被授权的MaxCompute项目可以访问Package，但仅能访问敏感等级小于等于 number 的数据。不指定时，默认为0级。更多Label权限控制信息，请参见 Label权限控制。使用示例 允许test_project_b项目安装test_project_a中已创建的Package ...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
JindoFS FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
附录：DataWorks访问其他引擎产品的服务关联角色
DataWorks服务关联角色 AliyunServiceRoleForDataWorksDI 获取RAM角色列表，在配置角色访问数据源功能时支持选择角色。AliyunServiceRoleForDataWorksDI介绍 AliyunDIDefaultRole 在进行数据源配置、任务配置、数据同步时，允许DataWorks...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
FUSE使用说明
通过JindoFS的FUSE客户端，将JindoFS集群上的文件映射到本地磁盘，您可以像访问本地磁盘一样访问JindoFS集群上的数据，无需再使用 hadoop fs-ls jfs:/<namespace>/方式访问数据。挂载 说明 依次在每个节点上执行挂载操作。使用SSH方式登录...
在DataLake集群自建Hue组件
host 访问数据库的主机名，MySQL中默认值为localhost。port 与数据库通信的端口号，MySQL中默认值为3306。user 为前一步骤中创建的用户名。本示例为hue。password 为前一步骤中新增hue账号的密码，本示例为*。name 为前一步骤中创建的数据...
存储费用
分层存储计费（Beta版本）MaxCompute以项目为单位，通过采集每个MaxCompute项目在每个小时的存储量进行计费，同时设置成分层存储的项目，会按照访问数据的大小收取数据访问费。具体计费规则如下。说明 目前分层存储计费处于公测中，需要...
分层存储
当表或分区设置为低频存储或长期存储，请注意访问数据量和频次，如果访问数据量大或访问频次过多，可能会导致费用高于标准存储费用。一个月全量访问一次低频存储的表或分区产生的费用，将等于标准存储的费用。六个月全量访问一次长期存储的...
通过RAM角色授权模式配置数据源
访问模式 此处选择 RAM角色授权模式，通过STS授权的方式允许云产品服务账号扮演相关角色来访问数据源，具备更高安全性。选择角色 从 选择角色 下拉列表中选择RAM角色。测试网络连通性。在 数据集成 页签下，单击相应资源组后的 测试连通性...
JindoFS实战演示
Fluid+JindoFS对海量小文件的训练加速 Fluid+JindoFS对海量小文件的训练加速 2021-07-13 在AI训练场景中处理海量小文件面临很多问题，例如远程调用频繁，NameNode压力大、访问数据延时高、高频访问稳定性低。Fluid JindoRuntime提供了高效...
数据服务集群
特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用以对HBase表进行类似于SQL的查询。Apache HBase基于HDFS作为底层存储系统，在云上的场景可以使用...
Spark Connector
MaxCompute支持通过Spark Connector调用Storage API直接访问MaxCompute底层存储，并且支持高并发的数据读写操作，而不通过MaxCompute前端服务层，提供更直接访问和操作数据的能力，提高了数据访问和处理的效率。架构图如下：前提条件 已...
Spark访问湖仓一体外部数据源
MaxCompute Spark目前已支持访问湖仓一体外部数据源，若您想将数据处理作业的环境从Spark更换为MaxCompute，无需再迁移Spark作业数据到MaxCompute，可直接进行访问，从而降低使用成本。本文为您介绍使用MaxCompute访问外部数据源的示例。...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
通过Jindo CLI命令访问OSS/OSS-HDFS
本文为您介绍如何通过Jindo CLI命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.44.0及以上版本或EMR-5.10.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
通过Hadoop Shell命令访问OSS/OSS-HDFS
本文为您介绍如何通过Hadoop Shell命令访问OSS和OSS-HDFS。环境准备 EMR环境中，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，请先安装部署JindoSDK，详情请...
Hive Metastore使用加密文件访问RDS
EMR Hive服务默认使用明文保存密码来访问本地MySQL或RDS MySQL，但也可以使用加密文件来访问这些数据库。本文为您介绍如何使用加密文件访问RDS MySQL。前提条件 已创建集群，并且选择了Hive服务，详情请参见 创建集群。已购买RDS，详情请...
OSS/OSS-HDFS授权
本文为您介绍如何授权访问OSS和OSS-HDFS。授权访问OSS 您可以通过自定义策略灵活定义RAM用户对OSS数据的访问权限，具体步骤为：使用阿里云账号登录 RAM控制台。在左侧导航栏，单击 权限管理>权限策略。在 权限策略 页面，单击 创建权限策略...
UDF访问公网或阿里云内网提示“Network is ...
问题描述 UDF访问公网或阿里云内网提示“Network is unreachable”报错，例如，UDF使用公网访问网站获取地理信息，然后通过内网发送消息...解决方案 需要提前将访问的数据上传为MaxCompute资源，UDF通过访问资源来获取数据。适用于 DataWorks
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y|N"}';RDS MySQL归档表保留了InnoDB完整的索引信息和事务性，具有快速...
Hive访问Delta Lake和Hudi数据
本文通过示例为您介绍如何使用EMR上的Hive访问Delta Lake和Hudi数据。前提条件 已创建包含Hive、Delta Lake和Hudi服务的集群，详情请参见 创建集群。已登录集群，详情请参见 登录集群。使用限制 EMR-3.36.0及后续版本和EMR-5.2.0及后续版本...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
DataWorks产品安全能力介绍
离线风险规则 支持对MaxCompute数据访问/操作配置异常行为相关的离线风险规则，实现T+1告警。详情请参见 离线风险规则。说明 仅DataWorks企业版支持配置离线风险识别规则。实时风险规则 支持对DataWorks的高危操作自定义扩展程序，来实时...
冷热分层
但随着时间的推移，旧数据访问频率会越来越低，仅存在少量查询，甚至完全不查询，此时数据为冷数据。常见于交易类数据、时序监控和IM聊天等场景。按照访问热度：采用业务打标或系统自动识别等方式，按照数据的访问热度来区分冷热数据。例如...
访问实例
Lindorm通过访问实例满足大量数据库读取需求，本文介绍如何从Lindorm控制台获取Lindorm消息引擎Kafka...添加白名单 为了连接安全，无论是公网访问还是专有网络访问，均需要将访问数据库的地址加入到白名单中。具体操作，请参见 设置白名单。
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
JindoTable表或分区访问冷度收集
JindoTable表或分区的访问冷度收集功能可以为您维护表或分区上次的访问时间，从而筛选出最近没有被访问的数据，帮助您优化数据存储方式，节约成本。例如，在数据分析中，您可以把部分不常用的分区数据移动到成本更低的存储介质以节约成本。...
- 产品推荐
- 这些文档可能帮助您