概述
集群中所有读写节点的数据文件都存放在共享存储（PolarStore）中，全局只读节点通过分布式文件系统（PolarFileSystem）来共享底层存储（PolarStore）中已有的读写节点的数据文件。您可以通过全局只读地址连接全局只读节点，通过数据库代理...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
存储资源
存储资源是指用于存储和管理数据的硬件和软件资源，包括节点的本地磁盘、分布式文件存储、数据库和缓存等。存储资源的主要作用是存储和管理系统的数据。存储资源需要提供数据的持久性、可靠性和高效性，以满足系统的数据存储和访问需求。...
新功能测试申请
Volume是MaxCompute提供的分布式文件系统和相关的数据存储方案，功能为OSS路径在MaxCompute中的映射对象。MaxCompute通过创建External Volume去挂载OSS的一个路径或者 Bucket，利用MaxCompute权限管理系统对用户访问External Volume做细...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
（已弃用）挂载NAS
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。您可以通过FlexVolume在自建的Kubernetes集群使用阿里云NAS作为Volume。本文为您介绍如何使用非PVC方式，挂载NAS到ECI Pod上。前提条件 自建Kubernetes集群...
（已弃用）挂载NAS
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，您可以在自建的Kubernetes集群使用阿里云NAS作为Volume。本文为您介绍如何使用非PVC方式，挂载NAS到ECI Pod上。前提条件 自建Kubernetes集群中已部署VNode...
迁移HBase至Hologres
存储计算耦合，存储依赖底层Hadoop分布式文件系统（HDFS），HDFS集群需要手动扩容。HBase表根据Region大小进行分区，分别存储在集群不同的节点上。计算节点采用海量并行处理（MPP，Massively Parallel Processing）架构，基于存储计算分离...
管理存储资源
阿里云文件存储服务提供可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。为集群挂载新的存储资源，可以缓解单个文件系统在吞吐量、性能、共享访问的压力，支持更大规模集群的计算任务。挂载存储资源 您可以在创建集群时挂载存储...
分区
分区表实际就是对应分布式文件系统上的独立的文件夹，一个分区对应一个文件夹，文件夹下是对应分区所有的数据文件。概述 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以是一个，也可以是多...
（已弃用）挂载NAS
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。在阿里云ACK或者 ACK Serverless集群 中，挂载NAS到ECI Pod时，您可以通过PVC的方式挂载，也可以通过非PVC的方式挂载。本文介绍如何使用非PVC方式，挂载NAS...
Node Labels特性使用
高可用集群必须将centralized模式Node Labels数据存储在分布式文件系统中?在高可用集群中，ResourceManager在多个节点上进行部署。开源Hadoop默认存储Node Labels数据在本地tmp目录 file:/tmp/hadoop-yarn-${user}/node-labels/。主备切换...
阿里云存储服务
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。NAS提供极速型、通用性能型、通用容量型三种规格：规格 说明 极速型 基于阿里云最新一代网络架构和全闪存储打造的高性能共享文件存储。最大容量256 ...
Dataphin执行SQL报错“ODPS-0123144:Fuxi job failed-...
MaxCompute UDF 每输出一条记录，便会触发一次对分布式文件系统的写操作，同时会向 Fuxi 发送心跳，如果 UDF 10 分钟没有输出任何结果，会得到如下错误提示：FAILED:ODPS-0123144:Fuxi job failed-WorkerRestart errCode:252,errMsg:...
合并小文件
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在...
什么是PolarDB
各计算节点通过分布式文件系统（PolarFileSystem）共享底层的存储（PolarStore），极大降低了用户的存储成本。一写多读，读写分离。PolarDB 集群版 采用多节点集群的架构，集群中有一个主节点（可读可写）和至少一个只读节点。当应用程序...
Java沙箱
不允许直接访问分布式文件系统，只能通过MaxCompute MapReduce、Graph访问表的记录。不允许JNI调用限制。不允许创建Java线程，不允许启动子进程执行Linux命令。不允许访问网络，包括获取本地IP地址等。Java反射限制：suppressAccessChecks...
迁移开源HDFS的数据到文件存储 HDFS 版
可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。基于阿里云ECS搭建...
数据卷概述
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。更多信息，请参见 文件存储NAS概述。NAS数据卷适用于以下场景： 共享数据场景 NAS为共享存储，支持多个实例同时访问一份数据。NAS数据卷中的数据不会随实例...
什么是PolarDB PostgreSQL版（兼容Oracle）
各计算节点通过分布式文件系统（PolarFileSystem）共享底层的存储（PolarStore），极大降低了用户的存储成本。一写多读，读写分离。PolarDB PostgreSQL版（兼容Oracle） 采用多节点集群的架构，集群中有一个主节点（可读可写）和至少一个...
多主集群（库表）概述
集群中所有的数据文件都存放在共享存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，数据库代理会自动转发SQL命令到正确的RW节点。核心...
MaxCompute UDF（Java）常见问题
UDF访问本地文件、外网或分布式文件系统，创建Java线程等时，代码运行会报错。产生原因：网络限制问题，MaxCompute UDF默认不支持访问网络。解决措施：请根据业务情况填写并提交 网络连接申请表单，MaxCompute技术支持团队会及时联系您完成...
基本概念
文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所示。阿里云术语 术语 ...
从HDFS迁移数据到OSS-HDFS
DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。Jindo DistCp全量支持...
设置NAS存储
是一种可共享访问、弹性扩展、高可靠、高性能的分布式文件系统，为阿里云ECS实例、E-HPC、容器服务等计算节点提供了文件存储服务。本文介绍如何在 SAE 控制台为应用设置NAS存储。背景信息 通常情况下，存储在容器中的数据是非持久化的。...
安全白皮书
针对不同用户数据，进行数据存储隔离，并将其离散存储在分布式文件系统中。能够同时满足多用户协同、数据共享、数据保密和安全的需要，做到真正的多租户资源隔离。访问控制 通过多维度访问控制来保证数据安全。RAM权限控制 阿里云提供访问...
External Volume操作
External Volume是MaxCompute提供的分布式文件系统和非结构化数据存储方案，通过External Volume可以实现使用MaxCompute引擎处理OSS上的文件数据。本文为您介绍常用的External Volume操作。External Volume常用操作如下。类型 功能 角色 ...
插件配置概述
全部 安装、卸载 repository-hdfs Hadoop分布式文件系统HDFS（Hadoop Distributed File System）存储库插件，提供了对HDFS存储库的支持。全部 安装、卸载 sql SQL查询插件。5.5.3 安装、卸载 x-pack Elasticsearch的一个商业版扩展包，将...
深度解析Lindorm搜索索引（SearchIndex）特性
索引数据存储在分布式文件系统Lindorm DFS上，存算分离的架构具有极好的扩展性，同时存储层的透明压缩和智能冷热分离可以显著降低索引的存储成本。核心特性 Online DDL Operations 作为一个分布式数据库，Lindorm可以横向扩展支持高达亿次...
创建并连接云数据库RDS
RDS作为一种在线的数据库服务，基于阿里云分布式文件系统和SSD盘高性能存储。RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，为您解决数据库运维的烦恼。更多信息，请...
2022年
分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在...
概述
节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为降低数据存储成本，达到冷热数据分离管理的目的，您可以将共享存储中的冷数据转存至OSS： 对于普通表，您可以将冷数据 归档为CSV或ORC格式 并存储在OSS上，随后 ...
挂载NAS
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。部署阿里云CSI插件后，您可以在自建的Kubernetes集群使用阿里云NAS作为Volume。挂载NAS时，支持静态数据卷和动态数据卷，本文为您介绍如何使用PVC方式，...
在OSS-HDFS服务不同Bucket之间迁移数据
DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。Jindo DistCp全量支持...
ECI对接RDS
基于阿里云分布式文件系统和SSD盘高性能存储，RDS支持MySQL、SQL Server、PostgreSQL等多种数据库引擎，本文使用RDS MySQL实例为例。您可以根据业务需求来选择。更多信息，请参见 数据库引擎介绍。前提条件 已创建RDS MySQL实例，并且在...
文件存储 HDFS 版和对象存储OSS双向数据迁移
允许您就像在Hadoop的分布式文件系统中一样管理和访问数据，并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务，提供标准型、归档型等多种存储类型。您可以在 文件存储 HDFS 版 和对象存储OSS之间...
企业级状态后端存储配置
在使用OSS作为分布式文件系统时，可能会发生意料外的磁盘空间占用情况，这是由于OSS Client SDK会将文件先完整写到本地磁盘，再进行上传。而Flink在执行Savepoint时，单个StateBackend仅会产生一个文件，这就导致了创建Savepoint时，本地会...
MapReduce支持SQL运行时执行模式
支持分布式文件系统读写。支持Hash或Range聚簇表读写。此外还新增支持如下能力： 可以持续获得SQL在CBO优化器和向量化执行引擎等方面的持续性能优化收益。可以使用新的存储格式压缩机制。支持动态调整并发度，提高输入表为HashCluster等...
Iceberg
io-impl 分布式文件系统的实现类名 String 是 无 固定值为 org.apache.iceberg.aliyun.oss.OSSFileIO。oss.endpoint 阿里云对象存储服务OSS的Endpoint String 否 无 请详情参见 访问域名和数据中心。说明 推荐您为 oss.endpoint 参数配置...
挂载NAS
NAS是阿里云提供的一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。您可以通过FlexVolume在自建的Kubernetes集群使用阿里云NAS作为Volume。挂载NAS时，支持静态数据卷和动态数据卷，本文为您介绍如何使用PVC方式，挂载NAS到...
- 产品推荐
- 这些文档可能帮助您