数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
产品架构
投递的数据兼容开源生态标准，按照Parquet列存格式存储，兼容Hive命名规范。您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件...
使用SDK
format：投递的数据的存储以Parquet列存格式存储。默认值为Parquet。数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。目前仅支持Parquet，一般无需配置，保持默认即可。eventTimeColumn：事件时间列，用于指定按某一列...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
敏感数据安全防护方案
背景信息 敏感数据主要包括个人隐私信息、密码/密钥、敏感图片等高价值数据，这些数据通常会以不同的格式存储在您的各类存储系统中。如何更好地发现、定位、保护这些数据，对您的企业非常重要。OSS本身提供了细粒度的 权限管理 和 数据加密...
索引介绍
适合存储半结构化的数据。业务在运行过程中，可以进行任意的属性列变更。支持数据自动过期清理和数据多版本。每列都可以存储多个版本的值，每个值会有一个版本号，同时也是一个时间戳，如果设置了数据自动过期，则会按照这个时间戳来判断...
表格存储是否支持存储JSON数据？
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
通过SLS完成日志数据入湖OSS
如果未设置文件后缀，则日志服务会根据存储格式和压缩类型自动生成后缀，例如suffix。写OSS RAM角色 选择 默认角色，表示授权OSS投递作业使用阿里云系统角色AliyunLogDefaultRole将数据写入到OSS Bucket中。如果您还没有生成默认角色，需...
高级配置
命令格式如下：ossfs bucket:/prefix mount_point-ourl=endpoint 通过这个方式挂载时，需要确保存储空间里存在${prefix}/对象。您可以通过ossutil的 stat（查看Bucket和Object信息）命令查询该对象是否存在。示例：将位于杭州地域的存储...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
数据湖加速查询
Hologres通过与DLF、OSS无缝集成，以外部表的方式，无需移动数据（外表只做字段映射，不真正存储数据），就能直接加速读写存储于OSS上的Hudi、Delta、Paimon、ORC、Parquet、CSV、SequenceFile等格式类型的数据，降低开发运维成本，打破...
批计算
通过在E-MapReduce集群中使用Spark2访问表格存储。对于批计算，Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能，利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-...
OSS图片格式转换提示“Maximum width and height ...
问题描述 转换存储在阿里云对象存储OSS内图片的格式时，提示“Maximum width and height allowed is 16383 pixels for converting webp”错误。问题原因 WebP格式图片的边长限制为16383像素，您的图片超过了这个限制。解决方案 在转换存储...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
功能特性
挂载DBFS 卸载DBFS 从ECS云服务器上卸载数据库文件存储 卸载DBFS 扩容DBFS 支持业务友好地在线扩充存储容量 在线扩容 格式化DBFS 格式化数据库文件存储操作会清空已写入的数据，建议操作前创建快照备份数据库文件存储的数据-重命名DBFS ...
revert-versioning（恢复版本）
revert-versioning 命令用于在开启版本控制的存储空间（Bucket）中，将已删除的文件（Object）恢复至最近的版本。注意事项 要恢复文件的版本，您必须具有 oss:ListObjectVersions 和 oss:DeleteObjectVersion 权限。具体操作，请参见 为RAM...
格式转换
通过格式转换参数，您无需将图片下载到本地进行转换，只需指定URL转换存储在OSS内原图的格式。本文介绍对图片进行格式转换时所用到的参数及示例。使用场景 适应不同设备和平台：不同的浏览器、操作系统或移动设备可能支持不同的图片格式。...
使用Go语言驱动
本文介绍如何使用Go语言驱动连接表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、德国（法兰克福）、美国（弗吉尼亚）、印度（孟买）和...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
JDBC连接表格存储
本文介绍如何使用JDBC访问表格存储。注意事项 目前支持使用SQL查询功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北5（呼和浩特）、华北6（乌兰察布）、华南1（深圳）、西南1（成都）、中国香港、新加坡、...
音频转码
存储空间优化：高品质无损音频（如FLAC）占用大量存储空间，为了在移动设备上节省空间，用户会选择将其转码为有损但压缩率高的格式，如MP3。在线流媒体服务：在线音乐平台或广播电台会将原始音频文件转码成多种比特率版本，以适应不同网络...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
GetBucketStat
调用 GetBucketStat 接口获取指定存储空间（Bucket）的存储容量以及文件（Object）数量。注意事项 调用该接口时需要拥有 oss:GetBucketStat 权限。调用该接口获取的数据并非是实时数据，延时可能超过一个小时。调用该接口获取到的存储信息...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
获取存储空间的存储容量
本文介绍如何获取指定存储空间（Bucket）的存储容量以及Bucket内不同存储类型文件（Object）的数量及其存储容量。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
对象存储优化
存储空间清单功能以周为单位，对您存储空间内的对象进行扫描，扫描完成后会生成CSV格式的清单报告，并存储到您指定的存储空间内。在清单报告中，您可以有选择地导出指定对象的元数据信息，如文件大小、加密状态等。数据监控 OSS监控服务 为...
OSS中的透明图片添加水印不生效
问题描述 为存储在阿里云对象存储OSS中的图片文件增加水印时，水印不生效。问题原因 图片水印不支持原图有 透明图 层。添加水印时是以原图颜色为背景色，将水印图片融合进入RGB通道，Alpha通道保留原值。Alpha通道只有两个值（全透明或者不...
查看选项
o option_name[=option_value]或者-ooption_name[=option_value]例如在挂载时指定uid和gid参数：ossfs bucket_name mount_point-ourl=endpoint-ouid=uid-ogid=gid ossfs常用选项如下：url：用于指定存储空间的访问域名，格式为 url=...
归档存储服务等级协议
数据可迁移性 归档存储存储的对象是用户文件，文件类型维持原有格式不变。用户使用归档存储时，可随时访问、下载其文件，并根据需要自行保存或迁出。2.4.数据私密性 用户可在阿里云官网开通归档存储服务，阿里云为用户分配AccessId和...
NAS存储卷FAQ
使用NAS存储卷时，提示chown:Operation not permitted 使用NAS动态存储卷时，Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 使用NAS存储卷时，无法创建或修改目录 当工作负载挂载NAS存储卷时，提示unknown filesystem ...
实例操作
本文介绍如何使用Tablestore CLI以命令行的方式管理表格存储实例。开通表格存储服务 如果已经开通表格存储服务，请跳过此操作。服务仅需开通一次，开通过程免费。命令格式如下，用于开通表格存储服务。enable_service 返回结果如下：Your ...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
命令行工具ossutil快速入门
创建Bucket 命令格式 ossutil mb oss:/bucket 使用示例 创建名为examplebucket的存储空间。ossutil mb oss:/examplebucket 以下输出结果表明已成功创建examplebucket。0.668238(s)elapsed 有关创建Bucket的更多示例，请参见 mb（创建存储...
存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
服务地址
每个 表格存储 实例对应一个服务地址（Endpoint），应用程序进行表和数据操作时需要指定服务地址。不同访问场景下需使用相应的服务地址格式。说明 每个地域对应的RegionID请参见 地域。服务地址类型 服务地址包括公网地址、公网（双栈）...
- 产品推荐
- 这些文档可能帮助您