设置投递数据到对象存储OSS
当您需要将资源的定时快照或配置变更历史投递到对象存储OSS的指定地址时，需要设置存储空间（Bucket）。资源数据投递到指定存储空间后，您可以查看或下载JSON格式文件。前提条件 请确保您已开通对象存储OSS服务。具体操作，请参见 开通OSS...
云数据源对象存储OSS
添加对象存储OSS数据源用于连通阿里云对象存储OSS与Quick BI，连接成功后，您可以在Quick BI上进行数据的分析与展示。Quick BI支持以公网的方式连接阿里云OSS，本文为您介绍如何添加阿里云OSS数据源。前提条件 已开通阿里云OSS服务并创建...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
使用JindoDistCp工具迁移第三方云对象存储数据到OSS/...
property><name>fs.oss.accessKeyId</name><value>xxx</value></property><property><name>fs.oss.accessKeySecret</name><value>xxx</value></property>拷贝数据到阿里云OSS/OSS-HDFS上 您可以使用如下命令将第三方云对象...
添加对象存储OSS数据源
使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备好待添加的对象存储OSS数据源。添加对象存储OSS数据源操作步骤 登录 DataV控制...
数据容灾
跨区域复制 跨区域复制（Cross-Region Replication）是跨不同OSS数据中心（地域）的存储空间（Bucket）自动、异步（近实时）复制对象（Object），它会将Object的创建、更新和删除等操作从源存储空间复制到不同区域的目标存储空间。...
使用数据复制功能迁移同账号下的OSS数据
在同一个阿里云账号下，您可以通过OSS的跨区域复制功能将地域A的某个存储空间（Bucket）数据迁移至地域B下的另一个Bucket。如果您需要将地域A某个Bucket的数据迁移至相同地域的另一个Bucket，请使用OSS的同区域复制功能。注意事项 数据迁移...
OSS文件如何避免数据误删或误覆盖
概述 使用阿里云对象存储OSS时，有些操作可能会导致文件被删除或者覆盖，本文主要介绍如何避免数据误删或误覆盖。详细信息 OSS是分布式存储产品，通过数据自动多重冗余备份保证数据的持久性。因此正常情况下，OSS本身是不会导致数据出现...
使用在线迁移服务跨账号迁移OSS数据
结合文件元数据信息，例如最后修改时间LastModified、文件大小Size和文件类型Content-Type等是否相同进一步判断覆盖或者跳过同名文件。更多参考 跨账号数据迁移的更多场景 迁移指定数据 以上场景假设了迁移整个Bucket的所有数据，如果您只...
OSS小时数据
归档存储数据取回 解冻归档存储类型文件产生的费用。按解冻文件大小计费。RetrievalDataArchiveDirect Integer 200 归档存储类型数据直读取回。直接访问归档类型文件产生的费用。按直读数据取回量计费。ChargedDatasizeCA Integer 100 按冷...
Spark使用OSS Select加速数据查询
背景信息 本文所有操作基于 Apache Impala(CDH6)处理OSS数据 搭建的CDH6集群及配置。说明 文中所有${} 的内容为环境变量，请根据您实际的环境修改。步骤一：配置Spark支持读写OSS 由于Spark默认没有将OSS的支持包放到它的CLASSPATH里面，...
迁移HDFS数据到OSS
但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项较单一，无法很好地满足用户的需求。阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo ...
敏感数据安全防护方案
本文介绍如何将阿里云对象存储OSS与阿里云 数据安全中心DSC（Data Security Center）结合，对敏感数据进行识别、分类、分级和保护。前提条件 已开通DSC 开通步骤请参见 快速实现数据分类分级。已开通OSS 开通步骤请参见 开通OSS服务。背景...
通过云原生数仓Databend Cloud分析OSS数据
本文介绍如何 通过云市场开通云原生数仓Databend Cloud，然后接入OSS数据进行分析。产品优势 Databend Cloud支持多云，是一款基于云基础架构的解决方案。其优势包括：即时弹性 存储与计算分离，支持根据数据分析规模弹性扩展计算资源。极速...
数据湖生态接入
本文介绍对象存储OSS支持接入的数据湖生态。生态类型 引擎/平台 参考文档 开源生态 Elasticsearch 将Elasticsearch的快照备份至OSS Flink 使用Flink访问OSS 开源Flink写入OSS-HDFS服务 Fluentd 使用Fluentd访问OSS Flume Flume使用JindoSDK...
敏感数据保护
计费说明 在OSS数据初次接入扫描时，敏感数据识别对已授权的数据源执行全量扫描并收取全量扫描费用。初次扫描任务完成后，敏感数据识别仅对该数据源中新增或修改的文件收取扫描费用。关于敏感数据保护费用的更多信息，请参见 敏感数据保护...
使用ossimport迁移数据
ossimport支持将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中。本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州（华南）区域，数据大小约500TB。现...
使用数据迁移工具ossimport迁移OSS资源失败的解决方法
问题描述 使用阿里云对象存储OSS时，将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中可以使用ossimport工具。本文介绍运用数据迁移工具ossimport迁移OSS资源失败的报错原因及解决方案。问题原因 使用...
通过CDH5 Hadoop读取和写入OSS数据
fs.oss.impl Hadoop OSS文件系统实现类。目前固定为 org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。fs.oss.buffer.dir 填写临时文件目录。建议值：/tmp/oss fs.oss.connection.secure.enabled 是否开启HTTPS，开启HTTPS会影响性能...
数据加密
对象存储OSS提供服务器端加密和客户端加密，并支持基于SSL/TLS的HTTPS加密传输，有效防止数据在云端的潜在安全风险。服务器端加密 OSS支持在服务器端对上传的数据进行加密（Server-Side Encryption）。上传数据时，OSS对收到的用户数据进行...
通过XIHE SQL或者Spark SQL访问OSS数据
AnalyticDB MySQL 湖仓版（3.0）支持通过XIHE SQL和Spark SQL访问OSS数据。本文以基金交易数据处理为例，介绍通过XIHE SQL和Spark SQL访问OSS数据的具体步骤。前提条件 已开通OSS服务并创建存储空间和目录。具体操作，请参见 开通OSS服务、...
敏感数据保护费用
在OSS数据初次接入扫描时，敏感数据保护对授权的数据源执行全量扫描并收取全量扫描费用。初次扫描任务完成后，敏感数据保护仅对该数据源中新增或修改的文件收取扫描费用。说明 本文仅说明相关计费项及付费方式。有关计费项的定价详情，请...
通过SLS完成日志数据入湖OSS
2850008 结合以上示例值，则投递作业创建时间为2022/01/20 19:50:43生成的OSS文件路径为：oss:/examplebucket/exampledir/2022/01/20/19/50_1484913043351525351_2850008.suffix 说明 OSS文件路径以投递作业的创建时间动态生成。...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
通过MaxCompute查询和分析OSS数据
部分应用可能每天都有大量的数据上传至OSS，这些数据可能涉及超大文本文件的结构化分析。您可以通过MaxCompute的外部表查询功能，将OSS存储的数据加载到MaxCompute进行分析。MaxCompute的数据查询和分析工作效率可提升至分钟级，帮助您更...
数据迁移概述
具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储OSS之间进行跨账号、跨地域、以及同地域内灵活的数据迁移。迁移时无需搭建迁移环境，可在线提交迁移...
第三方数据源迁移到 OSS
您可以使用阿里云在线迁移服务将第三方数据源，如亚马逊AWS、谷歌云等数据轻松迁移至阿里云对象存储OSS。使用在线迁移服务，您只需在控制台填写源数据地址和目标OSS地址信息，并创建迁移任务即可。启动迁移后，您可以通过控制台管理迁移...
数据索引费用
数据索引是OSS对外提供的文件（Object）元数据索引能力。您可以利用Object的元数据自定义索引的条件以快速获取Object列表。重要 开启元数据管理功能将会产生Object的Meta管理费用以及Bucket的查询费用，但公测期间暂不收费。本文仅说明相关...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将对象存储OSS里面的数据作为 PAI 的训练样本。说明 本文由 龙临@阿里云 提供，仅供参考。背景信息 本文通过 OSS 与 PAI 的结合，为一家传统的文具零售店提供决策支持。本文涉及的具体业务场景（场景与数据均为虚拟）如下：...
欠费后是否影响OSS中存储的数据？
如果您在OSS停服后15天内未补足欠款，将视为您主动放弃OSS存储服务，阿里云将终止本产品服务条款并停止为您继续提供服务，您保存在阿里云的全部数据将会被清理删除，且清理后数据不可恢复。请注意，数据清理之前仍会继续计费，若您确认不再...
数据处理费用
按量付费：归档存储数据取回费用=解冻文件大小（GB）×归档存储文件数据取回单价 资源包：不支持 归档直读数据取回容量（RetrievalDataArchiveDirect）直读归档存储类型文件产生的费用。按直读文件的大小计费。重要 对于已解冻的归档存储...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
hive 通过OSS-HDFS服务存储数据。创建数据库和表时，您可以通过以下两种方式指定OSS-HDFS服务路径，将数据库或表的数据保存到OSS-HDFS服务中。方式一：在命令示例中指定OSS-HDFS服务路径 创建数据库时指定OSS-HDFS服务路径 CREATE DATABASE...
使用数据复制时间控制（RTC）
OSS数据复制时间控制RTC（Replication Time Control）可满足您在跨区域复制数据的合规性要求或者业务需求。开启RTC后，OSS会在几秒内复制您上传到OSS的大多数对象（Object），并在10分钟内复制99.99%的对象。此外，RTC功能还提供了数据复制...
数据索引
如果您希望在查询结果中对数据进行分类统计，例如统计所有文件大小、去重统计文件存储类型等，请添加数据聚合方式。使用阿里云SDK 仅Java SDK、Python SDK以及Go SDK支持通过数据索引功能查询满足指定条件的Object。使用数据索引功能前，您...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
通过OSS-HDFS服务存储数据。创建数据库和表时，您可以通过以下两种方式指定OSS-HDFS服务路径，将数据库或表的数据保存到OSS-HDFS服务中。方式一：在命令示例中指定OSS-HDFS服务路径 创建数据库时指定OSS-HDFS服务路径 CREATE DATABASE db_...
数据校验
OSS提供基于MD5和CRC64的数据校验，确保上传、下载和拷贝文件过程中的数据完整性。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
SeaTunnel是一个开源、易用的超高性能分布式数据集成平台，支持海量数据的实时同步。本文介绍如何通过SeaTunnel集成平台将数据写入OSS-HDFS服务。背景信息 SeaTunnel可稳定高效地同步百亿级数据，专注于数据集成和数据同步，主要解决数据...
OSS有几种数据校验方式？
OSS会在接收文件时，将文件的MD5值和Content-MD5进行比对，两者一致时才可以上传成功，从而保证上传数据的一致性。说明 putObject、getObject、appendObject、postObject、Multipart、uploadPart支持MD5校验。CompleteMultipartUpload的...
降低因操作失误等原因导致数据丢失的风险
为Bucket开启跨区域复制 跨区域复制（Cross-Region Replication）是跨不同OSS数据中心（地域）的Bucket自动、异步（近实时）复制文件（Object），它会将Object的创建、更新等操作从源Bucket复制到不同区域的目标Bucket。跨区域复制功能满足...
Apache Impala（CDH6）查询OSS数据
本文将详解如何配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接阿里云OSS存储服务进行数据查询操作。前提条件 已搭建CDH6 集群。具体操作，请参见 安装指南。本文以CDH6.0.1版本为例。步骤一：增加OSS配置 通过集群管理...
- 产品推荐
- 这些文档可能帮助您