阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。
阿里云提供针对各种存储资源(块、文件和对象)的低成本、高可靠、高可用的存储服务,涵盖数据备份、归档、容灾等场景。
问题描述图片上传到阿里云对象存储OSS后,通过HTTP请求该图片URL,发现返回403错误。...相关文档OSS权限相关常见错误的排查方法OSS跨域资源共享(CORS)出现的常见错误及解决方案OSS上传回调中的常见错误及分析处理适用于对象存储OSS
Region表示OSS的数据中心所在的地域,Endpoint表示OSS对外服务的访问域名。本文主要介绍Region与Endpoint的对应关系。公共云下OSS Region和Endpoint对照表 公共云下OSS各地域Endpoint如下:Region Region ID 外网Endpoint 内网Endpoint① ...
OSS Action分类 OSS Resource说明 OSS Condition说明 OSS常用的权限策略 AliyunOSSFullAccess:为RAM用户授予OSS的完全管理权限。AliyunOSSReadOnlyAccess:为RAM用户授予OSS的只读访问权限。OSS访问控制方式 有关OSS包含的访问控制方式的...
概述本文主要介绍在使用阿里云对象存储OSS过程中,在以下场景中,如何授权子用户和STS临时用户通过OSS SDK、OSS命令行或者OSS控制台管理OSS资源的部分权限,进行细粒度的权限控制。授权RAM用户拥有一个存储空间的全部权限授权RAM用户读取...
当您通过OSS内网地址访问OSS资源时,不收取流量费用。本文介绍ECS实例如何通过OSS内网地址访问OSS资源。通过OSS内网地址访问OSS资源有以下两种方式:与OSS同地域ECS实例可以直接通过内网访问有权限的OSS资源。与OSS不同地域的ECS实例或公网...
概述 本文主要介绍OSS SDK使用中常见问题的解决方法。详细信息 本文档介绍使用OSS SDK时可能遇到的问题。如果您遇到相同的问题,可参考其对应的解决方案进行处理。Java 使用Java SDK时报“Connection to XXXX refused”错误 使用Java SDK...
本文介绍如何使用阿里云Jindo DistCp在OSS-HDFS服务不同Bucket之间迁移数据。前提条件 JDK 1.8及以上版本。如果您使用的是自建ECS集群,需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。如果您使用的是阿里云E-MapReduce,...
阿里云对象存储OSS最佳实践主要介绍数据迁移、数据备份和容灾、数据直传OSS、数据处理与分析、音视频转码、使用Terraform管理 OSS等操作,帮助您更加高效地使用OSS,满足您的业务需求。数据迁移 OSS之间数据迁移 第三方数据源迁移到OSS 从...
云下机房设备或异地ECS实例希望通过内网访问OSS时,可通过CEN、高速通道、专线、VPN等连接OSS所在地域内网网络,并配置指向OSS内网网段的路由。本文列出OSS各地域的内网网段。警告 OSS为每个Region内网VIP网段划分了固定地址段,您按Region...
概述 本文主要介绍如何将本地、第三方存储设备或者OSS源存储空间(Bucket)内的数据迁移至阿里云对象存储OSS的目标Bucket。详细信息 请根据不同的使用场景选用不同的数据迁移方式: 在线迁移使用在线迁移服务,您可以将第三方数据轻松迁移...
开通OSS-HDFS服务之前,您需要了解OSS-HDFS服务与OSS其他多个功能的关系,避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。警告 当您为某个Bucket开通OSS-HDFS服务后,通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata...
本文介绍如何使用阿里云Jindo DistCp从HDFS迁移数据到OSS-HDFS。前提条件 JDK 1.8及以上版本。如果您使用的是自建ECS集群,需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。如果您使用的是阿里云E-MapReduce,需使用EMR-5....
概述 本文主要介绍阿里云对象存储OSS文件上传和下载失败的排查方法。详细信息 当您访问OSS出错时,OSS会返回3xx、4xx或者5xx的HTTP状态码,您可以参见通过HTTP状态码或者OSS错误码排查,通过状态码进行排查处理。在使用OSS SDK上传或下载...
本文介绍如何开通并授权访问OSS-HDFS服务。前提条件 华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、华北3(张家口)、中国香港、新加坡、德国(法兰克福)、美国(硅谷)、美国(弗吉尼亚)、印度尼西亚(雅加达)地域支持...
JindoSDK是一个面向Hadoop、Spark生态且简单易用的OSS客户端,为OSS提供高度优化的Hadoop FileSystem实现。相对于Hadoop社区OSS客户端,Spark使用JindoSDK查询OSS-HDFS服务中的数据时,可以获得更好的性能。前提条件 已创建ECS实例。具体...
oss:GetBucketVersioning","oss:GetBucketAcl"],"Resource":"acs:oss:*:*:*"}, {"Effect":"Allow","Action":["oss:ListObjects","oss:GetBucketAcl"], Resource":"acs:oss:*:*:mybucket"},{"Effect":"Allow","Action": oss:GetObject",...
OSS-HDFS服务(JindoFS服务)完全兼容HDFS接口,同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用(例如MapReduce、Hive、Spark、Flink等)提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK,然后完成...
例如localdir为/tmp/,里面有a/b、a/c、a三个文件,则上传到OSS中为oss:/bucket/a/b、oss:/bucket/a/c、oss:/bucket/a。如果指定了prefix为mytest,则上传到OSS中为oss:/bucket/mytest/a/b、oss:/bucket/mytest/a/c、oss:/bucket/mytest/a...
您可以通过OSS文档获取咨询类和错误排除类等常见问题答案。本文提供OSS各类常见问题的入口链接汇总。错误码 203错误 400错误 403错误 404错误 405错误 409错误 411错误 412错误 416错误 424错误 500错误 503错误 售前常见问题 在购买和使用...
Kafka集群的数据至OSS-HDFS服务MaxCompute基于OSS+MaxCompute构建数据仓库PAI使用OSS中的数据作为机器学习的训练样本SLS通过SLS完成日志数据入湖OSSDataLakeAnalyticsDataLakeAnalytics+OSS:基于OSS的Severless的交互式查询分析开源生态...
oss:GetObject","oss:GetObjectAcl","oss:ListObjects","oss:RestoreObject", oss:GetVodPlaylist","oss:ListObjectVersions","oss:GetObjectVersion", oss:GetObjectVersionAcl","oss:RestoreObjectVersion"],"Condition":{ IpAddress...
本文档基于OSS C SDK 3.9.2编写。兼容性 OSS C SDK版本兼容性说明如下:对于3.X.X系列SDK:兼容。对于 2.X.X系列SDK: 兼容Windows。兼容Linux,链表(aos_list_t)遍历接口不兼容。aos_list_for_each_entry aos_list_for_each_entry_...
本文列举了对象存储OSS的用户经常咨询和关注的一些问题,帮助您快速了解OSS。一般常见问题 什么是阿里云OSS?阿里云对象存储服务OSS(Object Storage Service),是阿里云提供的海量、安全、低成本、高持久性的云存储服务,并可无限扩展。...
问题描述阿里云对象存储OSS为满足Bucket跨区域容灾或用户数据复制的需求,在源存储空间(Bucket)配置了跨区域复制规则或同区域复制规则后,对象副本未出现在目标Bucket。跨区域复制的使用场景及限制请参见跨区域复制介绍。问题原因Bucket...
OSS-HDFS服务(JindoFS服务)的快照功能在使用方式上与HDFS的快照功能完全兼容,同时支持目录层级的操作。本文介绍OSS-HDFS服务Snapshot命令的常见操作。前提条件 已创建Hadoop环境、Hadoop集群或者Hadoop客户端。具体操作,请参见创建...
问题描述使用OSS Java SDK时,报类似如下错误信息。Connection to http://buname.oss-cn-hangzhou-internal.aliyuncs.com refused[RequestId]: Unknown at com.aliyun.oss.common.utils.ExceptionFactory.createNetworkException...
阿里云开源大数据开发平台E-MapReduce(简称EMR)特定版本集群默认集成OSS-HDFS服务。本文介绍如何通过EMR集群完成OSS-HDFS服务快速入门的常见操作。前提条件 已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见...
概述 本文主要介绍如何对阿里云对象存储OSS进行访问权限控制,使OSS资源访问更加安全。详细信息 OSS提供多种方式将OSS资源权限授予给其他用户,您可以使用以下几种机制来控制对OSS资源访问的权限,从而确保数据安全。设置存储空间ACL:通过...
Service,简称OSS),是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。您可以通过本文档提供的简单的REST接口,在任何时间、任何地点、任何互联网设备上进行上传和下载数据。基于OSS,您可以搭建出各种多媒体分享网站、网盘、...
数据迁移 OSS-HDFS服务作为新一代云原生数据湖存储,支持IDC HDFS平迁上云,优化HDFS使用体验,同时享受弹性伸缩、按需付费的成本效益,大幅优化存储成本。JindoDistCp工具支持将HDFS文件数据(包括文件属性等元数据)无缝迁入OSS-HDFS ...
问题描述 使用Python上传或下载OSS的资源时,会调用oss2模块,在运行Python脚本文件后出现“No module named oss2”报错。问题原因 系统环境中没有安装OSS的Python SDK和oss2模块。解决方案 以Linux系统为例,在脚本文件的环境中,执行以下...
注意事项 要查询地域对应的Endpoint信息,您必须有oss:DescribeRegions权限。具体操作,请参见为RAM用户授权自定义的权限策略。只支持在二级域名(例如oss-cn-hangzhou.aliyuncs.com)上调用DescribeRegions接口。请求语法 说明 目前支持...
在这种情况下,您可以使用OSS-HDFS服务作为Hive数仓的底层存储,并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。具体步骤,请参见选购ECS实例。已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。...
检查OSS的Bucket是否有公网业务带宽突增,如果存在公网带宽突增,建议您接入CDN(内容缓存分发加速)产品,对OSS资源进行缓存,降低OSS公网流量,如何使用CDN加速OSS资源,请参见使用CDN加速OSS访问。如果您已接入CDN产品,请检查OSS的...
cb oss:/myfirstbucket-acl=public-read python osscmd mb oss:/mysecondbucket acl=private python osscmd pb oss:/mythirdbucket deletebucket(db)命令说明: deletebucket(db)oss:/bucket 删除bucket的命令,db是delete bucket的简写。...
Bucket Policy是阿里云对象存储OSS推出的针对存储空间(Bucket)的授权策略,您可以通过Bucket Policy限制通过公网访问您指定的OSS资源。场景描述 企业A在华东1(杭州)地域创建了名为examplebucket的存储空间,examplebucket的目录...
阿里云对象存储OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。OSS具有与平台无关的RESTful API...
如果您的AccessKeyID不存在请创建,并使用新的AccessKeyID访问OSS。“SignatureDoesNotMatch.The request signature we calculated…”错误 访问OSS出现的详细报错如下。SignatureDoesNotMatch The request signature we calculated does ...