基于Hadoop OSS Connector客户端与OSS加速器协调优化的最佳实践
通过 Hadoop OSS Connector V2 + OSS 数据加速器(Data Accelerator) 的组合,企业可在阿里云上构建高性能、高可用、低成本的现代化数据湖平台。该方案兼容 Spark、Hive、Presto 等主流大数据计算引擎,支持 s3a:// 协议无缝对接 AWS S3 生态,帮助企业实现跨云迁移与云原生数据架构平滑演进。
如何通过OSS数据源一站式RAG系统
OpenSearch-LLM智能问答版支持导入存储在OSS数据源中的数据来构建知识库,实现私有知识问答。本教程介绍如何通过OSS数据源一站式构建RAG系统。
Android端为OSS SDK配置HTTPDNS解析-移动研发平台-阿里云
通过Android SDK接入这篇文档,您已经了解了Android SDK导入、配置、解析IP、应用到网络库和接入验证的完整流程,本文主要介绍在Android客户端上使用阿里云OSS SDK接入HTTPDNS的具体方案。Android SDK接入1. 背景说明阿里云对象存储OSS(Object St...
阿里云Jindo CLI通过集中或分离部署方式,基于Spring Boot封装为API接口,实现OSS-HDFS服务的程序化管理,适用于多种业务场景。
阿里云Jindo CLI是管理OSS-HDFS服务的命令行工具。本文通过Java Spring Boot封装Jindo CLI命令为API接口,实现OSS-HDFS的程序化管理。支持集中部署和分离式部署两种架构,适用于运维管控系统、自动化脚本、CI/CD工具等场景。
如何通过OSS SDK、ossutil工具实现OSS存储的读写分离
OSS存储卷支持多种客户端,不同客户端对写操作的支持程度不同。通常来说,完备的写操作支持会牺牲部分读性能。因此,数据的读写分离能最大程度避免写操作对读性能的影响,显著提升读多写少场景的数据访问性能。本文介绍在读多写少场景下如何通过不同的OSS存储卷客户端,或OSS SDK、ossutil工具等方式实现数据的读写分离。
【最佳实践】OSS开源工具ossutil-上传性能调优
经常碰到内部同学或者外部客户问ossutil关于并发上传性能的问题。本文简单描述下ossutil并发上传原理并举例说明。 用户可从这里获取ossutil。 官网:https://help.aliyun.com/document_detail/50452.html代码:https://github.com/aliyun/ossutil 参数 --recursive 上传文件到oss时,如果fil.....
【最佳实践】OSS开源工具ossutil-调节并发参数[英文版]
前言 前面支持一个国外客户,使用ossutil上传文件到OSS,一直调整不好--jobs和--parallel参数。因此给客户写了一篇简单的英文文档。 用户可从这里获取ossutil。 官网: https://help.aliyun.com/document_detail/50452.html https://www.alibabacloud.com/help/doc-detail/504...
【最佳实践】OSS开源工具ossutil-大文件断点续传
经常碰到内部同学或者外部客户问ossutil关于大文件断点续传的问题。本文简单描述下原理并举例说明。 用户可从这里获取ossutil。 官网:https://help.aliyun.com/document_detail/50452.html代码:https://github.com/aliyun/ossutil OSS断点续传 应用场景 当调用OSS的PutObject来上传较大的文件时,如果....
【最佳实践】OSS开源工具ossutil-增量上传
经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。 用户可从这里获取ossutil。 官网:https://help.aliyun.com/document_detail/50452.html代码:https://github.com/aliyun/ossutil 应用场景 场景一 某用户有一批文件(比如1000个)要上传到OSS(或从OSS下载,或从....
【最佳实践】OSS开源工具ossutil-过滤参数include/exclude
应用场景 某些用户在本地或者OSS上存放了不同类型的文件,比如jpg文件和pptx文件。用户希望在(批量)上传jpg文件的时候设置不同的meta和ACL,而(批量)上传pptx文件的时候设置另外的meta和ACL。 也有用户希望在下载的时候只下载满足某种模式的文件,比如access-2018-05.log。 还有些用户希望对已经上传到OSS上的某种模式的文件进行批量设置Meta或ACL。 为满足....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
对象存储OSS
对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。
+关注