问答 2021-12-09 来自:开发者社区

Spark访问OSS缓存加速是如何部署缓存服务的?

Spark访问OSS缓存加速是如何部署缓存服务的?

文章 2021-07-22 来自:开发者社区

数据湖实操讲解【 JindoTable 计算加速】第二十讲:Spark 对 OSS 上的 ORC 数据进行查询加速

本期导读 :【JindoTable 计算加速】第二十讲主题:Spark 对 OSS 上的 ORC 数据进行查询加速uid+JindoFS 对 OSS 上数据进行训练加速讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家内容框架:ORC 简介JindoFS 列存加速性能对比演示直播回放链接:(20讲)https://developer.aliyun.com/live/247100一、ORC 简介....

数据湖实操讲解【 JindoTable 计算加速】第二十讲:Spark 对 OSS 上的 ORC 数据进行查询加速
文章 2021-07-21 来自:开发者社区

数据湖实操讲解【 JindoTable 计算加速】第十九讲:Spark 对 OSS 上的 Parquet 数据进行查询加速

本期导读 :【JindoTable 计算加速】第十九讲主题:Spark 对 OSS 上的 Parquet 数据进行查询加速uid+JindoFS 对 OSS 上数据进行训练加速讲师:流影,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JindoFS 计算加速介绍使用 JindoFS 计算加速演示直播回放链接:(19讲)https://developer.aliyun.com/live/247....

数据湖实操讲解【 JindoTable 计算加速】第十九讲:Spark 对 OSS 上的 Parquet 数据进行查询加速
文章 2021-06-23 来自:开发者社区

数据湖实操讲解【JindoFS 缓存加速】第十二讲:Spark 访问 OSS 透明缓存加速

本期导读 :【JindoFS 缓存加速】第十二讲主题:Spark 访问 OSS 透明缓存加速讲师:辰山,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JIndoFS 缓存模式简介Spark 访问 OSS 的缓存加速缓存效果实操演示直播回放链接:(12讲)https://developer.aliyun.com/live/246923一、JindoFS 缓存模式简介JindoFS缓存模式架构图....

数据湖实操讲解【JindoFS 缓存加速】第十二讲:Spark 访问 OSS 透明缓存加速
文章 2021-05-26 来自:开发者社区

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速

本期导读 :【OSS 访问加速】第六讲主题:Hadoop/Spark 访问 OSS 加速讲师:流影,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JindoFS SDK 介绍Hadoop 使用 JindoFS SDKSpark 使用 JindoFS SDK演示直播回放链接:(5/6讲)https://developer.aliyun.com/live/246811一、JindoFS SDK ....

数据湖实操讲解【OSS 访问加速】第六讲:Hadoop/Spark 访问 OSS 加速
文章 2020-10-10 来自:开发者社区

阿里云云原生数据湖分析DLA Serverless Spark重磅发布,助力企业低成本挖掘OSS数据价值

一、背景概述 1.1 什么样的客户需要数据湖 在数据处理领域,数据湖相对来说是一个比较新的概念,它的提出可以很好地帮助企业应对当前数据场景越来越多、数据结构越来越复杂、数据处理的需求越来越多样化的问题。传统的单机数据库技术倾向于大一统,一个数据库可以解决数据存储、在线交易、在线分析、离线报表等功能,好处是简单,数据只有一份,缺点是各个功能都做了取舍,很难解决规模的问题。为了突破数据规模的瓶颈,大....

阿里云云原生数据湖分析DLA Serverless Spark重磅发布,助力企业低成本挖掘OSS数据价值
文章 2020-05-26 来自:开发者社区

OSS数据湖实践——EMR + Spark + OSS案例

本文介绍大数据分析引擎spark 基于EMR集群,利用OSS云存储数据,实现一个简单的分析案例。 前提条件 • 已注册阿里云账号,详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权,详情请参见角色授权。• 已创建Haoop集群,且带有spark组件, 配置好相关的OSS数据源。 步骤一:数据上传至oss hadoop fs -put course2.c....

问答 2020-03-20 来自:开发者社区

如何在MR/Spark作业中指定OSS数据源文件路径?

如何在MR/Spark作业中指定OSS数据源文件路径?

文章 2019-10-28 来自:开发者社区

X-Pack Spark 访问OSS

简介 对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文的代码可以通过“数据工作台”提交。 前置条件 OSS已经创建bucket,假设名称为:test_spark 已创.....

问答 2019-04-26 来自:开发者社区

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注