阿里云文档 2025-06-25

介绍如何通过数据集成实时入湖

数据集成目前支持将MySQL、PolarDB等源头的数据整库实时同步至OSS。本文以MySQL实时入湖写入至OSS场景为例,为您介绍如何通过数据集成实时入湖。

阿里云文档 2023-09-13

如何使用StarRocks的数据湖分析能力查询阿里云OSS_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文为您介绍如何使用StarRocks的数据湖分析能力查询阿里云OSS。

高性能

云原生企业级数据湖

基于对象存储 OSS 构建的数据湖支持多种数据输入和存储格式,实现数据整合与分析,直接从 OSS 进行大数据分析以挖掘业务价值。数据湖还提供冷热数据分层和生命周期管理,优化存储成本。
技术解决方案背景图
问答 2023-05-09 来自:开发者社区

数据量比在线的表格存储少了一个数量级,什么原因?

问题1:使用表格存储数据湖投递功能将数据投递到oss后,使用dms建外表分析,数据量比在线的表格存储少了一个数量级,什么原因? 问题2:数据湖投递增量同步应该没生效,oss最近一次更新是4.27号,但是近一周新增数据挺多的,这个会是什么原因呢,表格存储数据同步那里也没有提示错误

文章 2022-07-27 来自:开发者社区

如何安全存放数据到对象存储 OSS 及数据湖的13问

数据作为企业的血液和命脉,需要妥善的保存。对象存储作为云计算的数据存储底座,并且还在支持数据湖存储能力,它是企业存储数据的理想之地。但是如何安全的存放数据到存储,特别是公共云对象存储,相信不少的的数据负责人都会有很多疑问,本文从账户认证能力、网络安全配置、访问授权方法、数据加密功能、访问日志审计、数据安全机制等纬...

如何安全存放数据到对象存储 OSS 及数据湖的13问
文章 2022-04-14 来自:开发者社区

Hive 数仓迁移 JindoFS/OSS 数据湖最佳实践

Hive 数仓是大多数迁移客户都会遇到的场景。在迁移过程中,不建议同时在新集群进行业务升级(比如从 Hive on MR 迁移到 Hive on Tez 或 Spark SQL等),这些业务升级可以在迁移完成后进行。1. 元数据同步Hive 元数据是对于 Hi...

文章 2021-08-10 来自:开发者社区

【数据湖 JindoFS+OSS 实操干货36讲】正式上线!

【数据湖 JindoFS+OSS 实操干货36讲】正式上线!课程地址:https://developer.aliyun.com/learning/course/833背景介绍JindoFS 作为阿里云基于 OSS 的一揽子数据湖存储优化方案,完全兼容 Hadoop/Spark 生态,并针对 Spark、Hive、Flink、Presto 等大数据组件和 AI 生态实现了大量扩展和优化。Jindo....

【数据湖 JindoFS+OSS 实操干货36讲】正式上线!
文章 2021-07-22 来自:开发者社区

数据湖实操讲解【 JindoTable 计算加速】第二十讲:Spark 对 OSS 上的 ORC 数据进行查询加速

本期导读 :【JindoTable 计算加速】第二十讲主题:Spark 对 OSS 上的 ORC 数据进行查询加速uid+JindoFS 对 OSS 上数据进行训练加速讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家内容框架:ORC 简介JindoFS 列存加速性能对比演示直播回放链接:(20讲)https://developer.aliyun.com/live/247100一、ORC 简介....

数据湖实操讲解【 JindoTable 计算加速】第二十讲:Spark 对 OSS 上的 ORC 数据进行查询加速
文章 2021-07-21 来自:开发者社区

数据湖实操讲解【 JindoTable 计算加速】第十九讲:Spark 对 OSS 上的 Parquet 数据进行查询加速

本期导读 :【JindoTable 计算加速】第十九讲主题:Spark 对 OSS 上的 Parquet 数据进行查询加速uid+JindoFS 对 OSS 上数据进行训练加速讲师:流影,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JindoFS 计算加速介绍使用 JindoFS 计算加速演示直播回放链接:(19讲)https://developer.aliyun.com/live/247....

数据湖实操讲解【 JindoTable 计算加速】第十九讲:Spark 对 OSS 上的 Parquet 数据进行查询加速
文章 2021-07-07 来自:开发者社区

数据湖实操讲解【AI 训练加速】第十六讲:Fluid + JindoFS 对 OSS 上数据进行训练加速

本期导读 :【AI 训练加速】第十六讲主题:FFluid + JindoFS 对 OSS 上数据进行训练加速luid+JindoFS 对 OSS 上数据进行训练加速讲师:扬礼,阿里巴巴计算平台事业部 开源大数据平台 开发工程师内容框架:Fluid 介绍Fluid JindoRuntime使用Fluid JindoRuntime 加速 OSS训练演示直播回放链接:(16讲)https://deve....

数据湖实操讲解【AI 训练加速】第十六讲:Fluid + JindoFS 对 OSS 上数据进行训练加速
文章 2021-06-24 来自:开发者社区

数据湖实操讲解【JindoFS 缓存加速】第十三讲:Presto 访问 OSS 透明缓存加速

本期导读 :【JindoFS 缓存加速】第十三讲主题:Presto 访问 OSS 透明缓存加速讲师:辰山,阿里巴巴计算平台事业部 EMR 技术专家内容框架:JIndoFS 缓存模式简介Presto 访问 OSS 的缓存加速实操演示直播回放链接:(13讲)https://developer.aliyun.com/live/246923一、JindoFS 缓存模式简介JindoFS缓存模式架构图:架....

数据湖实操讲解【JindoFS 缓存加速】第十三讲:Presto 访问 OSS 透明缓存加速

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐