基于JindoFS+OSS构建高效数据湖
为什么要构建数据湖 大数据时代早期，Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展，所有云厂商都在不断完善自家的对象存储，来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、低成本、高可靠、易集成等优势，各种 IoT 设备、网站数据都把各种形式的原始文件存储在对象存储上，利用对象存储....
基于OSS的EB级数据湖
背景 随着数据量的爆发式增长，数字化转型成为整个IT行业的热点，数据也开始需要更深度的价值挖掘，因此需要确保数据中保留的原始信息不丢失，从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求，于是业界也不断的产生新的计算引擎，以便应对数据时代的到来。在此背景下，数据湖的概念被越来越多的人提起，希望能有一套系统在保留数据的原始信息情况下，又能快速对接多种不同的....
阿里云云原生数据湖分析DLA SQL(兼容Presto) CU版重磅发布，助力企业低成本分析OSS数据价值
一、背景介绍 1.1 什么样的客户需要数据湖 在数据处理领域，数据湖相对来说是一个比较新的概念，它的提出可以很好地帮助企业应对当前数据场景越来越多、数据结构越来越复杂、数据处理的需求越来越多样化的问题。传统的单机数据库技术倾向于大一统，一个数据库可以解决数据存储、在线交易、在线分析、离线报表等功能，好处是简单，数据只有一份，缺点是各个功能都做了取舍，很难解决规模的问题。为了突破数据规模的瓶颈...
阿里云云原生数据湖分析DLA重磅发布-数据湖管理，助力企业一站式管理OSS数据湖存储数据
一、什么是数据湖方案 数据湖当前在国内外是比较热的方案，MarketsandMarkets市场调研显示预计数据湖市场规模在2024年会从2019年的79亿美金增长到201亿美金。一些企业已经构建了自己的云原生数据湖方案，有效解决了业务痛点；还有很多企业在构建或者计划构建自己的数据湖，Gartner 2020年发布的报告显示目前已经有39%的用户在使用数据湖，34%的用户考虑在1年内使用数据湖。在....
OSS数据湖实践——parquet格式
数据组织形式、存储格式及Parquet格式介绍在介绍parquet数据格式之前，我们先介绍数据的几种组织形式以及存储形式。结构化、半结构化、非结构化数据结构化数据结构化数据源对数据定义了一种模式。通过这些关于底层数据的额外信息，结构化数据源提供高效的存储和性能。例如，列式数据存储Parquet和ORC，使得从一个列子集中提取数据更加容易。当数据查询只需要获取一少部分列的数据时，通过遍历每行数据的....
OSS 数据湖实践 —— 使用EMR JindoFs Cache提升性能
通过使用cache缓存机制，减少数据分析处理过程中直读OSS的次数，不仅能够提高性能，更能减少与OSS的交互流量，减少数据分析成本与时间开销。 前提条件 已注册阿里云账号，详情请参见注册云账号。 已开通E-MapReduce服务和OSS服务。 已完成云账号的授权，详情请参见角色授权。 已创建Haoop集群，且带有Hive组件，且配置OSS数据源。 步骤一：设置JindoFs Cache 打开...
OSS数据湖实践——EMR + Hive + OSS案例
Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；本文通过一个简单的示例来展现如何结合OSS+EMR+Hive来分析OSS上的数据。 前提条件 • 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权，详情请参见角色授权。• 已创建Haoop集群，且带有Hive组件, 且配置好OSS数.....
OSS数据湖实践——EMR + Flink + OSS案例
本文介绍使用Flink大数据分析引擎，基于EMR，利用OSS云存储数据，实现一个分析案例。前提条件• 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权，详情请参见角色授权。• 已创建Haoop集群，且带有spark组件。• 相关更多配置请参考OSS入门文档。 步骤一：数据上传至oss hadoop fs -put course2.c....
OSS数据湖实践——EMR + Spark + OSS案例
本文介绍大数据分析引擎spark 基于EMR集群，利用OSS云存储数据，实现一个简单的分析案例。 前提条件 • 已注册阿里云账号，详情请参见注册云账号。• 已开通E-MapReduce服务和OSS服务。• 已完成云账号的授权，详情请参见角色授权。• 已创建Haoop集群，且带有spark组件， 配置好相关的OSS数据源。 步骤一：数据上传至oss hadoop fs -put course2.c....
OSS 数据湖实践 —— EMR+OSS入门
对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件；E-MapReduce(EMR)构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，可以方便地使用Hadoop和Spark生态系统中的其他周边系统（例如，Apache Hive、Apache Pig和HBase等）来分析和处....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
