技术云原生大数据计算服务 MaxCompute 的相关内容

文章 2024-03-21 来自：开发者社区

现代化数据库技术——面向大数据的分布式存储系统

随着互联网和物联网技术的迅猛发展，数据量呈指数级增长已成为一种常态。传统的关系型数据库在面对如此庞大的数据量时已经显露出了明显的瓶颈和局限性。因此，面向大数据的分布式存储系统成为了当前解决海量数据存储和处理问题的有效途径之一。分布式存储系统通过将数据分散存储在多台服务器节点上，实现了数据的并行处理和高可用性。其优势体现在数据的水平扩展性、容错性和性能提升...

文章 2024-02-22 来自：开发者社区

新型数据库技术在大数据处理中的应用探讨

随着互联网技术的飞速发展，大数据已经成为了当今信息社会的重要组成部分。在传统的数据处理方法已经无法满足日益增长的数据量和复杂性的情况下，新型数据库技术应运而生，为大数据处理提供了更多可能性。本文将重点探讨新型数据库技术在大数据处理中的应用，并分析其优势和挑战。首先，新型数据库技术如NoSQL、NewSQL等相较于传统的关系型数...

文章 2024-01-11 来自：开发者社区

活动回顾丨云原生技术实践营上海站「云原生 AI &大数据」专场（附 PPT）

AI 势不可挡，“智算”赋能未来。2024 年 1 月 5 日，云原生技术实践营「云原生 AI &大数据」专场在上海落幕。活动聚焦容器、可观测、微服务产品技术领域，以云原生 AI 工程化落地为主要方向，希望帮助企业和开发者更快、更高效地落地云原生 AI 系统。0105 云原生技术实践营-上海站活动现场此次活动吸引了金融科技、制造、汽车、健康医疗、在线旅游、新茶饮等领域的近百位开发者参与....

文章 2023-12-26 来自：开发者社区

第3章核心概念3.1 基本概念3.1.1 时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由以下三个部分组成：*1）Instant action：在表上执行的操作类型\Ø COMMITS：一次commit表示将一批数据原子性地写入....

文章 2023-12-26 来自：开发者社区

Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突

解决spark模块依赖冲突修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。1）修改hudi-spark-bundle的pom文件，排除低版本jetty，添加hudi指定版本的jetty:vim /opt/software/hudi-0.12.0/packaging/hudi-spark-bundle/pom.xml在382行的位置，修改如....

文章 2023-12-26 来自：开发者社区

Hudi数据湖技术引领大数据新风口(二)编译安装

第2章编译安装2.1 编译环境准备本教程的相关组件版本如下：Hadoop3.1.3Hive3.1.2Flink1.13.6，scala-2.12Spark3.2.2，scala-2.12(1）安装Maven（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名tar -zxvf apache-maven-3.6.1-bin.tar.gz....

文章 2023-12-26 来自：开发者社区

Hudi:数据湖技术引领大数据新风口

Hudi:数据湖技术引领大数据新风口1.1 Hudi简介Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不....

文章 2023-11-16 来自：开发者社区

探索云原生容器编排技术:如Kubernetes如何为大数据处理和AI模型的自动化部署带来便利

Kubernetes是一个强大的容器编排和自动化部署工具，它为大数据处理和AI模型的自动化部署提供了许多便利。以下是Kubernetes如何为这些应用领域带来便利的一些关键方面：1. 弹性伸缩大数据处理和AI模型训练通常需要大量计算资源。Kubernetes允许你根据负载情况自动扩展容器，确保足够的计算资源可用。这意味着你可以在需要时动态地增加或减少计算节点，以适应工作负载的波动。2. 容器化K....

文章 2023-09-14 来自：开发者社区

杭州站｜阿里云 Serverless 技术实践营（Serverless + 大数据）开启报名！

活动简介“Serverless 技术实战与创新沙龙 ” 是一场以 Serverless 为主题的开发者活动，通过一个下午的时间增进对 Serverless 技术的理解，快速上手,活动受众以关注 Serverless 技术的开发者、企业决策人、云原生领域创业者为主，活动形式为演讲、动手实操。Serverless 架构天生适用于大数据应用的场景，让有数据处理需求的企业从底层服务器层的运维管理中解放出....

文章 2023-05-20 来自：开发者社区

在线教育行业云上技术服务白皮书-在线教育行业云计算应用场景-阿里云大数据收集、存储与分析平台

• 典型场景：包括日志分析、数据集成、个性化推荐等。 • 免运维：MaxCompute 极大的减少了技术人员在数据平台层面的建设和运维投入。 • 经济性：基于 PaaS 层面的计算、存储的弹性扩展能力，用户只需对计算量。依托于 MaxCompute 的平公软件的持续优化带来的高性能确保了 MaxCompute的成本优势。 •....