框架云原生大数据计算服务 MaxCompute 的相关内容

文章 2024-07-28 来自：开发者社区

HAS插件式Kerberos认证框架：构建安全可靠的大数据生态系统

引言随着大数据技术的飞速发展，数据安全成为了企业关注的核心问题之一。Apache Hadoop作为主流的大数据处理平台，其安全性也日益受到重视。为了加强Hadoop的安全性，HAS（Hadoop Authentication System）插件式Kerberos认证框架应运而生。本文将详细介绍HAS框架的设计理念、关键技术以及...

问答 2024-03-12 来自：开发者社区

datawork框架本身是包年包月，但是用maxcompute去计算是按量付费？

文章 2023-10-12 来自：开发者社区

【大数据处理框架】Hadoop大数据处理框架，包括其底层原理、架构、编程模型、生态圈

Hadoop是一个开源的大数据处理框架，它包含了底层的分布式文件系统和分布式计算资源管理系统，以及高级的数据处理编程接口。底层原理Hadoop是一个开源的大数据处理框架，它的底层原理是基于分布式计算和存储的。首先，我们来了解一下HDFS。HDFS是Hadoop的核心组件之一，它是一个分布式文件系统，将文件分成多个数据块，并存储在集群中的不同节点上，每个数据块的默认大小为128MB。为了保证数据的....

文章 2023-10-12 来自：开发者社区

【大数据处理框架】Spark大数据处理框架，包括其底层原理、架构、编程模型、生态圈

Spark大数据处理框架是一个开源的大数据处理框架，它可提供高效的内存计算，可在弹性、分布式的集群上运行。Spark框架的优势在于它能够更加高效地利用计算资源，提高数据处理速度，因此在大数据处理领域中广受欢迎。Spark框架的底层原理Spark框架的底层原理基于RDD（Resilient Distributed Datasets）模型，它是Spark的核心概念之一。RDD是一种抽象的数据结构，可....

问答 2022-09-01 来自：开发者社区

请问一下，这个PAI衍生的EasyRec框架，我看介绍是可以再MaxCompute上使用的

请问一下，这个PAI衍生的EasyRec框架，我看介绍是可以再MaxCompute上使用的，这个使用的入口是在MaxCompute还是在PAI上

问答 2022-04-15 来自：开发者社区

ORM框架在大数据面前的处理问题

一般来说现在开发的系统数据量都不算小，比如我们现在一个系统，每日新增数据200万条，采用mysql+mongodb+redis来存储，mysql又分库、分区、分表。据我所知，使用hibernate或者ibatis之类的ORM框架，貌似无法实现如此灵活的数据存储方式（抛开mongodb、redis）和查询？不知各位是如此解决和看待此问题的。

文章 2022-02-17 来自：开发者社区

Spark框架概览【大数据技术】

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据.....