serverless apache spark 的相关内容

文章 2025-02-28 来自：开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背景随着互联网服务的广泛普及与技术应用的深入发展，日志数据作为记录系统活动、用户行为和业务操作的宝贵资源，其价值愈发凸显。然而，当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力，这不仅要求我们具备高效的数据收集和存储机制，更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下，Apache Spark，这一专为...

文章 2025-02-19 来自：开发者社区

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

作者：美的楼宇科技事业部先行研究中心智能技术部美的楼宇科技 IoT 数据平台建设背景美的楼宇科技事业部（以下简称楼宇科技）是美的集团旗下五大板块之一，产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案，远销海内外200多个国家。针对当前设备数据量庞大且持续增长、数据呈现半结构化特点的现状，现有系统仅停留在数据存...

文章 2025-02-10 来自：开发者社区

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

作者：微财技术研发经理宋鑫微财介绍微财是一家创新型的金融科技企业，凭借多年积累的金融科技能力和数据处理优势，为客户提供消费分期等金融信息服务，致力于成为值得信赖的金融机构合作伙伴。旗下拥有好分期等品牌，为高成长用户提供信用分期借款过程中的综合性信息、技术以及辅助服务。业务挑战数据资源是金融科技企业的核心价值，微财依托大数据评估用户借款...

文章 2024-10-31 来自：开发者社区

EMR Serverless Spark：一站式全托管湖仓分析利器

数据平台技术演变追溯数据处理软件及平台的演进历程，每一次大的架构升级与变迁都是由全球范围的新兴应用出现和落地触发的。具体来说，20世纪60-70年代数据库技术出现，数据库技术的普及和落地与个人计算机（PC）兴起的浪潮息息相关。直至21世纪初互联网应用爆发前，单机数据库技术在数据处理领域一直占据着统治地位。进入21世纪，国外以Google的搜索引擎、Facebook的...

文章 2024-09-24 来自：开发者社区

阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版已于2024年9月14日正式商业化售卖，本文将简要介绍 EMR Serverless Spark 产品的功能、应用场景、计费模式，及使用限制。阿里云 EMR Serverless Spark 版是一款云原生，专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine，100% ...

文章 2024-08-16 来自：开发者社区

EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务

Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有....