美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
作者:美的楼宇科技事业部 先行研究中心智能技术部 美的楼宇科技 IoT 数据平台建设背景 美的楼宇科技事业部(以下简称楼宇科技)是美的集团旗下五大板块之一,产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案,远销海内外200多个国家。针对当前设备数据量庞大且持续增长、数据呈现半结构化特点的现状,现有系统仅停留在数据存...

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
作者:微财技术研发经理 宋鑫 微财介绍 微财是一家创新型的金融科技企业,凭借多年积累的金融科技能力和数据处理优势,为客户提供消费分期等金融信息服务,致力于成为值得信赖的金融机构合作伙伴。旗下拥有好分期等品牌,为高成长用户提供信用分期借款过程中的综合性信息、技术以及辅助服务。 业务挑战 数据资源是金融科技企业的核心价值,微财依托大数据评估用户借款...

EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
一、EMR Serverless StarRocks发展路径 首先回顾Serverless Spark在EMR的发展路径。右边图是典型的大数据的架构图,存储层一般用HDFS或者是SI协议的OSS,处理层一般分为批处理和流处理。批处理一般实时标准是spark,流处理实时标准一般是Flink。分析层处于一种百家争鸣的状态。 在StarRocks出事之前,常见的几款的Olap...
EMR Serverless Spark:一站式全托管湖仓分析利器
数据平台技术演变 追溯数据处理软件及平台的演进历程,每一次大的架构升级与变迁都是由全球范围的新兴应用出现和落地触发的。具体来说,20世纪60-70年代数据库技术出现,数据库技术的普及和落地与个人计算机(PC)兴起的浪潮息息相关。直至21世纪初互联网应用爆发前,单机数据库技术在数据处理领域一直占据着统治地位。 进入21世纪,国外以Google的搜索引擎、Facebook的...

阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版已于2024年9月14日正式商业化售卖,本文将简要介绍 EMR Serverless Spark 产品的功能、应用场景、计费模式,及使用限制。 阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% ...

EMR Serverless StarRocks体验测评
定义 EMR Serverless StarRocks,为了通俗易懂,需要进行拆分,EMR、Serverless StarRocks、EMR是云原生开源大数据平台E-MapReduce,Serverless StarRocks只是EMR的一个产品规格,是开源MPP架构的OLAP分析引擎,是StarRocks在阿里云上的全托管服务,而Serverless是一种部署形态。通过如下架构图,你就...

EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有....

深度解析阿里云EMR Serverless StarRocks在OLAP数据分析中的应用场景
在当今数字化转型的浪潮中,企业对实时、高效的数据分析能力需求日益迫切。OLAP(在线分析处理)作为数据分析领域的核心工具,正逐渐成为企业决策支持系统的关键组成部分。阿里云EMR Serverless StarRocks作为一款集高性能、易用性、灵活性于一身的全托管OLAP分析引擎,凭借其独特的优势在众多数据分析产品中脱颖而出。...
迟来的EMR Serverless Spark评测报告
写在前面 评测地址附上:E-MapReduce Serverless Spark评测 ,欢迎大家参加活动,一起为更好的云服务贡献自己的力量。 正式进入评测报告前,先聊点生活小知识。最近发生了些事,真的看到了,老百姓的无奈。我买的新能源汽车-哪吒汽车,刚买的时候引以为傲,因为在某种程度上信任老周。后来,它各种故障,反复的拉到售后去解决都是没有很好的结果。按照三包...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。