大数据平台架构设计与实施
引言 随着信息技术的飞速发展，数据已成为企业核心资产之一。大数据平台的出现为企业提供了高效存储、管理和分析海量数据的能力，从而为企业决策提供了强有力的支持。本文将深入探讨大数据平台的架构设计与实施，旨在帮助读者了解大数据平台的核心技术、架构设计以及实施方法。 大数据平台的核心技术 大数据平台的核心技术主要包括数据采集、数据存储、数据处理、数据分析和数据可...
印尼医疗龙头企业Halodoc的数据平台转型之Lakehouse架构
1. 摘要 在 Halodoc，我们始终致力于为最终用户简化医疗保健服务，随着公司的发展，我们不断构建和提供新功能。我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同...
基于阿里云服务的数据平台架构实践
1. 背景介绍 目前由于数据分散在不同的存储环境或数据库中，对于新业务需求的开发需要从不同的数据库中同步、集中、合并等处理，造成资源和人力的浪费。同时，现有的系统架构，无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台，来解决数据利用率效率跟不上，以及不能支撑业务发展的问题。 以此背景，建设数据平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管...
从大数据平台CDP的架构看大数据的发展趋势 2
4 从 CDP Hybrid Cloud 的架构看大数据的发展趋势CDP Hybrid Cloud 的架构，具有以下优势和特点：存储计算分离计算集群快速搭建和销毁计算集群弹性扩展和收缩使用Ozone替代HDFS集中式用户权限管理集中式元数据管理通过CML整合支持机器学习和人工智能这刚好对应了笔者原来一篇博文里讲到的以下几点大数据发展趋势：大数据和云计算进一步深度融合，大数据拥抱云计算走向云原生化....
从大数据平台CDP的架构看大数据的发展趋势 1
大家好，我是明哥！1 CDP 介绍熟悉大数据业界的小伙伴们都知道，Cloudera 在跟 HortonWorks 合并后，便推出了新一代大数据平台 CDP，并正在逐步停止对原有的大数据平台 CDH 和 HDP 的维护。下图简要介绍了目前市面上主流CDH和HDP版本的关键时间点HDP2.x和CDH5.x对应的是hadoop2.xHDP3.x和CDH6.x对应的是hadoop3.x目前官方已经停止了....
大数据小白，公司需要落地大数据平台，数仓选型，选lambda还是hudi架构？
公司规模为500人，为互联网金融领域公司，数据量为一天5T数据，从0开始搭建大数据平台，了解lambda和hudi各有优缺点，希望有大佬指点
湖仓一体:大数据平台的下一代架构-贾扬清|学习笔记
开发者学堂课程【PAL 平台学习路线：机器学习入门到应用：湖仓一体:大数据平台的下一代架构-贾扬清】学习笔记，与课程紧密联系，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/855/detail/14130湖仓一体:大数据平台的下一代架构-贾扬清 内容介绍：一、介绍贾扬清二、贾扬清发言三、数据湖四、数据仓库五、湖仓....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
金融级分布式架构
SOFAStack™（Scalable Open Financial Architecture Stack）是一套用于快速构建金融级分布式架构的中间件，也是在金融场景里锤炼出来的最佳实践。
+关注