随着大数据产品云原生化的加速推进，云原生集群的规模和数量急剧增加，这给运维工作带来了前所未有的挑战。为了有效应对这些挑战，阿里云大数据团队结合Apache Flink与自研的Paimon数据湖解决方案，构建了一套实时云原生运维数仓，显著提升了运维能力和数据处理的实时性。本文将通过实际案例分析，详细阐述Flink&...

文章 2024-07-09 来自：开发者社区

Flink+Paimon在阿里云大数据云原生运维数仓的实践

1. 背景随着大数据产品云原生化的推进，云原生集群的规模和数量都在增加，云原生集群的运维难度也在不断增加，云原生集群的资源审计、资源拓扑、资源趋势的需要就比较迫切。云原生集群的资源审计主要是 node 资源、pod 资源，如当前集群的 node 数量以及Pod 数量；资源拓扑主要构建用户->实例->pod->node->集群的关联关系，例如一个公有云用户，提供给运维团.....

文章 2023-11-14 来自：开发者社区

在刚刚结束的 2023 云栖大会上，米哈游数据平台组大数据技术专家杜安明分享了米哈游大数据架构向云原生化升级过程中的目标、探索和实践，以及如何通过以阿里云容器服务 ACK 为底座的 Spark on K8s 架构，获得在弹性计算、成本节约以及存算分离方面的价值。1. 背景简介随着米哈游业务的高速发展，大数据离线数据存储量和计算任务量增长迅速，早期的大数据离线架构已不再满足新场景和需求。为了解决原....

文章 2023-08-18 来自：开发者社区

云原生大数据架构实践与思考-DataFunTalk

01-从大数据上云看数据架构演进 1.大数据AI的前世今生当今大数据AI早已成为IT技术发展的核心引擎。回望过去, 其技术演进的发展历经的几个重要阶段。从80年一体化TD数仓诞生到到2004年Hadoop出现分布式大数据架构，再到现在的大数据上云兴起。可以分为四个阶段, 从ScaleUp-共享存储架构、ScaleOut-大规模并行处理、SQL-ON-Hadoop、湖仓一体的数据...

共有9条

< 1 >

跳转至： GO

更新时间 2024-08-03 09:15:42

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

云原生大数据相关内容

云原生您可能感兴趣

产品推荐

{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://img.alicdn.com/imgextra/i2/O1CN017FgGOF1GeN2C8hjWx_!!6000000000647-1-tps-3840-740.gif","icon":"云原生 Stack","iconImg":"https://img.alicdn.com/imgextra/i4/O1CN014PU8Mq1icowpmEctl_!!6000000004434-55-tps-197-197.svg","contentLink":"https://www.aliyun.com/product/aliware/cnstack?spm=5176.21213303.8115314850.3.653453c9EoikCZ&scm=20140722.S_card@@产品@@2282334.S_cardgbdt.ID_card@@产品@@2282334-RL_云原生Stack-OR_ser-V_2-P0_0","title":"云原生 Stack","des":"云原生 Stack ，简称 CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。","link1":"https://www.aliyun.com/product/aliware/cnstack","btn1":"产品详情页","link2":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/product-introduction.html","btn2":"文档中心","btn3":"企业咨询","link3":"https://survey.aliyun.com/apps/zhiliao/2L46KP53n?spm=5176.27762331.J_2883378880.3.1bf3719aaqpCzz","infoGroup":[{"infoName":"产品介绍","infoContent":{"firstContentName":"产品简介","firstContentLink":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/product-introduction.html","lastContentLink":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/quick-start-1.html","lastContentName":"快速入门"}},{"infoName":"相关产品","infoContent":{"firstContentName":"分布式应用服务 EDAS","lastContentName":"应用交付平台 ADP","firstContentLink":"https://www.aliyun.com/product/edas","lastContentLink":"https://www.aliyun.com/product/aliware/adp"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"文档智能","bannerContent":"基于多年技术积累打造的多模态文档识别与理解引擎，为用户提供各类文档的结构化信息抽取和智能化文档处理。","liveButtonName":"立即使用","liveButtonLink":"https://docmind.console.aliyun.com/doc-overview","contentTitle":"提供智能化文档处理体验","homePageLink":"https://help.aliyun.com/product/445637.html","homePageName":"产品文档","linkGroup":[{"linkContent":"从非结构化数据中提取关键信息，发挥数据价值"},{"linkContent":"对文档数据进行挖掘和分析，做出更好决策"},{"linkContent":"自动化处理各类文档，提高工作学习效率"},{"linkContent":"与企业内部系统连接，提升企业智能化水平"}]}],"title":{"mainTitle":"云原生 Stack","subtitle":"云原生 Stack简称CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":"查看详情"},"visual":{"topbg":"https://gw.alicdn.com/imgextra/i2/O1CN017FgGOF1GeN2C8hjWx_!!6000000000647-1-tps-3840-740.gif","icon":"https://img.alicdn.com/imgextra/i4/O1CN014PU8Mq1icowpmEctl_!!6000000004434-55-tps-197-197.svg","textColor":"dark"},"dataList":[],"sceneCard":[],"txt":[]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://img.alicdn.com/imgextra/i2/O1CN017FgGOF1GeN2C8hjWx_!!6000000000647-1-tps-3840-740.gif","icon":"云原生 Stack","iconImg":"https://img.alicdn.com/imgextra/i4/O1CN014PU8Mq1icowpmEctl_!!6000000004434-55-tps-197-197.svg","contentLink":"https://www.aliyun.com/product/aliware/cnstack?spm=5176.21213303.8115314850.3.653453c9EoikCZ&scm=20140722.S_card@@产品@@2282334.S_cardgbdt.ID_card@@产品@@2282334-RL_云原生Stack-OR_ser-V_2-P0_0","title":"云原生 Stack","des":"云原生 Stack ，简称 CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。","link1":"https://www.aliyun.com/product/aliware/cnstack","btn1":"产品详情页","link2":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/product-introduction.html","btn2":"文档中心","btn3":"企业咨询","link3":"https://survey.aliyun.com/apps/zhiliao/2L46KP53n?spm=5176.27762331.J_2883378880.3.1bf3719aaqpCzz","infoGroup":[{"infoName":"产品介绍","infoContent":{"firstContentName":"产品简介","firstContentLink":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/product-introduction.html","lastContentLink":"https://help.aliyun.com/apsara/agile-cnstack/v_2_0_0_20230310/cnstack/user-guide/quick-start-1.html","lastContentName":"快速入门"}},{"infoName":"相关产品","infoContent":{"firstContentName":"分布式应用服务 EDAS","lastContentName":"应用交付平台 ADP","firstContentLink":"https://www.aliyun.com/product/edas","lastContentLink":"https://www.aliyun.com/product/aliware/adp"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"文档智能","bannerContent":"基于多年技术积累打造的多模态文档识别与理解引擎，为用户提供各类文档的结构化信息抽取和智能化文档处理。","liveButtonName":"立即使用","liveButtonLink":"https://docmind.console.aliyun.com/doc-overview","contentTitle":"提供智能化文档处理体验","homePageLink":"https://help.aliyun.com/product/445637.html","homePageName":"产品文档","linkGroup":[{"linkContent":"从非结构化数据中提取关键信息，发挥数据价值"},{"linkContent":"对文档数据进行挖掘和分析，做出更好决策"},{"linkContent":"自动化处理各类文档，提高工作学习效率"},{"linkContent":"与企业内部系统连接，提升企业智能化水平"}]}],"title":{"mainTitle":"云原生 Stack","subtitle":"云原生 Stack简称CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":"查看详情"},"visual":{"topbg":"https://gw.alicdn.com/imgextra/i2/O1CN017FgGOF1GeN2C8hjWx_!!6000000000647-1-tps-3840-740.gif","icon":"https://img.alicdn.com/imgextra/i4/O1CN014PU8Mq1icowpmEctl_!!6000000004434-55-tps-197-197.svg","textColor":"dark"},"dataList":[],"sceneCard":[],"txt":[]}}

云原生 Stack

云原生 Stack ，简称 CNStack，是阿里云一款开放的一站式企业级云原生技术中台，能帮助用户打造满足大规模、高性能、合规性和业务连续性等要求的分布式应用系统，提升企业数字化转型的整体效能。

产品详情页

文档中心

企业咨询

产品介绍

产品简介

快速入门