云原生大数据计算服务 MaxCompute原理实践的相关内容

文章 2025-05-20 来自：开发者社区

大数据新视界--大数据大厂之大数据时代的璀璨导航星：Eureka 原理与实践深度探秘

全网（微信公众号/CSDN/抖音/华为/支付宝/微博）：青云交 💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，...

阿里云文档 2025-03-25

什么是Routine Load,基本原理是什么,有哪些常见问题

Routine Load是一种例行导入方式，StarRocks通过该方式支持从Kafka持续不断的导入数据，并且支持通过SQL控制导入任务的暂停、重启和停止。本文为您介绍Routine Load导入的基本原理、导入示例以及常见问题。

文章 2025-02-28 来自：开发者社区

大数据分析中的机器学习基础：从原理到实践

大数据分析中的机器学习基础：从原理到实践在当今数据爆炸的时代，大数据分析早已成为企业决策的核心。而机器学习，作为数据分析的“灵魂”，正在不断推动这一领域的变革。今天，我们就来聊聊大数据分析中的机器学习基础，既讲道理，也上代码，力求让你在读完这篇文章后，能对机器学习在大数...

阿里云文档 2024-12-09

Routine Load

例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断地从指定的数据源读取数据，将数据导入到Doris中。本文主要介绍Routine Load功能的实现原理、使用方式以及最佳实践。

阿里云文档 2023-05-09

DataX Writer插件实现了写入数据到StarRocks目的表的功能。在底层实现上，DataX Writer通过Stream Load以CSV或JSON格式导入数据至StarRocks。内部将Reader读取的数据进行缓存后批量导入至StarRocks，以提高写入性能。阿里云DataWorks已经集成了DataX导入的能力，可以同步MaxCompute数据到EMR StarRocks。本文为...

阿里云文档 2023-04-12

如何使用FlinkConnector,内部实现原理是什么

Flink Connector内部实现是通过缓存并批量由Stream Load导入。本文为您介绍Flink Connector的使用方式及示例。

文章 2023-02-09 来自：开发者社区

六、【计算】大数据Shuffle原理与实践（下） | 青训营笔记

引言学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。热爱写作，愿意让自己成为更好的人............铭记于心✨我唯一知道的，便是我一无所知✨四、Push Shuffle0 概述为什么需要Push Shuffle，因为一般shuffle过程存在不可避免的问题：数据存储在本地磁盘，没有备份IO 并发：大量 RPC 请求（M*R）IO 吞吐：随机读、写放大（3....

文章 2023-02-05 来自：开发者社区

大数据 Shuffle 原理与实践｜青训营笔记

课程资料课程视频：https://live.juejin.cn/4354/yc_Shuffle课程PPT：https://bytedance.feishu.cn/file/boxcnQaV9uaxTp4xF0d1vEK5W3c学员手册：https://juejin.cn/post/7123908203590451207/#heading-46完整手册：https://bytedance.feis....

阿里云文档 2022-09-29

如何配置拦截器Interceptor、Channel选择器ChannelSelector和Sink组逻辑处理器SinkProcessor

本文通过示例为您介绍E-MapReduce中的Flume组件，如何配置拦截器（Interceptor）、Channel选择器（Channel Selector）和Sink组逻辑处理器（Sink Processor）。

文章 2022-09-14 来自：开发者社区

大数据Shuffle原理与实践

Shuffle概述在开源实现的MapReduce中，存在Map、 Shuffle、 Reduce三个阶段。Shuffle过程是MapReduce的核心。 Map阶段：是在单机上进行的针对-一小块数据的计算过程。Shuffle阶段：在map阶段的基础，上，进行数据移动，为后续的reduce阶段做准备。reduce阶段：对移动后的数据进行处理，依然是在单机上处理一小份数据。为什么...