阿里云文档 2024-07-11

"文本同步数据"

本教程以MySQL中的用户基本信息ods_user_info_d表和OSS中的网站访问日志数据user_log.txt文件为例,通过数据集成离线同步任务分别同步至StarRocks的ods_user_info_d_starrocks、ods_raw_log_d_starrocks表。旨在介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据同步操作。

阿里云文档 2024-07-11

本文档是关于如何使用DataWorks快速体验并DataWorks的基本使用,包括与MaxCompute、EMR集群和StarRocks的集成

本实验以简单的用户画像分析为例,带您熟悉DataWorks的主要功能和常见任务。实验内容包括DataWorks+EMR、DataWorks+MaxCompute和DataWorks+StarRocks三种不同版本。

阿里云大数据高级工程师ACP认证免费课程

9 课时 |
2 人已学 |
免费

基于阿里云MaxCompute搭建数据仓库(离线)

70 课时 |
994 人已学 |
免费

阿里云大数据工程师ACA认证(2023版)

21 课时 |
3817 人已学 |
免费
开发者课程背景图
阿里云文档 2024-06-05

迁移StarRocks数据至EMR Serverless StarRocks

本文将指导您如何使用StarRocks跨集群数据迁移工具,在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能,旨在为您提供一键式解决方案,实现源集群数据无缝迁移至目标集群,确保数据一致性的同时,最大限度减少对业务运营的影响。

问答 2024-05-30 来自:开发者社区

MaxCompute中Json格式映射Map格式数据

MaxCompute中Json格式映射Map格式数据

阿里云文档 2024-05-28

MaxCompute近实时数仓数据入仓介绍

为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。

阿里云文档 2024-04-26

Java SDK大数据场景下批量写入数据

表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时,您需要指定完整主键以及要增删改的属性列。

问答 2024-03-26 来自:开发者社区

大数据计算MaxCompute时间字符串格式记录的数据,不知道有没有什么解决办法?

大数据计算MaxCompute时间字符串格式记录的数据,在pycharm里可解析和处理,时间格式比如:string 2023-12-25 16:08:18df["time"] = pd.to_datetime(df["time"], format='%Y-%m-%d %H:%M:%S') 阿里云环境报错:ValueError: time data 'Collection: ref_0time .....

问答 2022-06-27 来自:开发者社区

怎么在dataworks中如何向maxcompute表导入txt格式的数据?

如题

文章 2018-08-22 来自:开发者社区

利用MaxCompute内建函数及UDTF转换json格式日志数据

一、业务场景分析: 由于业务的复杂性,数据开发者需要面对不同来源的不同类型数据,需要把这些数据抽取到数据平台,按照设计好的数据模型对关键业务字段进行抽取,形成一张二维表,以便后续在大数据平台/数据仓库中进行统计分析、关联计算。 本文结合一个具体的案例来介绍如何使用MaxCompute对json格式的日志数据进行转换处理。 1.数据来源:应用实时写入ECS主机的指定目录下的日志文件中; 2.数据格....

文章 2018-05-23 来自:开发者社区

如何在MaxCompute上处理存储在OSS上的开源格式数据

0. 前言 MaxCompute作为使用最广泛的大数据平台,内部存储的数据以EB量级计算。巨大的数据存储量以及大规模计算下高性能数据读写的需求,对于MaxCompute提出了各种高要求及挑战。处在大数据时代,数据的来源多种多样,开源社区经过十几年的发展,百花齐放,各种各样的数据格式不断的出现。 我们的用户也在各个场景上,通过各种计算框架,积累了各种不同格式的数据。怎样将MaxCompute强大的....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute数据相关内容

云原生大数据计算服务 MaxCompute更多数据相关

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注