阿里云文档 2024-07-11

"文本同步数据"

本教程以MySQL中的用户基本信息ods_user_info_d表和OSS中的网站访问日志数据user_log.txt文件为例,通过数据集成离线同步任务分别同步至StarRocks的ods_user_info_d_starrocks、ods_raw_log_d_starrocks表。旨在介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据同步操作。

阿里云文档 2024-06-05

迁移StarRocks数据至EMR Serverless StarRocks

本文将指导您如何使用StarRocks跨集群数据迁移工具,在源集群保持在线且业务服务不中断的状态下高效、安全地进行数据复制。该工具提供全量及增量同步功能,旨在为您提供一键式解决方案,实现源集群数据无缝迁移至目标集群,确保数据一致性的同时,最大限度减少对业务运营的影响。

基于阿里云MaxCompute搭建数据仓库(离线)

70 课时 |
960 人已学 |
免费

阿里云大数据工程师ACA认证(2023版)

21 课时 |
3713 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
627 人已学 |
免费
开发者课程背景图
阿里云文档 2024-05-28

MaxCompute近实时数仓数据入仓介绍

为满足业务对数据仓库中高度时效性数据的需求,MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能,显著提升了数据仓库的数据更新效率。

阿里云文档 2024-05-06

通过MaxCompute控制台上传数据

MaxCompute控制台提供数据上传功能,支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线(非实时)上传至MaxCompute进行分析处理及相关管理操作。

阿里云文档 2024-04-26

Java SDK大数据场景下批量写入数据

表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时,您需要指定完整主键以及要增删改的属性列。

问答 2023-10-08 来自:开发者社区

大数据计算MaxCompute增量推分区数据能不能推多个分区数据啊?

问题1:大数据计算MaxCompute增量推分区数据能不能推多个分区数据啊? 比如 dt>=20230924?问题2:这个位置是直接写 dt >= 吗?

问答 2023-08-13 来自:开发者社区

大数据计算MaxCompute透露一下,增量数据和历史合并运行时长 会从原来可能是小时级别的到现在?

大数据计算MaxCompute透露一下,增量数据和历史合并运行时长 会从原来可能是小时级别的到现在的多少?分钟 级别还是?

文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理

前面几篇文章详细介绍了sqoop全量增量导入数据到hive,大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型,虽然这样可以处理掉时间字段在hive为空的问题,但是在kylin创建增量cube时需要指定一个时间字段来做增量,所以上面那种方式不行,这里的处理方式为把string改成timestamp类型,看实验:一、源库创建测试表创建测试表:create table....

【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
问答 2022-04-15 来自:开发者社区

通过大数据开发套件从MySQL往MaxCompute做增量数据的定时写入,由于我的调度程序虽然设置凌晨00分执行,但是会延迟到10分左右执行,由于调度会产生延迟,昨天的数据有一些没有写入,如何解决?怎么修改一下我的调度逻辑呢?

通过大数据开发套件从MySQL往MaxCompute做增量数据的定时写入,由于我的调度程序虽然设置凌晨00分执行,但是会延迟到10分左右执行,由于调度会产生延迟,昨天的数据有一些没有写入,如何解决?怎么修改一下我的调度逻辑呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute数据相关内容

云原生大数据计算服务 MaxCompute更多数据相关

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注