解析云原生大数据计算服务 MaxCompute 的相关内容

文章 2024-04-29 来自：开发者社区

DataWorks产品使用合集之在DataWorks中，使用JSON解析函数将MySQL表中的字段解析成多个字段将这些字段写入到ODPS（MaxCompute）中如何解决

问题一：DataWorks人工可以改，但是很容易出错？ DataWorks目的是从 maxcompute 回流到 ADB 3.0 - MySQL，目前一键自动建表，会把 maxcompute decamal(38,18) 映射成 mysql decamail，导致精度丢失。人工可以改，但是很容易出错？参考回答：目前不支持修改默认映射类型哈...

文章 2024-04-22 来自：开发者社区

一文解析 ODPS SQL 任务优化方法原理

一、背景使用ODPS SQL进行离线数据研发时，开发同学不可避免会碰到任务性能问题，需要经常对ODPS SQL执行任务进行调优，以对重点场景任务产出时效进行保障，避免资源浪费。调优过程需要参考相关优化文档资料，发现技术网站中有很多文章介绍到相关的优化方法，但从ODPS底层执行计划来解释为什么要这样做优化以及背后的依据是什么的介绍文章比较少。本文尝试从ODPS底层逻辑计划拆解部...

文章 2024-04-11 来自：开发者社区

Google BigQuery深度解析：云端大数据分析服务的威力

身为一名专注于大数据与云技术领域的博主，我有幸深入探索并实践了Google Cloud Platform（GCP）提供的强大数据分析服务——BigQuery。在此，我将以个人视角剖析BigQuery的核心特性、实战应用以及其在云端大数据分析领域的独特价值，旨在帮助读者全面理解并有效利用这一服务，释放云端大数据分析...

文章 2024-03-07 来自：开发者社区

探索数据宇宙：深入解析大数据分析与管理技术

大数据分析与管理技术关于大数据 2008年，英国著名学术杂志《Nature 》上推出了大数据的专刊。美国一些知名数据管理领域的专家从专业角度出发联合发布了一份名为《大数据的机遇与挑战》(Challenges and opportunities with big data )的白皮书，从学术角度介绍了大数据的产生、处理流程和所面临的若干挑战。在...

问答 2023-11-30 来自：开发者社区

DataWorks我通过json解析的函数解成多个字段写到odps这样？

DataWorks比如说在mysql表中的一个字段，我通过json解析的函数解成多个字段写到odps这样？

问答 2023-11-20 来自：开发者社区

用dataworks 解析 oss的orc文件写入odps正常有告诉我这个是哪里配置问题吗？

用dataworks 解析 oss的orc文件写入odps正常但是我用开源 datax的脚本方式去解析oss的orc文件到hdfs 读取和写入数据是异常的数据出现乱码和空值有大佬告诉我这个是哪里配置问题吗？

文章 2023-09-26 来自：开发者社区

Hadoop学习：深入解析MapReduce的大数据魔力之数据压缩（四）

4.1 概述1）压缩的好处和坏处压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。2）压缩原则（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩4.2 MR 支持的压缩编码1）压缩算法对比介绍2）压缩性能的比较4.3 压缩方式选择压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。4.3.1 Gzip 压缩优点：压....

文章 2023-09-26 来自：开发者社区

Hadoop学习：深入解析MapReduce的大数据魔力（三）

3.5 MapReduce 内核源码解析3.5.1 MapTask 工作机制（1）Read阶段：MapTask通过InputFormat获得的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。（3）Collect 收集阶段：在用户编写 ....

文章 2023-09-26 来自：开发者社区

Hadoop学习：深入解析MapReduce的大数据魔力（二）

3.3 Shuffle 机制3.3.1 Shuffle 机制Map 方法之后，Reduce方法之前的数据处理过程称之为Shuffle。3.3.2 Partition 分区1、问题引出要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）2、默认Partitioner分区public class HashPartitioner<K, V....

文章 2023-09-26 来自：开发者社区

Hadoop学习：深入解析MapReduce的大数据魔力（一）

前言在大数据时代，高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架，其核心概念之一就是MapReduce。今天开始将深入了解MapReduce，探索其在大数据处理中的重要作用。1.MapReduce概述1.1MapReduce 定义MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce 核....