问答 2023-11-05 来自:开发者社区

大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?

大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?

问答 2023-10-23 来自:开发者社区

大数据计算MaxCompute用SQL解析插入表日周期处理任务数据量百万左右会不会有崩或者运行失败?

大数据计算MaxCompute用SQL解析插入表日周期处理任务数据量百万左右会不会有崩或者运行失败?

文章 2023-09-26 来自:开发者社区

Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)

4.1 概述1)压缩的好处和坏处压缩的优点:以减少磁盘IO、减少磁盘存储空间。压缩的缺点:增加CPU开销。2)压缩原则(1)运算密集型的Job,少用压缩(2)IO密集型的Job,多用压缩4.2 MR 支持的压缩编码1)压缩算法对比介绍2)压缩性能的比较4.3 压缩方式选择压缩方式选择时重点考虑:压缩/解压缩速度、压缩率(压缩后存储大小)、压缩后是否可以支持切片。4.3.1 Gzip 压缩优点:压....

Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
文章 2023-09-26 来自:开发者社区

Hadoop学习:深入解析MapReduce的大数据魔力(三)

3.5 MapReduce 内核源码解析3.5.1 MapTask 工作机制(1)Read阶段:MapTask通过InputFormat获得的RecordReader,从输入InputSplit中解析出一个个key/value。(2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生一系列新的key/value。(3)Collect 收集阶段:在用户编写 ....

Hadoop学习:深入解析MapReduce的大数据魔力(三)
文章 2023-09-26 来自:开发者社区

Hadoop学习:深入解析MapReduce的大数据魔力(二)

3.3 Shuffle 机制3.3.1 Shuffle 机制Map 方法之后,Reduce方法之前的数据处理过程称之为Shuffle。3.3.2 Partition 分区1、问题引出要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区)2、默认Partitioner分区public class HashPartitioner<K, V....

Hadoop学习:深入解析MapReduce的大数据魔力(二)
文章 2023-09-26 来自:开发者社区

Hadoop学习:深入解析MapReduce的大数据魔力(一)

前言在大数据时代,高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架,其核心概念之一就是MapReduce。今天开始将深入了解MapReduce,探索其在大数据处理中的重要作用。1.MapReduce概述1.1MapReduce 定义MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce 核....

Hadoop学习:深入解析MapReduce的大数据魔力(一)
文章 2023-09-17 来自:开发者社区

大数据Hive URL解析函数及侧视图

1 实际工作需求业务需求中,我们经常需要对用户的访问、用户的来源进行分析,用于支持运营和决策。例如我们经常对用户访问的页面进行统计分析,分析热门受访页面的Top10,观察大部分用户最喜欢的访问最多的页面等:又或者我们需要分析不同搜索平台的用户来源分析,统计不同搜索平台中进入网站的用户个数,根据数据进行精准的引导和精准的广告投放等:要想实现上面的受访分析、来源分析等业务,必须在实际处理数据的过程中....

大数据Hive URL解析函数及侧视图
问答 2023-08-30 来自:开发者社区

自定义UDF中使用jaxb解析xml,odps中抛出access denied异常。

是因为沙盒限制的原因吗?

问答 2023-08-27 来自:开发者社区

DataWorks我在使用ODPS SQL 解析json( get_json_object )的?

DataWorks我在使用ODPS SQL 解析json( get_json_object )的时候 当json字符串包含特殊字符 则无法正常解析,请问平台是否提供通用转义方案,我看开源Hive有escape_json()的解决方案,但是ODPS平台不支持?

问答 2023-08-27 来自:开发者社区

各位大佬 大数据计算MaxCompute我现在用ODPS SQL 针对JSON字符串解析的时候遇到?

各位大佬 大数据计算MaxCompute我现在用ODPS SQL 针对JSON字符串解析的时候遇到一个情况当json字符串里面包含ASCII特殊字符的时候 get_json_object() 就不能正常工作了 请问这个应该怎么处理呀?如果能够提供给我一个方法简单的将特殊字符转义掉 也是OK的,我看到开源的Hive有escape_json()的解决方案,但是ODPS平台不支持

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

阿里巴巴大数据计算

阿里大数据官方技术圈

+关注