Spark 概念学习系列之Apache Spark是什么?(一)

什么?  ● 官方文档解释: Apache Spark™&is a fast and general engine for large-scale data processing.  通俗的理解: Spark是基于内存计算的大 ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:6 回复:0

大数据分析平台解析:什么是Apache Spark?

程序,应该使用结构化流式处理。传统的 Spark Streaming API将继续得到支持,但是该项目建议移植到结构化流式处理,因为新方法使得编写和维护流代码更容易。 Apache Spark的下一步是 什么?尽管结构化流式传输为 Spark ...
来自: 开发者社区 > 博客 作者: 行者武松 浏览:61 回复:0
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

微软发布 .Net for Apache Spark :用什么语言开发大数据都可以

访问。我们计划在 open(作为.NET Foundation 成员项目)中为 Apache Spark 开发 .NET,同时与 Spark 和 .NET 社区一起开发,以确保开发人员能够在这两方面都做得很好。本文将阐述关于以下主题的更多细节: 什么是 ...
来自: 开发者社区 > 博客 作者: 曹龙 浏览:129 回复:0

CDH上spark gateway 无状态 不适用是什么意思?求大神解释

CDH上 spark gateway是做 什么的? 装好之后 显示 无状态 不适用 但是 spark也不报警 这是怎么回事?求大神解释 ...
来自: 开发者社区 > 论坛 作者: 我是熊宝宝 浏览:383 回复:3

求助 spark metrics 里的一些key是什么意思啊

我配置 spark metrics csv。有个文件内入如下; t,count,max,mean,min,stddev,p50,p75,p95,p98,p99,p999 1480931392,0,0,0.000000,0,0.000000,0.000000 ...
来自: 开发者社区 > 论坛 作者: itianying 浏览:179 回复:2

压测和调试日志中常见的Error信息有哪些?分别表示什么意思? - 性能测试 PTS

。 class org. apache.http.ConnectionClosedException:Connection closed 表示连接异常关闭,服务端主动关闭了连接 ...

java e代表什么意思是什么意思是什么意思是什么意思是什么

java e代表 什么 意思什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java中e表示什么意思是什么意思是什么意思是什么意思是什么

java中e表示 什么 意思什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java 树什么意思是什么意思是什么意思是什么意思是什么

java 树 什么 意思什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《 Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了 Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了 Spark 3.0即将重磅发布的新功能。2019阿里云峰会 ...
来自: 开发者社区 > 博客 作者: 曹龙 浏览:96 回复:0

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《 Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了 Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了 Spark 3.0即将重磅发布的新功能。2019阿里云峰会 ...
来自: 开发者社区 > 博客 作者: 雷飙 浏览:166 回复:0

7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】

Apache Arrow 是一个基于内存的列式存储标准,旨在解决数据交换和传输过程中,序列化和反序列化带来的开销。目前, Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开,本次分享会介绍 Apache Arrow 并分析 ...
来自: 开发者社区 > 博客 作者: 曹龙 浏览:99 回复:0

《Spark与Hadoop大数据分析》——第2章 Apache Hadoop和Apache Spark入门

### Apache Hadoop和 Apache Spark入门在本章,我们将学习 Hadoop 和 Spark 的基本知识,了解 Spark 与 MapReduce 有哪些不同,并开始安装集群和设置分析所需的工具。本章分为以下几个子主题 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:133 回复:0

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《 Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了 Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了 Spark 3.0即将重磅发布的新功能。2019阿里云峰会 ...
来自: 开发者社区 > 博客 作者: 社区助手 浏览:175 回复:0

解析Apache Spark Scala中的数据org.apache.spark.SparkException:尝试使用textinputformat.record.delimiter时出现任务无序列化错误

.io.Textimport org. apache.hadoop.io.LongWritableimport org. apache. spark.{SparkConf, SparkContext}object parse_stats ...
来自: 开发者社区 > 问答 作者: flink小助手 浏览:12 回复:1

解析Apache Spark Scala中的数据org.apache.spark.SparkException:尝试使用textinputformat.record.delimiter时出现任务无序列化错误

.io.Textimport org. apache.hadoop.io.LongWritableimport org. apache. spark.{SparkConf, SparkContext}object parse_stats ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:13 回复:1

Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

ClientArguments进行了封装,真正指定启动类的名称的地方在ClientArguments中。构造函数中指定了amClass的默认值是org. apache. spark.deploy.yarn.ApplicationMaster实例说明将SparkPi部署到Yarn上 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1903 回复:0

《Spark与Hadoop大数据分析》一一第2章 Apache Hadoop和Apache Spark入门

###第2章 Apache Hadoop和 Apache Spark入门在本章,我们将学习 Hadoop 和 Spark 的基本知识,了解 Spark 与 MapReduce 有哪些不同,并开始安装集群和设置分析所需的工具。本章分为以下几个子主题 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:291 回复:0

7月24日晚Spark社区直播:【Apache Spark 基于 Apache Arrow 的列式存储优化】

Apache Arrow 是一个基于内存的列式存储标准,旨在解决数据交换和传输过程中,序列化和反序列化带来的开销。目前, Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开,本次分享会介绍 Apache Arrow 并分析 ...
来自: 开发者社区 > 博客 作者: 雷飙 浏览:74 回复:0

Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

ClientArguments进行了封装,真正指定启动类的名称的地方在ClientArguments中。构造函数中指定了amClass的默认值是org. apache. spark.deploy.yarn.ApplicationMaster实例说明将SparkPi部署到Yarn上 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1903 回复:0

java 树什么意思是什么意思是什么意思是什么意思

java 树 什么 意思什么 意思什么 意思什么 意思 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java中的流是什么意思是什么意思是什么意思是什么意思

java中的流是 什么 意思什么 意思什么 意思什么 意思 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

《Spark与Hadoop大数据分析》一一第2章 Apache Hadoop和Apache Spark入门

###第2章 Apache Hadoop和 Apache Spark入门在本章,我们将学习 Hadoop 和 Spark 的基本知识,了解 Spark 与 MapReduce 有哪些不同,并开始安装集群和设置分析所需的工具。本章分为以下几个子主题 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:291 回复:0

Apache Spark源码走读(四)Hive on Spark运行环境搭建 &hiveql on spark实现详解

// An existing SparkContext.val hiveContext = new org. apache. spark.sql.hive.HiveContext(sc)// Importing the SQL context gives ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1931 回复:0

java代表什么意思是什么意思是什么意思是什么意思

java代表 什么 意思什么 意思什么 意思什么 意思 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java是啥意思是什么意思是什么意思是什么意思是什么

java是啥 意思什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java的的意思是什么意思是什么意思是什么意思

java的的 意思什么 意思什么 意思什么 意思 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java中 的意思是什么意思是什么意思是什么意思

java中 的 意思什么 意思什么 意思什么 意思 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java 符号什么意思是什么意思是什么意思是什么

java 符号 什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java具体是什么意思是什么意思是什么意思是什么

java具体是 什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java中e表示什么意思是什么意思是什么意思是什么

java中e表示 什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

在java中 代表什么意思是什么意思是什么意思是什么

在java中 代表 什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

java中什么意思是什么意思是什么意思是什么

java中 什么 意思什么 意思什么 意思什么 ...
来自: 开发者社区 > 问答 作者: 云计算小粉 浏览:0 回复:0

Apache Spark源码走读(九)如何进行代码跟读&使用Intellij idea调试Spark源码

今天不谈 Spark什么复杂的技术实现,只稍为聊聊如何进行代码跟读。本文讲解如何进行代码跟读及使用Intellij idea调试 Spark源码。 <一>如何进行代码跟读概要今天不谈 Spark什么复杂的技术实现,只稍为 ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:1740 回复:0

Apache Spark技术实战(四)spark-submit常见问题及其解决 &CassandraRDD高并发数据读取实现剖析

.serializer org. apache. spark.serializer.KryoSerializer spark.cores.max 32 spark.shuffle.manager SORT spark.driver.memory 2g ...
来自: 开发者社区 > 博客 作者: 许鹏 浏览:2082 回复:0

《Spark与Hadoop大数据分析》——2.2 Apache Spark概述

:![image](https://yqfile.alicdn.com/84da42ff50f8100a9e16f23723f8a5b187f7e5f3.png)###2.2.2  Apache Spark什么让我们来了解一下 Apache ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:177 回复:0

Apache Spark机器学习.1.1 Spark概述和技术优势

摘要 Spark机器学习简介本章从机器学习和数据分析视角介绍 Apache Spark,并讨论 Spark中的机器学习计算处理技术。本章首先概括介绍 Apache Spark,通过与MapReduce等计算平台进行比较,展示 Spark在数据分析中的技术 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:619 回复:0

Apache Spark机器学习.1.5 Spark RDD和DataFrame

快。相对于使用Hadoop和直接使用RDD,使用 Spark SQL可以大幅减少代码数量。更多信息,请访问:http:// spark. apache.org/docs/latest/sql-programming-guide.html。1.5.3 R ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:638 回复:0

spark-shell脚本分析

本文主要分析spark-shell脚本的运行逻辑,涉及到spark-submit、spark-class等脚本的分析,希望通过分析脚本以了解spark中各个进程的参数、JVM参数和内存大小如何设置。 spark-shell 使用yum安装spark之后,你可以直接在终端运行spark-shell命...
来自: 开发者社区 >博客

SparkStreaming+Kafka 实现基于缓存的实时wordcount程序

版权声明:本文由董可伦首发于https://dongkelun.com,非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80797535 ...
来自: 开发者社区 >博客

Spark:大数据的电花火石!

什么是Spark?可能你很多年前就使用过Spark,反正当年我四六级单词都是用的星火系列,没错,星火系列的洋名就是Spark。 当然这里说的Spark指的是Apache Spark,Apache Spark™is a fast and general engine for large-scale ...
来自: 开发者社区 >博客

是时候放弃 Spark Streaming, 转向 Structured Streaming 了

正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少,Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下,Stru...
来自: 开发者社区 >博客

Spark源码分析之Spark Shell(上)

终于开始看Spark源码了,先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东,其实里面还是有很多知识点的。另外,从启动脚本入手,是寻找代码入口最简单的方法,很多开源框架,其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark-shell是什么? Spark-sh...
来自: 开发者社区 >博客

Spark 3.0 终于支持 event logs 滚动了

背景 相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的,不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能,并且通过 spark.eventLog.dir 参数来指定 event log ...
来自: 开发者社区 >博客

2015 Bossie评选:最佳开源大数据工具

Bossie奖是知名英文IT网站InfoWorld针对开源软件颁发的年度奖项,根据这些软件对开源界的贡献,以及在业界的影响力评判获奖对象。本次InfoWorld评选出了22款最佳的开源大数据工具,像Spark、Storm都名列榜单之上。 InfoWorld在分布式数据处理、流式数据分析、机器学...
来自: 开发者社区 >博客

Apache Flink 漫谈系列(02) - 概述

Apache Flink 的命脉 "命脉" 即生命与血脉,常喻极为重要的事物。系列的首篇,首篇的首段不聊Apache Flink的历史,不聊Apache Flink的架构,不聊Apache Flink的功能特性,我们用一句话聊聊什么是 Apache Flink 的命脉?我的答案是:Apache F...
来自: 开发者社区 >博客

Phoenix与Squirrel 是什么?

前言    Phoenix是HBase的开源SQL引擎。    squirrel是windows上Phoneix可视化工具。          Phoenix的官网 http://phoenix.apache.org/                 Phoenix是什么?   Phoenix是...
来自: 开发者社区 >博客

数据科学工具包(万余字介绍几百种工具,经典收藏版!)

本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大类,部分网址。为数据科学教育和知识分享,提高数据科学人员素质。 数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学、概率...
来自: 开发者社区 >博客
< 1 2 3 4 ... 2793 >
共有2793页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场