apache spark项目-阿里云

配置spark，并在idea中搭建项目

网上的普遍太久远，不太适配，记录自己的完美搭建一、配置spark1.配置maven（注意选择版本为3.6.3）参考：https://blog.csdn.net/huo920/article/details/82082403但这一步是多余的2.下载scala（注意版本对应为2.12）查看scala版本...

DataWorks中为什么同样的spark代码在不同的maxcompute项目中执行有的报错？

DataWorks中为什么同样的spark代码在不同的maxcompute项目中执行有的可以执行有的报错？

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

33 课时 |

283 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

28 课时 |

248 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

25 课时 |

92 人已学 |

加入学习

SparK项目原作解读：卷积模型的首个BERT预训练

「大规模预训练」是 AI 各领域愈发浮出水面的宏图愿景。BERT 预训练与 GPT 齐名，分别被证明在语言理解和语言生成下游任务上取得了卓越性能，是 NLP 表征学习的利器。「卷积模型」则是视觉领域的中流砥柱。得益于高度并行化和局部化，CNN 长期积累的硬件优化使其成为现实工业界中不可代替的骨干。「...

Spark Master 和 Worker 项目需求 | 学习笔记

开发者学堂课程【Scala 核心编程 - 进阶：Spark Master 和 Worker 项目需求】学习笔记，与课程紧密连接，让用户快速学习知识。课程地址：https://developer.aliyun.com/learning/course/610/detail/9123Spark ...

Spark项目实战：飞机延误预测项目

0x00 教程内容数据准备工程实现项目讲解项目升级PS：后期还会补充：1、进行Spark、Scala版本升级2、继续优化数据，提高预测效果3、代码优化，代码里有小部分测试代码，应该优化~0x01 数据准备1. 下载数据a. wget参考命令：wget http://stat-computing.or...

Spark集群搭建记录 | 云计算[CentOS8] | Scala Maven项目访问Spark(local模式)实现单词计数（下）

step6 创建scala object在src 目录下，我们创建一个scala object，右键src，然后：在里面写入代码逻辑，具体代码可以参考链接并根据实际情况对代码进行修改以上链接源代码：具体代码根据自己实际情况来进行修改import org.apache.spark.{SparkConf...

Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark(local模式)实现单词计数（上）

写在前面本系列文章索引以及一些默认好的条件在传送门要想完成Spark的配置，首先需要完成Hadoop&&Spark的配置Hadoop配置教程：链接若未进行明确说明，均按照root用户操作step1 下载Scala IDE本来在Eclipse 的Marketplace便可以下载，可是...

【Spark】Spark Dataframe 对项目中的数据实现列转行操作

1. KafKa Streams简介功能强大高拓展性，弹性，容错有状态和无状态处理基于事件时间的Window，Join，Aggergations轻量级无需专门的集群没有外部以来一个库，而不是框架完全集成 100%的Kafka 0.10.0版本兼容易于集成到现有的应用程序程序部署无需手...

【Spark】Spark Dataframe 对项目中的数据实现列转行操作

文章目录一、数据源二、首先考虑单独两行映射三、同理将其余隔行依次映射四、数据进行拼接一、数据源转换之前先看下数据结构多行存在空值需要过滤，不同的状态（yes、maybe、invited、no）存在多个值，需要转换成（events userid status）的状态val df = spark.rea...