基于Spark的机器学习实践 (十) - 降维

通过讲解PCA算法的原理,使大家明白降维算法的大致原理,以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践,帮助大家体会算法的作用。0 相关源码1 PCA算法及原理概述1.1 何为降维?◆ 从高维度变为低维度的过程就是降维◆ 例如拍照就是把处在三维空间中的人或物从转换到作为...

基于Spark的机器学习实践 (九) - 聚类算法

0 相关源码1 k-平均算法(k-means clustering)概述1.1 回顾无监督学习◆ 分类、回归都属于监督学习◆ 无监督学习是不需要用户去指定标签的◆ 而我们看到的分类、回归算法都需要用户输入的训练数据集中给定一个个明确的y值1.2 k-平均算法与无监督学习◆ k-平均算法是无监督学习的...

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第四阶段

19 课时 |
106 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第五阶段

32 课时 |
125 人已学 |
免费

大数据实战项目 - 反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第六阶段

21 课时 |
180 人已学 |
免费
开发者课程背景图
基于Spark的机器学习实践 (四) - 数据可视化

基于Spark的机器学习实践 (四) - 数据可视化

0 相关源码1 数据可视化的作用及常用方法1.1 为什么要数据可视化1.1.1 何为数据可视化?◆ 将数据以图形图像的形式展现出来◆ 人类可以对三维及以下的数据产生直观的感受1.1.2 数据可视化的好处◆ 便于人们发现与理解数据蕴含的信息◆ 便于人们进行讨论1.2 数据可视化的常用方法◆ 对于web...

基于Spark的机器学习实践 (二) - 初识MLlib(下)

基于Spark的机器学习实践 (二) - 初识MLlib(下)

2 MLlib的数据结构2.1 本地向量(Local vector)具有整数类型和基于0的索引和双类型值本地向量的基类是Vector,我们提供了两个实现:DenseVector 和 SparseVector◆ 本地向量是存储在本地节点上的,其基本数据类型是Vector.其有两个子集,分别是密集的与稀...

基于Spark的机器学习实践 (二) - 初识MLlib(上)

基于Spark的机器学习实践 (二) - 初识MLlib(上)

1 MLlib概述1.1 MLlib 介绍◆ 是基于Spark core的机器学习库,具有Spark的优点◆ 底层计算经过优化,比常规编码效率往往要高◆ 实现了多种机器学习算法,可以进行模型训练及预测1.2 Spark MLlib实现的算法◆ 逻辑回归 朴素贝叶斯 线性回归 SVM 决策树 LDA ...

基于 Spark 和 TensorFlow 的机器学习实践

基于 Spark 和 TensorFlow 的机器学习实践

本场视频链接:https://developer.aliyun.com/live/1547?spm=a2c6h.12873581.0.0.71671566iIzpz5&groupCode=apachespark 本场PPT资料:https://www.slidestalk.com/AliSp...

基于Spark的机器学习实践 (十) - 降维

通过讲解PCA算法的原理,使大家明白降维算法的大致原理,以及能够实现怎么样的功能。结合应用降维算法在分类算法使用之前进行预处理的实践,帮助大家体会算法的作用。 0 相关源码 1 PCA算法及原理概述 1.1 何为降维? ◆ 从高维度变为低维度的过程就是降维 ◆ 例如拍照就是把处在三维空间中的人或物从...

基于Spark的机器学习实践 (四) - 数据可视化

# 0 相关源码 1 数据可视化的作用及常用方法 1.1 为什么要数据可视化 1.1.1 何为数据可视化? ◆ 将数据以图形图像的形式展现出来 ◆ 人类可以对三维及以下的数据产生直观的感受 1.1.2 数据可视化的好处 ◆ 便于人们发现与理解数据蕴含的信息 ◆ 便于人们进行讨论 1.2 数据可视化的...

基于Spark的机器学习实践 (三) - 实战环境搭建

基于Spark的机器学习实践 (三) - 实战环境搭建

0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境 下载 解压 tar zxvf spark-2.4.1-b...

基于Spark的机器学习实践 (二) - 初识MLlib

1 MLlib概述 1.1 MLlib 介绍 ◆ 是基于Spark core的机器学习库,具有Spark的优点 ◆ 底层计算经过优化,比常规编码效率往往要高 ◆ 实现了多种机器学习算法,可以进行模型训练及预测 1.2 Spark MLlib实现的算法 ◆ 逻辑回归 朴素贝叶斯 线性回归 SVM 决策...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4458+人已加入
加入
相关电子书
更多
\"基于 Apache* Spark* 的大规模 分布式机器学习实践\"
基于Spark的面向十亿级别特征的 大规模机器学习
基于Spark的大规模机器学习在微博的应用
立即下载 立即下载 立即下载