文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-空间内一点到超平面的距离推广公式

超平面 与 法向量 超平面(H,Hyperplane) 是二维平面中直线、三维空间中平面对象的推广形式,本质是$n$维空间的一个子空间,满足向量加法与乘法的封闭。空间中的平面都可以被平面上任意一点$x_0$及与平面内任意向量所垂直的平面法向量$\vec w$所确定: 定义空间内一超平面为 $H$在平面上确定一点 $x_0$,就有平面上其它任意点$x$ 与$x_0$所成向量 $\vec ...

学习笔记: 机器学习经典算法-空间内一点到超平面的距离推广公式
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-分类算法模型的评价指标

1、分类准确度(accuracy) 分类准确率(ACC,accuracy ): 该指标描述了统计测试集的模型预测结果与真实标签的一致度,是一般情况下在 无倾斜样本总体 的分类评价中最常用的指标,准确率越高,意味着分类模型效果越好。$$ACC = \frac {TN+TP}{TN+FP+FN+TP}$$np.sum( Y_predict ==Test_Y)/len(Test_y) 缺...

学习笔记: 机器学习经典算法-分类算法模型的评价指标
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-逻辑回归(Logistic Regression)

逻辑回归(Logistic Regression) 是目前各行业最常用的分类方法,属于线性回归的拓展。 特点:该算法联系了样本的特征和样本发生概率($\hat p = f(x)$),在运算上由于 概率值 本身是一个数值,因此该方法分类方法被称为回归方法。算法最终得到样例的预测概率值 $\hat p$ 用于 分类问题。所以逻辑回归既可以看作是回归算法,也可以看作是分类算法,通常作为分类算法使用...

学习笔记: 机器学习经典算法-逻辑回归(Logistic Regression)
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-决策边界(decision boundary)

1、决策边界 在分类问题中,决策边界(Decision boundaries) 的几何含义表示为一个超曲面 (线性分类的边界为超平面),该 曲面 将特征空间中的样本按样本类别分布将它们划分分开。 1.2 简单逻辑回归的决策边界 逻辑回归算法改进于线性回归算法;在线性回归中,计算的模型参数 $\theta$ 描述了样本特征对样本输出标记的贡献程度; 在逻辑回归中,样本特征通过通...

学习笔记: 机器学习经典算法-决策边界(decision boundary)
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-模型正则化

模型正则化 Regularization 是通过 约束模型参数值的大小 实现解决模型方差过大(过拟合)问题的一种 标准处理手段。通过模型正则化处理可以在保持模型具有较高复杂度的前提下 提高模型的泛化能力。 关于向量的Lp范数 Lp范数: 数学上表达为向量各个元素绝对值p次方和的1/p次方 $\|\vec x\|_{p} = (\sum_{i=1}^{n}|x_{i}|^{p})^{\frac...

学习笔记: 机器学习经典算法-模型正则化
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-模型泛化

1、过拟合与欠拟合 对于包含噪音的数据集,进行数据拟合的时候,总能找到一条曲线穿过所有样本点,使得模型的预测结果与给定训练集内的样本真实标签完全一致,取得极低的预测误差;但这意味着算法所训练的模型过多的表达了数据之间的噪音关系,称为 过拟合(over fitting)。欠拟合(under fitting) 则表明算法所训练的模型不能完整表述数据关系。则如果模型拟合程度不高,意味着模型没有很好地.....

学习笔记: 机器学习经典算法-模型泛化
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-多项式回归

多元线性回归分析 基于数据间存在线性关系的前提假设进行数据的建模和回归分析,但在实际应用场景中很少有能够满足具有强线性关系特点的数据集,更多地是表现出 非线性关系 的数据。多项式回归 方法基于线性回归的处理逻辑提出,主要应用于非线性关系数据的 回归预测任务。 1、算法基本过程 在线性回归中模型中,类如平面直线模型 $f(x) = ax + b$,其中就有 $x$ 为样本特征,$a,b$ 为模...

学习笔记: 机器学习经典算法-多项式回归
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-主成分分析PCA与梯度上升法

算法特点非监督机器学习算法,主要用于数据降维;降维可以提高算法效率,同时帮助可视化,以便于人类理解更好的理解数据;去噪。1、 PCA的基本原理样本在其特征空间的分布表现是其各特征轴上记录信息的综合呈现形式。 PCA 分析基于能够捕获原始样本最大信息量为目标在样本的原始特征空间寻找一个新的坐标系,并通过在新坐标系中挑选能够解释样本绝大部分信息的前$n$个轴来描述样本,从而完成数据的 降维。1.1 ....

学习笔记: 机器学习经典算法-主成分分析PCA与梯度上升法
文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-回归模型性能评估

在实际使用的时候,训练线性回归模型的数据来源于从原始数据集拆分出来的训练集(train_data),模型的损失函数也是对应训练集的,即$\sum^{m}_{i} {(\hat y^{(i)}_{train} - y^{(i)}_{train})^{2}} $。 ① 均方误差(Mean Square Error) $MSE = \frac {1}...

文章 2023-06-14 来自:开发者社区

学习笔记: 机器学习经典算法-梯度下降法求解线性回归

梯度法 是基于搜索来最优化一个目标函数的方法。分为梯度下降法 和 梯度上升法 : 梯度下降法 用来最小化一个损失函数; 梯度上升法,用作最大化效用函数。 对于很多无法求取数学解(类似线性回归的正规数学方程解)的机器学习算法模型,就需要用到 梯度法 这种搜索最优化方法来找到其最优解。 1、梯度含义 对于一个存在极值点的损失函数$J$,比如其与参数$\theta$...

学习笔记: 机器学习经典算法-梯度下降法求解线性回归

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注