Linear Regression 数据科技

Python中的简单线性回归

“如果您不能简单地解释它，那么您将无法理解得足够。” 简单线性回归是一种统计方法，可让我们总结和研究两个连续（定量）变量之间的关系。我希望今天能向自己证明我理解并可以通过使用Python从头开始编码而不使用Scikit Learn来演示线性回归。我将从导入库-numpy和matplotlib开始。我正在使用Anaconda，因此将内联使用％matplotlib来在笔记本中显示图表。在本例中，我将创建自己的数据集，有意将其设置为具有线性关系。我将使用numpy创建两个数组X和y 。 linspace函数将在我指定的间隔内返回均匀间隔的数字。在括号中输入小数，大数和间隔数。为此，我想要我想给这些数组添加一些噪音，所以我将使用numpy的random.uniform函数创建一个变量。这将从均匀分布返回样本。在括号中输入下边界，上边界和输出形状。使用matplotlib绘制X和y的基本散点图。最佳拟合线是一条直线，它将穿过散点图上数据点的中心。…

R中的OLS和Logistic回归模型

我们主要使用线性模型来分析横截面数据；也就是说，在多个观察值中的某个特定时间点收集的数据。我们也可以将此类模型与时间序列数据一起使用，但需要注意诸如序列相关性之类的问题。数据通常可以采用以下三种格式之一：标称值：按没有特定顺序的某些类别分类的变量，例如男性或女性，黑人或白人等。序数：根据排名系统分类的变量；例如，对您最喜欢的食物进行评分，评分最低1，最高10。间隔：两个观测值之间的距离是连续的并且不受特定类别（例如温度，速度等）影响的变量。让我们首先从普通最小二乘回归开始，这是当因变量为区间或小数形式时使用的线性模型的一种常见类型。要在R中运行这种类型的回归，我们使用lm命令。通过一个例子，我们希望分析解释变量容量，汽油和小时数对因变量消耗的影响。本质上，我们希望根据不同的因素来确定特定车辆每年的汽油花费（美元）。因此，我们的变量如下：消耗：特定车辆每年的汽油花费（美元）容量：车辆油箱容量（以升为单位）价格：每台泵的平均燃料成本小时：所有者每年驱动的小时数普通最小二乘法的目的是揭示当自变量改变1个单位时对因变量的影响。…

正则化概述

在本文中，我们将讨论正则化的需求及其不同类型。在有监督的机器学习模型中，我们将在称为训练数据的数据上训练我们的模型，我们的模型将从这些数据中学习。在某些情况下，我们的模型会从数据模式中学习到训练数据中的噪声。这样一个过拟合的模型将具有较少的泛化性，这意味着它们将在训练数据中表现良好，但在新数据中表现不佳。我们的机器学习算法的目标是学习数据模式并忽略数据集中的噪声。现在，有几种方法可以避免在训练数据上过度拟合模型，例如交叉验证，特征约简，正则化等。在本文中，我们将讨论正则化。正则化基本上会随着模型复杂性的增加而增加代价。正则化参数（lambda）会对除截距以外的所有参数进行惩罚，以便模型对数据进行泛化，并且不会过拟合。让我们了解惩罚损失函数如何帮助避免过度拟合我们将以线性回归为例说明正则化。线性回归的成本函数为我们的目标是最小化成本函数J（θ0，θ1）。让我们的假设如下我们的想法是，我们想消除诸如θ2，θ3，θ4等参数的影响，而无需实际摆脱这些特征或更改假设的形式，而是可以修改成本函数。在这里，让我们修改θ3和θ4的影响。最后，我们增加了两个额外的项以增加θ3和θ4的成本。现在，为了使成本函数接近零，我们必须将θ3和θ4的值减小到接近零。反过来，这将大大减小我们假设函数中的θ3…

线性回归 3

在我的线性回归系列的这一部分中，我认为这是介绍线性回归中使用的线性代数的好机会。如果您一直关注我以前的文章，那么您将看到简单线性回归（SLR）模型可以表示为：该模型的解释涉及暂时忽略误差项ε，并看到存在一条“理想回归线”，该“理想回归线”穿过X和Y散点图上的一组线性关联的数据点。该行是使用我在上一课中提到的Beta创建的，可以看作是下图中的平面。为了确保您对概念有一个准确的了解，这只是一个假设的回归平面，并且可能存在更准确的数据回归平面。从图像中可以看到，对于给定的点x，存在一个关联点y，该点垂直位于其上方，并且与“真实回归平面”不同。点y与回归平面之间的差是方程中的误差项epsilon。如果在平面上方，则可以为正；如果在平面下方，则可以为负。因此，对于具有两列x和y数据点的数据集，可以用这种方式将它们解释为总共有n个对。但是，这可能是单调乏味的写出这些数据点的方式，并且可以用另一种更方便使用的方式来写。为了避免在潜在的更大数据集中为每对数据写出整个方程，可以使用线性代数的矢量表示法将其缩短。在存在多个X和Beta对（表示多个预测变量）的多重线性回归（MLR）中，这将特别节省时间和精力。缩短的版本可以在以下公式中看到：对于那些在大学里没有线性代数经验的人，我将尝试解释这里正在发挥作用的更简单的方面。以前有单独的方程式，它们表示虚拟数据集中Y的顺序。 Y的集合已被收集到所谓的向量中。线性代数中的矢量符号可与粗体字母，指向右侧的特定箭头（从物理学上）或变量下方的弯曲线（类似于Microsoft Word中的弯曲表示错字）一起使用。…

线性回归简介

大家好！我的数据科学沉浸式同学和我不得不发表有关各种数据科学主题的闪电演讲。猜猜谁被分配了线性回归？好，什么是线性回归？线性回归（LR）是一种使用直线拟合线查看因变量与一个或多个因变量之间的关系的方法。具有一个变量的线性回归模型称为单线性回归（SLR），而具有两个或多个变量的线性回归模型称为多元线性回归（MLR）。因变量有时称为响应变量，而自变量也称为预测变量。以下是多元线性回归的简单示例： Y = B0 + B1X + B2X X：自变量的值 Y：因变量的值 B0：常数（当X…

Ruby中的线性回归

一点数学和一点代码，Ruby中的机器学习线性回归是最简单的机器学习算法之一，但仍然可以很好地执行。更重要的是，很容易掌握其中一些机器学习的核心概念，而不会因为那里更复杂的算法而分心。我们将讲解线性回归的基础知识，在ruby中实现所有必要的代码，并使用它来预测一些事情。将会有足够的数学来理解正在发生的事情，但是重点将放在代码上。因为您正在阅读本文，所以您可能会对机器学习感兴趣。对于开发人员来说，感觉就像与我们通常要面对的野兽完全不同。至少我是这样。真正帮助我理解一些事情的是编写自己的线性回归算法。不，不用担心，这不是一个疯狂的壮举-实际上，这正是我们在一秒钟内要做的事情。我的希望是，首先用代码解决这个话题可能会帮助我的一些红宝石开发人员更轻松地进行机器学习。线性回归是一种受监督的机器学习算法。与例如不同的值相比，预测的输出是连续的值。监督：您在训练算法时告诉算法预期的结果，您基本上知道预期的结果。连续价值：通常是诸如价格，环境价值之类的价值，与使您能够对某些事物进行分类的不同价值相反。例如，当您的算法可以说：图片上有一辆汽车时，它会输出一个不同的值。是的，有时候通过将某些东西与不是的东西进行对比来解释是比较容易的。好的，因此基本流程（和术语）如下：您有一些值x，这些值将用于预测y值。…

Achetez votre纵坐标数据科学

Projet de Guillaume Vilain —第2批 Vous vousêtesdéjàpossureposéceproblème：Vous voulez acheter un ordeurur au meilleur prix，女主角vous faites面对àplusieurs困难。必不可少的技巧，一定要掌握技巧，以及临时告诫告密者。趋势综合趋势的重要意义。 L’études’attache…

线性回归-统计学习

这是博客系列“ 统计学习笔记 ”的第二篇，这是我对“统计学习入门（ISLR）”的“第3章-线性回归”的笔记，在这里，我试图直观地理解关键概念以及这些概念如何关联。统计学习导论 “作为一名前数据科学家，毫无疑问，除了“学习统计的最佳方法是什么？”之外，我的问题无非是…… www-bcf.usc.edu 注意：我建议读者参考ISLR书籍，以防他/她想进一步挖掘或寻找例子。线性回归线性回归是监督学习的一种简单方法。假设Y对X1; X2;的依赖性。：：：Xp是线性的。真正的回归函数永远不会是线性的，尽管看起来似乎过于简单，但是线性回归在概念和实践上都非常有用。简单线性回归简单线性回归基于单个预测变量X预测定量响应Y。它假定X和Y之间近似线性关系。其中β0和β1是代表截距和斜率的两个未知常数…

经典的线性回归模型很好。为什么我们需要正则化？

线性回归模型可能是最简单，最常用的预测模型。使用线性回归模型有很多优点。最重要的是，在假设误差项为正态分布的情况下，线性回归模型的OLS（普通最小二乘）估计量是无偏的（基于Gauss-Markov定理），因此得出了有用的推论。但在某些情况下，经典的线性回归模型无法很好地处理：存在多重共线性时。多重共线性是一种或多种自变量可以表示为其他自变量的线性组合的现象。实际上，这个问题几乎存在于现实世界的任何地方。当自变量的数量大于观察值的数量时。发生这种情况时，OLS估计无效是主要因为我们的估计有无限解。 …… 因此，我们需要更好的替代方案来解决这些问题。有多种方法可以解决上述问题，例如特征选择，正则化，降维等。今天，我将仅关注正则化。正则化是引入其他信息以解决不适的问题或防止过度拟合的过程（维基百科）。进行正则化的一种方法是向损失函数添加约束：正则损失=损失函数+约束我们可以使用多种不同形式的约束来进行正则化。…