您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

神经网络简介

时间:2019-09-09 13:51:56  来源:  作者:

简单解释神经网络是如何工作的,以及如何在Python中从头实现一个。

这句话可能会让你大吃一惊:神经网络并没有那么复杂!“神经网络”这个词经常被用作流行语,但实际上它们往往比人们想象的要简单得多。

这篇文章是完全针对初学者准备的,我们假设你没有任何机器学习的知识。我们将了解神经网络如何工作,同时在Python中从零开始实现一个。

让我们开始吧!

1. 构建块:神经元

首先,我们必需讨论神经元,神经网络的基本单位。一个经元接受输入,对它们进行一些数学运算,然后产生一个输出。这里是一个2输入神经元的样子:

神经网络简介

 

这里发生了三件事。首先,每个输入被乘以一个权重:

神经网络简介

 

接下来,将所有加权后的输入与一个偏差b相加:

神经网络简介

 

最后,总和被传入一个激活函数:

神经网络简介

 

激活函数用于将一个无界输入转换为一个具有良好的、可预测形式的输出。一个常用的激活函数是sigmoid函数:

神经网络简介

 

sigmoid函数只输出(0,1)范围内的数字。你可以认为它是把(−∞,+∞) 压缩到(0,1)——大负数变成~0,大正数变成~1。

一个简单的例子

假设我们有一个使用sigmoid激活函数的2输入神经元,并带有以下参数:

神经网络简介

 

w =[0,1]就是向量形式的w1 =0,w2 =1。现在,我们给这个神经元提供一个x=[2,3]的输入 。我们用点积来写得更简洁一些:

神经网络简介

 

给定输入x=[2,3] ,神经元会输出0.999。就是这样!这个将输入向前传递以获得输出的过程称为前馈。

编写一个神经元

是时候实现一个神经元了!我们将使用NumPy,一个流行而强大的Python计算库,来帮助我们处理数学运算:

神经网络简介

 

认出这些数了吗?这就是我们刚才举的例子!我们得到了相同的答案0.999。

2. 将神经元组合成一个神经网络

一个神经网络只不过是一群连接在一起的神经元。下面是一个简单的神经网络的样子:

神经网络简介

 

这个网络有2个输入,一个带有2个神经元(h1和h2)的隐藏层,一个带有1个神经元(σ1)的输出层。注意σ1的输入是来自h1和h2的输出——这就是一个网络的组成。

隐藏层是在输入(第一个)层和输出(最后一个)层之间的任何层。可以有多个隐藏层!

一个例子:前馈

我们来使用上图所示的网络,假设所有的神经元都具有相同的权重w=[0,1] ,相同的偏差b= 0,以及相同的sigmoid激活函数。让h1、h2、σ1表示它们所表示的神经元的输出。

如果我们传入输入x=[2,3] 会发生什么?

神经网络简介

 

该神经网络对输入x=[2,3] 的输出为0.7216。很简单,对吧?

一个神经网络可以有任意数量的层,每个层可以包含任意数量的神经元。其基本思想是相同的: 通过网络中的神经元向前反馈输入以便最终得到输出。为了简单起见,我们将在本文的其余部分继续使用上面所示的网络。

编写一个神经网络: 前馈

我们来实现我们神经网络的前馈。这里是该网络的图片,再次供参考:

神经网络简介

 


神经网络简介

 

我们又得到了0.7216 !看起来它可以工作。

3.训练神经网络,第1部分

假设我们有以下测量值:

神经网络简介

 

我们来训练我们的网络,并根据一个人的体重和身高来预测他的性别:

神经网络简介

 

我们将用0表示男性,用1表示女性,我们还将对数据进行移位,使其更容易使用:

神经网络简介

 

我随意选择了移位量(135和66)来使数字看起来漂亮一些。一般情况下,你应该使用平均值来移位。

损失

在训练我们的网络之前,我们首先需要一种方法来量化它做得有多“好”,这样它就可以尝试做得“更好”。这种方法就是损失。

我们将使用均方误差(MSE)损失:

神经网络简介

 

让我们来分解一下:

  • n是样本的个数,这里是4 (Alice、 Bob、 Charlie、 Diana)。
  • y表示要预测的变量,即性别。
  • ytrue是变量(“正确答案”)的真值。例如,对于Alice来说,ytrue是1(女性)。
  • ypred是变量的预测值。它是我们网络的输出。

(ytrue - ypred)2称为平方误差。我们损失函数只是取所有平方误差的平均值(因此得名均方误差)。我们的预测越好,我们的损失就会越低!

更好的预测=更低的损失。

训练一个网络=尽量减少它的损失。

一个损失计算例子

假设我们的网络总是输出0,换句话说,它确信所有的人类都是男性。那我们的损失是多少?

神经网络简介

 

代码: 均方误差损失

下面是一些计算损失的代码:

神经网络简介

 

如果你不理解这段代码的工作原理,请阅读NumPy数组操作快速入门。

好了。开始!

4.训练神经网络,第2部分

我们现在有了一个明确的目标: 最小化神经网络的损失。我们知道我们可以改变网络的权重和偏差来影响它的预测,但我们如何才能以一种减少损失的方式做到这一点呢?

本节使用了一些多变量微积分。如果你对微积分不熟悉,你可以跳过数学部分。

为了简单起见,假设我们的数据集中只有Alice:

神经网络简介

 

那么均方误差损失就是Alice的平方误差:

神经网络简介

 

另一种考虑损失的方法是将损失看作是一个权重和偏差的函数。我们来标记我们的网络中的每个权重和偏差:

神经网络简介

 

然后,我们可以将损失写成一个多元函数:

神经网络简介

 

假设我们想调整w1。如果我们改变w1,损失L将如何变化? 偏导数∂L/∂w1可以回答这个问题。我们如何计算它?

这就是数学开始变得更加复杂的地方。不要气馁!我建议你带一支笔和一张纸来跟着计算,它们可以帮助你理解。

首先,我们用∂ypred/∂w1来重写偏导数代替:

神经网络简介

 

由于我们上边计算出了L=(1-ypred)2,因此,我们可以计算∂L/∂ypred:

神经网络简介

 

现在,让我们算出∂ypred/∂w1的值。就像之前一样,假设h1、 h2 、σ1是它们所代表的神经元的输出。那么

神经网络简介

 

由于w1只影响h1(不影响h2),因此,我们可以写

神经网络简介

 

我们对∂h1/∂w1做相同的事情:

神经网络简介

 

这里的x1 是体重 , x2是身高。现在已经是我们第二次看到f'(x)(sigmoid函数的推导式)了!我们对它进行推导:

神经网络简介

 

我们稍后将使用f'(x)这个漂亮的形式。

我们完成了!我们已经将∂L/∂w1分解成了几个我们可以计算的部分:

神经网络简介

 

这种通过逆向运行计算偏导数的系统称为反向传播,或者“backprop”。

哦。这里有很多符号——如果你仍然有点困惑,也没关系。让我们举一个例子来实际看一下!

例子: 计算偏导数

我们将继续假设我们的数据集中只有Alice:

神经网络简介

 

我们初始化所有的权重为1,所有的偏差为0。如果我们执行一个前馈通过网络,我们得到:

神经网络简介

 

该网络输出 ypred =0.524,这并没有特别偏向男性(0)或女性(1)。我们来计算∂L/∂w1:

神经网络简介

 

提醒: 我们在前面为我们的 sigmoid函数推导出了f'(x) = f(x) * (1 - f(x))。

我们做到了!这告诉我们,如果我们增加w1,L就会相应地增加一点点。

训练:随机梯度下降法

我们现在有了训练神经网络所需的所有工具! 我们将使用一种称为随机梯度下降(SGD)的优化算法,它告诉我们如何改变权重和偏差以最小化损失。它基本上就是这个更新方程:

神经网络简介

 

η是一个称为学习率的常数,它控制我们训练的速度。我们所做的就是从w1中减去η∂L/∂w1:

  • 如果∂L/∂w1是正数,w1会减小,从而使得L也减小。
  • 如果∂L/∂w1 是负数,w1会增加,从而使得L也减小。

如果我们对网络中的每一个权重和偏差都这样做,损失就会慢慢减小,我们的网络就会改善。

我们的训练过程如下:

  1. 从数据集中选择一个样本。这就是称其为随机梯度下降的原因——我们一次只对一个样本进行操作。
  2. 计算所有关于权重或偏差的损失的偏导数(例如∂L/∂w1、∂L/∂w2等等)。
  3. 使用更新方程来更新每个权重和偏差。
  4. 回到步骤1。

让我们实际看一下!

代码: 一个完整的神经网络

终于是时候实现一个完整的神经网络了:

神经网络简介

 


神经网络简介

 


神经网络简介

 


神经网络简介

 


神经网络简介

 

你可以自己运行/测试这段代码(https://repl.it/@vzhou842/An-Introduction-to-Neural-Networks )。你也可以在Github上找到它。(https://github.com/vzhou842/neural-network-from-scratch )

随着网络的学习,我们的损失逐渐减小:

神经网络简介

 

我们现在可以用这个网络来预测性别:

神经网络简介

 

现在怎么办?

你成功了!现在来快速回顾一下我们所做的:

  • 介绍了神经元——神经网络的构建块。
  • 在我们的神经元中使用了sigmoid激活函数。
  • 看到了神经网络只是连接在一起的神经元。
  • 创建了一个带有体重和身高的数据集,并将其作为输入(或特征),性别作为输出(或标签)。
  • 学习了损失函数和均方误差(MSE)损失。
  • 意识到训练一个网络只是最小化它的损失。
  • 使用反向传播计算偏导数。
  • 利用随机梯度下降法(SGD)对网络进行训练。

还有很多事情要做:

  • 使用合适的机器学习库(如Tensorflow、Keras和PyTorch)来测试更大/更好的神经网络。
  • 使用Keras构建你的第一个神经网络。
  • 在你的浏览器中修补一个神经网络。
  • 发现除了sigmoid之外的其它激活函数,如Softmax。
  • 发现除了SGD之外的其它优化器。
  • 阅读我的《卷积神经网络(CNNs)介绍》。CNNs给计算机视觉领域带来了革命性的变化,其功能非常强大。
  • 阅读我的《递归神经网络(RNNs)介绍》。RNNs经常用于自然语言处理(NLP)。

我可能会在将来写这些主题或类似的主题,所以如果你想获得关于新文章的通知,请订阅我吧。

感谢阅读!

 

英文原文:https://victorzhou.com/blog/intro-to-neural-networks/ 译者:Nothing


Tags:神经网络   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
本文将介绍一个和pytorch紧密结合的机器学习库,visdomVisdom的安装Pip install visdom如果安装失败pip install --upgrade visdom安装好之后,我们需要实时开启Python...【详细内容】
2020-03-31   神经网络  点击:(9)  评论:(0)  加入收藏
1. 原理篇我们用人话而不是大段的数学公式来讲讲全连接神经网络是怎么一回事。1.1 网络结构灵魂画师用PPT画个粗糙的网络结构图如下: 1.2 Simoid函数Sigmoid函数的表达式是:...【详细内容】
2019-11-11   神经网络  点击:(128)  评论:(0)  加入收藏
Colorful Image Colorization图片的颜色上色,主要使用到了CNN卷积神经网络,作者在ImageNet数据集上进行了大量的训练,并将此问题使用在分类任务中,以解决问题的潜在的不确定性,并...【详细内容】
2019-11-11   神经网络  点击:(30)  评论:(0)  加入收藏
神经网络是一种通用机器学习模型,是一套特定的算法集,在机器学习领域掀起了一场变革,本身就是普通函数的逼近,可以应用到任何机器学习输入到输出的复杂映射问题。一般来说,神经...【详细内容】
2019-09-16   神经网络  点击:(143)  评论:(0)  加入收藏
刚刚入门神经网络,往往会对众多的神经网络架构感到困惑,神经网络看起来复杂多样,但是这么多架构无非也就是三类,前馈神经网络,循环网络,对称连接网络,本文将介绍四种常见的神经网络...【详细内容】
2019-09-12   神经网络  点击:(43)  评论:(0)  加入收藏
简单解释神经网络是如何工作的,以及如何在Python中从头实现一个。这句话可能会让你大吃一惊:神经网络并没有那么复杂!“神经网络”这个词经常被用作流行语,但实际上它们往往比...【详细内容】
2019-09-09   神经网络  点击:(33)  评论:(0)  加入收藏
MNN是一个轻量级的深度神经网络推理引擎,在端侧加载深度神经网络模型进行推理预测。目前,MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用,覆盖直播、短视频、...【详细内容】
2019-09-02   神经网络  点击:(156)  评论:(0)  加入收藏
本章开始对学习进行讨论,首先介绍机器学习和解释归纳范式。决策树是广泛应用的归纳学习方法,由于它们不能很好泛化,预测能力很差,因此有大约10年的时间,它们都没有得到人们的支持...【详细内容】
2019-08-08   神经网络  点击:(59)  评论:(0)  加入收藏
一提到深度学习,神经网络等技术,大部分肯定会想到TensorFlow,Keras,Caffe,PyTorch等框架,而这些框架大部分都是使用Python来进行开发的,毫无疑问,在人工智能领域技术上比如神经网络...【详细内容】
2019-08-06   神经网络  点击:(613)  评论:(0)  加入收藏
我们很多人都试图理解机器学习算法,但有时我们也会遇到一些bug,那么这时候就需要进行调试神经网络了,这篇文章虽然比较短,但是很好的记录了关于调试的过程。在读文章之前,我希望...【详细内容】
2019-05-05   神经网络  点击:(134)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条