卷积神经网络通俗理解

1. 卷积神经网络通俗理解

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一 。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络。

卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求

2. 什么是卷积神经网络？为什么它们很重要

卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。[1]  它包括卷积层(alternating convolutional layer)和池层(pooling layer)。
卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。 K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

3. 如何直观解释卷积神经网络的工作原理

4. 卷积神经网络 有哪些改进的地方

卷积神经网络的研究的最新进展引发了人们完善立体匹配重建热情。从概念看，基于学习算法能够捕获全局的语义信息，比如基于高光和反射的先验条件，便于得到更加稳健的匹配。目前已经探求一些两视图立体匹配，用神经网络替换手工设计的相似性度量或正则化方法。这些方法展现出更好的结果，并且逐步超过立体匹配领域的传统方法。事实上，立体匹配任务完全适合使用CNN，因为图像对是已经过修正过的，因此立体匹配问题转化为水平方向上逐像素的视差估计。
与双目立体匹配不同的是，MVS的输入是任意数目的视图，这是深度学习方法需要解决的一个棘手的问题。而且只有很少的工作意识到该问题，比如SurfaceNet事先重建彩色体素立方体，将所有像素的颜色信息和相机参数构成一个3D代价体，所构成的3D代价体即为网络的输入。然而受限于3D代价体巨大的内存消耗，SurfaceNet网络的规模很难增大：SurfaceNet运用了一个启发式的“分而治之”的策略，对于大规模重建场景则需要花费很长的时间。

5. 卷积神经网络原理

卷积神经网络是一种前馈型神经网络, 受生物自然视觉认知机制启发而来的. 现在, CNN 已经成为众多科学领域的研究热点之一, 特别是在模式分类领域, 由于该网络避免了对图像的复杂前期预处理, 可以直接输入原始图像, 因而得到了更为广泛的应用. 可应用于图像分类, 目标识别, 目标检测, 语义分割等等.可用于图像分类的卷积神经网络的基本结构.

1. 定义
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” 。
2. 特点
与之前介绍的神经网络相比，传统神经网络只有线性连接，而CNN包括**卷积（convolution）**操作、**汇合（pooling）操作和非线性激活函数映射（即线性连接）**等等。

3. 应用与典型网络
经典的CNN网络：
Alex-Net
VGG-Nets
Resnet
常用应用：
深度学习在计算机图像识别上的应用非常成功。利用深度学习，我们能够对图片进行高精度识别，实现这一功能的，主要依靠神经网络中的一种分支，名为卷积网络

6. 初识卷积神经网络

按照上文中介绍的神经网络，如果处理一张图片的话，参数有多大呢？假设图像的大小为1200 * 1200，下一层的神经元个数为10^5，不难得出参数量为 1200 * 1200 * 10^5 = 1.44 * 10^12。可以看出一层的参数量就是很大了，如果再多加几层，那参数量大的应该是超出了内存的承受范围，这从研究和工程的角度都是不允许的。而且参数太多，很容易造成过拟合。
  
 怎么解决这个问题呢？经过研究，从稀疏连接、参数共享和平移不变性三个方面来进行改进。
  
 可能有些人不懂这种稀疏连接是怎么实现的？先来说说卷积操作，以一个二维矩阵为输入（可以看作是一个单通道图片的像素值），卷积产生的稀疏连接根本原因就是这块的核函数，一般的核函数的大小远小于输入的大小。
  
 以下图例：卷积操作可以看做是一种滑窗法，首先，输入维度是4×4，输入中红色部分，先和核函数中的元素对应相乘，就是输出中左上角的元素值s1,即 s1 = a×k1+b×k2+e×k3+f×k4。
                                          
 参数共享是指在一个模型的多个函数中使用相同的参数，它是卷积运算带来的固有属性。
  
 在全连接中，计算每层的输出时，权重矩阵中的元素只作用于某一个输入元素一次；
  
 而在卷积神经网络中，卷积核中的每一个元素将作用于每一个局部输入的特定位置上。根据参数共享的思想，我们只需要学习一组参数集合，而不需要针对每一个位置的每一个参数来进行优化学习，从而大大降低了模型的存储需求。
  
 如果一个函数的输入做了一些改变，那么输出也跟着做出同样的改变，这就时平移不变性。
  
 平移不变性是由参数共享的物理意义所得。在计算机视觉中，假如要识别一个图片中是否有一只猫，那么无论这只猫在图片的什么位置，我们都应该识别出来，即就是神经网络的输出对于平移不变性来说是等变的。
  
 根据稀疏连接、参数共享和平移不变性三个思想，卷积核就应运而生了。看下图，有个直观的感受。
                                          
 上图就是在一个通道上做的卷积，但现实中，图片一般是由3个通道构成（R\G\B）,卷积核也由二维的平面生成了三维立体。具体的样子如下图：
                                          
 如上图所示，Filter W0 即为卷积核，其大小为(3 * 3 * 3)，每个3*3的二维平面会和图片的相应的通道进行卷积，3个通道的结果相加后加上统一的偏置b0，结果即为Output Volume 第一个通道的第一个位置的数。
  
 从上图还可以看出 Input Volume 四周加了0，这个0叫做padding，一般是为了卷积划动的过程中包含原有的所有数；而多通道卷积核计算过程和卷积核计算过程，不太一样的是多通道卷积核计算过程每次滑2下，这个滑动的距离叫做步长-stride。
  
 所以通过输入大小和卷积核大小，我们可以推断出最终的结果的大小。比如上图卷积核计算过程，输入大小为5 * 5，卷积核为3 * 3，那么卷积核在原图上每次滑动一格，横向滑3次，纵向也是3次，最终结果为  3 * 3。在多通道卷积核计算过程中，每次滑动为2格，横向滑3次，纵向也是3次，最终结果也为  3*3。可以推断出，最终大小的公式为：（输入大小 - 卷积核大小）/ 滑动步长。
  
 在卷积核计算过程，可以看出经过卷积后的大小变小了，那能不能经过卷积计算且大小不变呢？这里，引出了 padding 的另一个作用，保证输入和输出的大小一致。比方输出的 5*5 加 padding，那么四周就被0围绕了，这时的输入大小就变为7 * 7, 再经过 3 * 3的卷积后，按照上边推断出的公式，可以得出 最终的大小为 5 * 5，这时与输入大小保持了一致。
  
 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
   简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。
  
 池化层用的方法有Max pooling 和 average pooling，而实际用的较多的是Max pooling。下图演示一下Max pooling。
                                                                                  
 对于每个2 * 2的窗口选出最大的数作为输出矩阵的相应元素的值，比如输入矩阵第一个2 * 2窗口中最大的数是1，那么输出矩阵的第一个元素就是1，如此类推。
  
 全连接层的部分就是将之前的结果展平之后接到最基本的神经网络了。
                                                                                  
 根据上边的介绍，可以得出，卷积核的通道数目和输入的图像的通道数目是保持一致的，而输出的通道数目是和卷积核数目是一致的。这样参数量可以得出，假设输入的通道为5，卷积核大小为 3 * 3 ，输出的通道数目为10，那么参数量为：3 * 3 * 5 * 10，其中3 * 3 * 5是1个卷积核的参数个数，3 * 3 * 5 * 10 是 10个卷积核的参数个数，也就总共的参数个数。
  
 在卷积中，滑动一次会经过多次的点乘，只经过一次的加法，所以加法的计算量可以忽略不计。其中，滑动一次会的点乘次数和卷积核的大小有关系，比方 3 * 3的卷积，则是经过了 3 * 3 = 9次点积。一共滑动多少次和输出大小有关系，比方 输出的结果也为 3 * 3，那么就是滑动了9次。这样就可以得出输入和输出单通道时计算量 3 * 3 * 3 * 3 = 81。那么对于输入多通道时，卷积核也需要增加相应的通道数目，此时应该在刚才的计算量上乘以通道的数目，得出输入多通道的一个卷积核的计算量。这样，对于输出多通道，总的计算量则是乘以多个卷积核即可。

7. 卷积神经网络

  卷积神经网络 （Convolutional Neural Networks，CNN）是一种前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
   卷积神经网络又是怎样解决这个问题的呢？主要有三个思路：
   在使用CNN提取特征时，到底使用哪一层的输出作为最后的特征呢？
   答：倒数第二个全连接层的输出才是最后我们要提取的特征，也就是最后一个全连接层的输入才是我们需要的特征。
   全连接层会忽视形状。卷积层可以保持形状不变。当输入数据是图像时，卷积层会以3维数据的形式接收输入数据，并同样以3维数据的形式输出至下一层。因此，在CNN中，可以（有可能）正确理解图像等具有形状的数据。
   CNN中，有时将 卷积层的输入输出数据称为特征图（feature map） 。其中， 卷积层的输入数据称为输入特征图（input feature map） ， 输出数据称为输出特征图（output feature map）。 
   卷积层进行的处理就是 卷积运算 。卷积运算相当于图像处理中的“滤波器运算”。
   滤波器相当于权重或者参数，滤波器数值都是学习出来的。 卷积层实现的是垂直边缘检测 。
   边缘检测实际就是将图像由亮到暗进行区分，即边缘的过渡(edge transitions)。
                                                                                   卷积层对应到全连接层，左上角经过滤波器，得到的3，相当于一个神经元输出为3.然后相当于，我们把输入矩阵拉直为36个数据，但是我们只对其中的9个数据赋予了权重。
                                           步幅为1 ，移动一个，得到一个1，相当于另一个神经单元的输出是1.
   并且使用的是同一个滤波器，对应到全连接层，就是权值共享。
                                                                                   在这个例子中，输入数据是有高长方向的形状的数据，滤波器也一样，有高长方向上的维度。假设用（height, width）表示数据和滤波器的形状，则在本例中，输入大小是(4, 4)，滤波器大小是(3, 3)，输出大小是(2, 2)。另外，有的文献中也会用“核”这个词来表示这里所说的“滤波器”。
   对于输入数据，卷积运算以一定间隔滑动滤波器的窗口并应用。这里所说的窗口是指图7-4中灰色的3 × 3的部分。如图7-4所示，将各个位置上滤   波器的元素和输入的对应元素相乘，然后再求和（有时将这个计算称为乘积累加运算）。然后，将这个结果保存到输出的对应位置。将这个过程在所有位置都进行一遍，就可以得到卷积运算的输出。
                                            CNN中，滤波器的参数就对应之前的权重。并且，CNN中也存在偏置。 
                                           在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0等），这称为填充（padding），是卷积运算中经常会用到的处理。比如，在图7-6的例子中，对大小为(4, 4)的输入数据应用了幅度为1的填充。“幅度为1的填充”是指用幅度为1像素的0填充周围。
                                           应用滤波器的位置间隔称为 步幅（stride） 。
                                           假设输入大小为(H, W)，滤波器大小为(FH, FW)，输出大小为(OH, OW)，填充为P，步幅为S。     
     
   但是所设定的值必须使式（7.1）中的 和 分别可以除尽。当输出大小无法除尽时（结果是小数时），需要采取报错等对策。顺便说一下，根据深度学习的框架的不同，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续运行。
   之前的卷积运算的例子都是以有高、长方向的2维形状为对象的。但是，图像是3维数据，除了高、长方向之外，还需要处理通道方向。
    在3维数据的卷积运算中，输入数据和滤波器的通道数要设为相同的值。 
   因此，作为4维数据，滤波器的权重数据要按(output_channel, input_channel, height, width)的顺序书写。比如，通道数为3、大小为5 × 5的滤   波器有20个时，可以写成(20, 3, 5, 5)。
   对于每个通道，均使用自己的权值矩阵进行处理，输出时将多个通道所输出的值进行加和即可。
   卷积运算的批处理，需要将在各层间传递的数据保存为4维数据。具体地讲，就是按(batch_num, channel, height, width)的顺序保存数据。
   这里需要注意的是，网络间传递的是4维数据，对这N个数据进行了卷积运算。也就是说，批处理将N次的处理汇总成了1次进行。
   池化是缩小高、长方向上的空间的运算。比如，如图7-14所示，进行将2 × 2的区域集约成1个元素的处理，缩小空间大小。
                                           图7-14的例子是按步幅2进行2 × 2的Max池化时的处理顺序。“Max池化”是获取最大值的运算，“2 × 2”表示目标区域的大小。如图所示，从   2 × 2的区域中取出最大的元素。此外，这个例子中将步幅设为了2，所以2 × 2的窗口的移动间隔为2个元素。另外，一般来说，池化的窗口大小会和步幅设定成相同的值。比如，3 × 3的窗口的步幅会设为3，4 × 4的窗口的步幅会设为4等。
   除了Max池化之外，还有Average池化等。相对于Max池化是从目标区域中取出最大值，Average池化则是计算目标区域的平均值。 在图像识别领域，主要使用Max池化。 因此，本书中说到“池化层”时，指的是Max池化。
    池化层的特征    池化层有以下特征。    没有要学习的参数    池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中取最大值（或者平均值），所以不存在要学习的参数。    通道数不发生变化    经过池化运算，输入数据和输出数据的通道数不会发生变化。如图7-15所示，计算是按通道独立进行的。
   ​    对微小的位置变化具有鲁棒性（健壮）    ​       输入数据发生微小偏差时，池化仍会返回相同的结果。因此，池化对输入数据的微小偏差具有鲁棒性。比如，3 × 3的池化的情况下，如图   ​       7-16所示，池化会吸收输入数据的偏差（根据数据的不同，结果有可能不一致）。
                                           经过卷积层和池化层之后，进行Flatten，然后丢到全连接前向传播神经网络。
                                                                                                                           （找到一张图片使得某个filter响应最大。相当于filter固定，未知的是输入的图片。）未知的是输入的图片？？？
   k是第k个filter，x是我们要找的参数。?这里我不是很明白。我得理解应该是去寻找最具有代表性的特征。
                                                                                   使用im2col来实现卷积层
                                           卷积层的参数是需要学习的，但是池化层没有参数需要学习。全连接层的参数需要训练得到。
   池化层不需要训练参数。全连接层的参数最多。卷积核的个数逐渐增多。激活层的size，逐渐减少。
    最大池化只是计算神经网络某一层的静态属性，没有什么需要学习的，它只是一个静态属性 。
                                           像这样展开之后，只需对展开的矩阵求各行的最大值，并转换为合适的形状即可（图7-22）。
                                           参数   • input_dim ― 输入数据的维度：（ 通道，高，长 ）   • conv_param ― 卷积层的超参数（字典）。字典的关键字如下：   filter_num ― 滤波器的数量   filter_size ― 滤波器的大小   stride ― 步幅   pad ― 填充   • hidden_size ― 隐藏层（全连接）的神经元数量   • output_size ― 输出层（全连接）的神经元数量   • weitght_int_std ― 初始化时权重的标准差
    LeNet 
   LeNet在1998年被提出，是进行手写数字识别的网络。如图7-27所示，它有连续的卷积层和池化层（正确地讲，是只“抽选元素”的子采样层），最后经全连接层输出结果。
                                           和“现在的CNN”相比，LeNet有几个不同点。第一个不同点在于激活函数。LeNet中使用sigmoid函数，而现在的CNN中主要使用ReLU函数。   此外，原始的LeNet中使用子采样（subsampling）缩小中间数据的大小，而现在的CNN中Max池化是主流。
    AlexNet 
   在LeNet问世20多年后，AlexNet被发布出来。AlexNet是引发深度学习热潮的导火线，不过它的网络结构和LeNet基本上没有什么不同，如图7-28所示。
                                           AlexNet叠有多个卷积层和池化层，最后经由全连接层输出结果。虽然结构上AlexNet和LeNet没有大的不同，但有以下几点差异。   • 激活函数使用ReLU。   • 使用进行局部正规化的LRN（Local Response Normalization）层。   • 使用Dropout
    TF2.0实现卷积神经网络 
                                            valid意味着不填充，same是填充    or the SAME padding, the output height and width are computed as:
   out_height = ceil(float(in_height) / float(strides[1]))
   out_width = ceil(float(in_width) / float(strides[2]))
   And
   For the VALID padding, the output height and width are computed as:
   out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
   out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))   因此，我们可以设定 padding 策略。在 tf.keras.layers.Conv2D 中，当我们将 padding 参数设为 same 时，会将周围缺少的部分使用 0 补齐，使得输出的矩阵大小和输入一致。

8. 卷积神经网络中的卷积的物理意义和现象

从数学上讲，卷积就是一种运算
  
 在信号与系统中卷积的公式如下：
                                          
 对应相乘再相加，这是在坐标轴上进行的
  
 对于在图像中这样一个二维矩阵的卷积中，我们可以想象的就是卷积神经网络中的“平滑问题”
  
 如下图所示为对图像做平滑，一个典型的8领域平滑，其结果中的每个值都来源于原对应位置和其周边8个元素与一个3X3矩阵的乘积，也就相当于对原矩阵，按照顺序将各区域元素与W矩阵相乘，W 矩阵为
  
 
  
                                          
 这也被称作核(Kernel, 3X3)
                                          
 最后我们可以得到如右图所示的数字“3”。
  
 如果依次平滑过去便可以得到卷积图的像素值数值变化。
  
 内核放置在图像的左上角。内核覆盖的像素值乘以相应的内核值，并且乘积相加。结果放置在与内核中心相对应的位置的新映像中。下图显示了第一步的一个例子。
                                          
 
  
  
 内核被移动一个像素，这个过程被重新设置，直到图像中的所有可能的位置被过滤如下，这次是水平的Sobel过滤器。请注意，在卷积图像周围存在空值的边框。这是因为卷积的结果放在内核的中心。为了解决这个问题，我们使用了一个叫做“padding”或者更常见的“零填充”的过程。这仅仅意味着在原始图像周围放置了一个零边框，以使其四周变宽。卷积然后按正常进行，但是卷积结果现在将产生与原始大小相同的图像。
  
 
  
                                          
 卷积后发现边缘空白，为了使图像有原来的尺寸，边缘填0，也即padding, 但是填完了再利用“核”再做一次卷积，所以执行下面的操作:
  
 
  
                                          
 所以池化层的目的也比较明确，就是减小尺寸，去除padding产生的数据信息。
  
 
  
  
 现在我们有了我们的卷积图像，我们可以使用色彩映射来显示结果。在这里，我只是规范了0到255之间的值，以便我可以应用灰度可视化：
  
 
  
                                          
 
  
  
 神经网络中，卷积+池化是特征提取器，全连接层是分类器.
  
 参考文献：
  
 [1] https://www.zhihu.com/question/39022858
  
 [2] https://mlnotebook.github.io/post/CNN1/
  
 [3] https://www.zhihu.com/question/22298352