上篇我们提到了分段线性拟合函数Maxout之后，我们这次来谈谈另外一种非线性的激活方式，NetWork in Network。
对应的论文地址：http://arxiv.org/abs/1312.4400
经典CNN中的卷积层其实就是用线性滤波器对图像进行内积运算，在每个局部输出后面跟着一个非线性的激活函数，最终得到的叫作特征图。而这种卷积滤波器是一种广义线性模型（GLM:(Generalized linear model)）。所以用CNN进行特征提取时，其实就隐含地假设了特征是线性可分的，可实际问题往往是难以线性可分的。
GLM的抽象能力是比较低水平的，自然而然地我们想到用一种抽象能力更强的模型去替换它，从而提升传统CNN的表达能力。
在这里把上周讨论的Maxout和Network in Network整理一下。
关于Maxout的论文为：http://jmlr.org/proceedings/papers/v28/goodfellow13.pdf
我们常见的隐含层节点输出：
$$h_i(x)=sigmoid(x^TW_{…i}+b_i)$$
而在Maxout网络中，其隐含层节点的输出表达式为：
$$h_i(x)=\max_{j\in[1,k]}z_{ij}$$
where$z_{ij}=x^TW_{…ij}+b_{ij}$,and $W\in{R^{dmk}}$
论文地址：http://www.cs.berkeley.edu/~rbg/#girshick2014rcnn
这段时间，让师弟研究了下RCNN的内容，我自己也看了一下，对RCNN的三大系列（还有Fast RCNN，Faster RCNN）做了一些了解，在这里简单做个笔记。
RCNN是目前目标检测这个task里可以说是最著名的了，包括后面的fast-rcnn和faster-rcnn都是同一个作者提出来的，使目标检测的实时性成为了可能。它的主要框架图是：