详细解读Faster-RCNN

解读FasterRCNN2018.12.26FasterRCNN简介•经过RCNN和FastRCNN的积淀，RossB.Girshick在2016年提出了新的FasterRCNN，在结构上，FasterRCN已经将特征抽取(featureextraction)，proposal提取，boundingboxregression(rectrefine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。论文作者看来FasterRCNN可以分为4个部分1、Convlayers。作为一种CNN网络目标检测方法，FasterRCNN首先使用一组基础的conv+relu+pooling层提取image的featuremaps。该featuremaps被共享用于后续RPN层和全连接层。2、RegionProposalNetworks。RPN网络用于生成regionproposals。该层通过softmax判断anchors属于foreground或者background，再利用boundingboxregression修正anchors获得精确的proposals。3、RoiPooling。该层收集输入的featuremaps和proposals，综合这些信息后提取proposalfeaturemaps，送入后续全连接层判定目标类别。4、Classification。利用proposalfeaturemaps计算proposal的类别，同时再次boundingboxregression获得检测框最终的精确位置。Convlayers部分共有13个conv层，13个relu层，4个pooling层。在Convlayers中：所有的conv层都是：kernel_size=3，pad=1，所有的pooling层都是：kernel_size=2，stride=2。最终一张MxN的图像经过Convlayers之后固定变为(M/16)x(N/16)下图展示了RPN网络的具体结构。可以看到RPN网络实际分为2条线，上面一条通过softmax分类anchors获得foreground和background（检测目标是foreground），下面一条用于计算对于anchors的boundingboxregression偏移量，以获得精确的proposal。而最后的Proposal层则负责综合foregroundanchors和boundingboxregression偏移量获取proposals，同时剔除太小和超出边界的proposals。其实整个网络到了ProposalLayer这里，就完成了相当于目标定位的功能。1、在论文中使用的是ZFmodel中，其ConvLayers中最后的conv5层num_output=256，对应生成256张特征图，所以相当于featuremap每个点都是256-d2、在conv5之后，做了rpn_conv/3x3卷积且num_output=256，相当于每个点又融合了周围3x3的空间信息，同时256-d不变3、假设在conv5featuremap中每个点上有k个anchor（默认k=9），而每个anhcor要分foreground和background，所以每个点由256dfeature转化为cls=2kscores；而每个anchor都有[x,y,w,h]对应4个偏移量，所以reg=4kcoordinates4、全部anchors拿去训练太多了，训练程序会在合适的anchors中随机选取128个postiveanchors+128个negativeanchors进行训练一副MxN大小的矩阵送入FasterRCNN网络后，到RPN网络变为(M/16)x(N/16)，不妨设W=M/16，H=N/16。在进入reshape与softmax之前，先做了1x1卷积，可以看到其num_output=18，也就是经过该卷积的输出图像为WxHx18大小。这也就刚好对应了featuremaps每一个点都有9个anchors，同时每个anchors又有可能是foreground和background，所有这些信息都保存WxHx(9x2)大小的矩阵。后面接softmax分类获得foregroundanchors，也就相当于初步提取了检测目标候选区域box（一般认为目标在foregroundanchors中）。那么为何要在softmax前后都接一个reshapelayer？其实只是为了便于softmax分类，至于具体原因这就要从caffe的实现形式说起了在caffe基本数据结构blob中以如下形式保存数据：blob=[batch_size,channel，height，width]对应至上面的保存bg/fganchors的矩阵，其在caffeblob中的存储形式为[1,2*9,H,W]。而在softmax分类时需要进行fg/bg二分类，所以reshapelayer会将其变为[1,2,9*H,W]大小，即单独“腾空”出来一个维度以便softmax分类，之后再reshape回复原状。boundingboxregression原理如图所示绿色框为飞机的GroundTruth(GT)，红色为提取的foregroundanchors，那么即便红色的框被分类器识别为飞机，但是由于红色的框定位不准，这张图相当于没有正确的检测出飞机。所以我们希望采用一种方法对红色的框进行微调，使得foregroundanchors和GT更加接近。对于窗口一般使用四维向量(x,y,w,h)表示，分别表示窗口的中心点坐标和宽高。对于上图，红色的框A代表原始的ForegroundAnchors，绿色的框G代表目标的GT，我们的目标是寻找一种关系，使得输入原始的anchorA经过映射得到一个跟真实窗口G更接近的回归窗口G'，即：给定anchorA=(Ax,Ay,Aw,Ah)，GT=[Gx,Gy,Gw,Gh]，寻找一种变换F：使得F(Ax,Ay,Aw,Ah)=(G'x,G'y,G'w,G'h)，其中(G'x,G'y,G'w,G'h)≈(Gx,Gy,Gw,Gh)。ProposalLayer负责综合所有[dx(A)，dy(A)，dw(A)，dh(A)]变换量和foregroundanchors，计算出精准的proposal，送入后续RoIPoolingLayer。ProposalLayer有3个输入：fg/bganchors分类器结果rpn_cls_prob_reshape，对应的bboxreg的[dx(A)，dy(A)，dw(A)，dh(A)]变换量rpn_bbox_pred，以及im_info；另外还有参数feat_stride=16。首先解释im_info。对于一副任意大小PxQ图像，传入FasterRCNN前首先reshape到固定MxN，im_info=[M,N,scale_factor]则保存了此次缩放的所有信息。然后经过ConvLayers，经过4次pooling变为WxH=(M/16)x(N/16)大小，其中feature_stride=16则保存了该信息，用于计算anchor偏移量进ProposalLayerforward（caffelayer的前传函数）按照以下顺序依次处理：1、生成anchors，利用[dx(A)，dy(A)，dw(A)，dh(A)]对所有的anchors做bboxregression回归（这里的anchors生成和训练时完全一致）2、按照输入的foregroundsoftmaxscores由大到小排序anchors，提取前pre_nms_topN(e.g.6000)个anchors，即提取修正位置后的foregroundanchors。3、利用im_info将fganchors从MxN尺度映射回PxQ原图，判断fganchors是否大范围超过边界，剔除严重超出边界fganchors。4、进行nms（nonmaximumsuppression，非极大值抑制）5、再次按照nms后的foregroundsoftmaxscores由大到小排序fganchors，提取post_nms_topN(e.g.300)结果作为proposal输出。之后输出proposal=[x1,y1,x2,y2]，注意，由于在第三步中将anchors映射回原图判断是否超出边界，所以这里输出的proposal是对应MxN输入图像尺度的RPN网络结构就介绍到这里，总结起来就是：生成anchors-softmax分类器提取fganchors-bboxreg回归fganchors-ProposalLayer生成proposals而RoIPooling层则负责收集proposal，并计算出proposalfeaturemaps，送入后续网络。从前面图中可以看到Rolpooling层有2个输入：1、原始的featuremaps2、RPN输出的proposalboxes（大小各不相同）传统的CNN（AlexNet，VGG等）对于输入图像尺寸不固定采用的方法一般为上图两种方式，可以看到无论采取那种办法都不好，要么crop后破坏了图像的完整结构，要么warp破坏了图像原始形状信息，所以FasterRCNN中提出了RoIPooling解决这个问题（RoIPooling是从SPP发展而来）RoIPoolinglayerforward过程：在之前有明确提到：proposal=[x1,y1,x2,y2]是对应MxN尺度的，所以首先使用spatial_scale参数将其映射回(M/16)x(N/16)大小的featuremaps尺度；之后将每个proposal水平和竖直都分为7份，对每一份都进行maxpooling处理。这样处理后，即使大小不同的proposal，输出结果都是7x7大小，实现了fixed-lengthoutput（固定长度输出）。ClassificationClassification部分利用已经获得的proposalfeaturemaps，通过FC层与softmax计算每个proposal具体属于那个类别（如人，车，电视等），输出cls_prob概率向量；同时再次利用boundingboxregression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测框。Classification部分网络结构如图从PoIPooling获取到7x7=49大小的proposalfeaturemaps后，送入后续网络，可以看到做了如下两件事：1、通过全连接和softmax对proposals进行分类。2、再次对proposals进行boundingboxregression，获取更高精度的rectboxFasterRCNN训练FasterCNN的训练，是在已经训练好的model（如VGG_CNN_M_1024，VGG，ZF）的基础上继续进行训练。实际中训练过程分为6个步骤：1、在已经训练好的model上，训练RPN网络，对应stage1_rpn_train.pt2、利用步骤1中训练好的RPN网络，收集proposals，对应rpn_test.pt3、第一次训练FastRCNN网络，对应stage1_fast_rcnn_train.pt4、第二训练RPN网络，对应stage2_rpn_train.pt5、再次利用步骤4中训练好的RPN网络，收集proposals，对应rpn_test.pt6、第二次训练FastRCNN网络，对应stage2_fast_rcnn_train.ptZFNet训练RPN网络在该步骤中，首先读取RBG提供的预训练好的model（这里使用VGG），开始迭代训练。来看看stage1_rpn_train.pt网络结构，如图与检测网络类似的是，依然使用ConvLayers提取featuremaps。整个网络使用的Loss如下：上述公式中，i表示anchorsindex，pi表示foregro