一、Yolo V1

1、YoloV1的核心思想

Yolo V1的核心思想就是：One cell will be responsible for predicting an object as long as an object’s center locating in that cell.翻译为中文：只要物体落在哪个格子（cell）中，那么那个格子（cell）将会预测这个物体。如图：

1.1 YoloV1存在的缺陷

因为一个格子（cell）只能预测一个物体，如果2个物体的中心点落在同一个格子（cell）内，那这2个物体就不能被同时预测。

2、YoloV1预测过程

Each cell predicts B bounding box with a confidence，翻译为：每个格子预测B个有置信度的边界框。

如上图第一行是边界框的中心。

第二行是边界框的置信度，包括两个部分，其中$P_r(object)$表示预测的是不是物体，预测值在 0~1 之间，$Io{U}_{prd}^{truth}$表示预测物体的置信度，即预测的准不准，预测值也在 0~1 之间，所以总体的置信度都在0~1之间；需要注意的是网络预测的是置信度，不预测具体的$P_r(object)$、$Io{U}_{prd}^{truth}$。

第三行是网络预测的最终输出结果，从这里可以看出，一个格子预测的B个边界框都是属于同一个种类。

3、YoloV1的Loss组成

YoloV1的Loss由3部分组成，包括中心点的Loss，置信度的Loss，类别的Loss

---

关于${\mathbb{I}}_{ij}^{obj}$，原论文是这样解释的：we have B predictions in each cell, only the one with largest IoU shall be labeled as 1。

3.1 中心点的 Loss

$x,y$:predicated bbox center,

$w,h$:predicated bbox width & height

$\hat{x},\hat{y}$:labeled bbox center,

$\hat{w},\hat{h}$∶labeled bbox width & height

$\sqrt{w},\sqrt{h}$:Suppress the effect for larger bbox

${\lambda }_{coord}$:设置为5, because there’s only 8 dimensions. Too less comparing to other losses
Weighted loss essentially.

需要注意的是：${\mathbb{I}}_{ij}^{obj}$只有具有最大的IoU才能设置为1，即待预测物体的格子只计算一次中心点Loss；

3.2 置信度Loss

$\widehat{C_i}$:confidence score [IoU] ofpredicated and labeled bbox
即是说，$\widehat{C_i}$是我们预测的边界框与标注的边界框相计算的IoU

$C_i$∶predicated confidence score [IoU] generated from networks
即是说，$C_i$是网络预测的值，只要给$C_i$保留一个空位tensor，网络就会预测

我们也用到了${\mathbb{I}}_{ij}^{noobj}$，即是学习背景，因为我们并没有给背景标注，所以这里的$\widehat{C_i}$为0；

${\lambda }_{noobj}$设置为0.5，因为背景相对于正样本太多了，所以设置为0.5；

3.3 类别的Loss

Each cell will only predict 1 object, which is decided by the bbox with largest IoU Classification Loss；

Don’t forget to do NMS after generating bboxes

因为每个cell只预测同一个类别的物体，所以就没有${\sum }_{j=0}^B$这一项；

4、YoloV1的优缺点

优点：
One stage, really fast
缺点：
1、Bad for crowed objects [ 1 cell 1 obj

2、Bad for small objects

3、Bad for objects with new width height ratio

4、No BN

---

---

---

二、Yolo V2

1、YoloV2对于YoloV1的改进

1、加入了BN层

2、High Resolution Classifier，由7×7的格子变成了13×13的格子

3、anchor的使用

4、reorg网络
即把一个feature map每隔一个数据点进行分割，如图通过reorg网络把 4×4 的feature map分割成了4个 2×2 的feature map，然后再和其他2×2 的feature map进行拼接。
目的：进行浅层物理信息和深层语义信息的结合。

5、Multi Scale Training
Remove FC layers: Can accept any size of inputs, enhance model robustness.

Size across 320, 352, …, 608. Change per 10 epochs
[border % 32 = 0, decided by down sampling]

2、anchor（锚点/先验框）

2.1 注意点

1、Pre defined virtual bboxes，即YoloV2的anchor是预先设定好的虚拟边框，是已知的，

2、Final bboxes are generated from them

3、与Fast-RCNN的anchor的区别
Fast-RCNN的anchor是网络生成的，而YoloV2的anchor是预先设定好的虚拟边框。

2.2 Anchor和Loss Function

红色的a表示anchor，p表示预测框，g表示label，

YoloV1的回归是预测框的坐标与label标注框之间的回归，在YoloV2里变成了offset的回归，即图中的 p-a 和 g-a，

---

已知值：anchor、Ground Truth
即是说，$t_x^p$是网络预测的值，$t_x^g$是用已知值算出来的，
为什么关于anchor的归一化：抑制大物体的影响，取 log 也是同样的作用，

2.3 Anchor和cell的结合

因为YoloV2里最终生成的feature map是13×13，计算的Loss都是基于这个13×13的feature map，所以需要把anchor归一化到13×13。

$$anchor[0]=a_{wi}=\frac{a_{w_{ori}}}{W}\ast 13$$
$$anchor[1]=a_{hi}=\frac{a_{h_{ori}}}{H}\ast 13$$
如何把ground truth归一化到13×13呢？
标注的ground truth:$[x_0,y_0,w_0,h_0]\in [0,W|H]$
然后再分别除以 $W|H$，把坐标归一化到 0-1 之间，然后再乘以13；
即：
$$[x,y,w,h]=[x_0/W,y_0/H,w_0/W,h_0/H]\ast (13|13)$$
最后再根据cell进行归一化，
$$x_f=x-i$$ $$y_f=y-i$$ $$w_f=log(w/anchor[0])$$ $$h_f=log(w/anchor[1])$$
所以最终得到的$[x_f,y_f,w_f,h_f]\in [0,1]$，存疑：$w_f,h_f$不一定在$[0,1]$之间，

所以上面的$f(x)$可以更改为：

这里说一下上图的符号的意思，

$\sigma (t_x^p)$，$\sigma (t_y^p)$是网络预测的结果，因为网络预测的范围在 0-1 之间，所以要加上 $\sigma$

$g_x$，$g_y$，$g_w$，$g_h$的就是上面公式中的$[x,y,w,h]$，$b_x$，$b_y$，$b_w$，$b_h$的计算过程也和上面公式中的$[x,y,w,h]$一致，

$C_x,C_y$是13×13 feature map cell的序号

$p_w$是上面公式中的$anchor[0]$，$p_h$是上面公式中的$anchor[1]$，

3、 YoloV2的效果比较