摘要

我们提出了一个灵活、容易标定的新技术，它非常适合于在不需要特定已知的三维几何结构或者计算视觉中使用。该技术仅仅需要相机观察不同方向（至少两个方向）的平面图案（如棋盘格）。相机或者平面图案可以自由移动，运动的方式不需要知道。镜头的畸变使用径向畸变模型。提出的求解方式利用闭合解求解，然后以最大似然估计为基础的非线性优化方法提升参数精度。计算机模拟数据和真实的数据用来测试提出的标定技术，并取得了很好的效果。与经典的技术，使用两个或三个正交的平面相比，本文提出的方法非常灵活，容易使用。它将3D计算机视觉从实验室环境一步推进到现实世界。

paper:A Flexible New Technique for Camera Calibration
author:Zhengyou Zhang

1 Motivations

在三维计算机视觉中，从2维图像中提取度量信息，相机标定是不可缺少的一步。从摄影测量界开始已做了大量工作^{1 2 3}，最近在计算机视觉中更多^{4 5 6 7 8 9 10 11} 。 我们可以将这些简单分为两类：摄影测量标定和自标定（photogrammetric calibration and self-calibration.）。

• 摄影测量标定：相机标定是通过观察已知的带有很高精度的三维空间几何结构的对象完成。该标定可以非常有效完成¹² 。 该标定对象通常由2个或3个非常精确的正交平面组成。有时，一个精确的平面的平移是已知的⁹ 。 这些方法需要昂贵的校准设备和精心设置。
• 自标定： 此类别中的技术不使用任何校准对象，仅通过静态场景中相机的移动并利用它的图像信息就能够提供内部参数的2个约束^{13 14} 。因此，如果图像由具有固定内部参数的相同相机拍摄，则三个图像之间的对应关系足以恢复内部和外部参数，这允许我们重建具有相似性的3-D结构^{15 16}。虽然这种方法非常灵活，但尚未成熟¹⁷。 由于要估算的参数很多，我们无法始终获得可靠的结果。

存在其他技术：正交方向的消失点^{18 19}和纯旋转校准^{20 21}。
我们目前的研究主要集中在桌面视觉系统（DVS），因为使用DVS的潜力很大，相机变得便宜且无处不在。DVS针对的是普通大众，他们不是计算机视觉方面的专家。 典型的计算机用户将不时地执行视觉任务，因此不愿意为昂贵的设备投入资金。 因此，灵活性，稳健性和低成本是重要的。 本文中描述的相机标定技术是在考虑到这些因素的基础上开发的。

所提出的技术仅需要相机观察以几个（至少两个）不同方向的平面图案。该图案可以用激光打印机打印并附着在“感觉合理的”平面（例如，硬书封面）上。相机或者平面图案可以自由移动，运动的方式不需要知道。所提出的方法介于摄影测量标定和自标定之间，因为我们使用2D度量信息而不是3D或纯粹的隐式信息。计算机模拟数据和真实的数据用来测试提出的标定技术，并取得了很好的效果。与经典的技术相比，提出的技术相当的灵活，与自标定相比，它具有相当程度的稳健性。 我们相信这项新技术将3D计算机视觉从实验室环境向现实世界迈进了一步。

请注意，Bill Triggs ²²最近从平面场景的至少5个视图开发了自标定技术，他的技术更加灵活，但是很难初始化。Liebowitz和Zisserman ¹⁹描述了一种使用度量信息（例如已知角度，两个相等但未知角度）和已知长度比率的平面透视图像的度量校正技术。 他们还提到，至少有三个这样的矫正平面可以校准内部摄像机参数，尽管没有显示实验结果。

本文的结构如下。 第2节描述了观察单个平面的基本约束。 第3节描述了标定程序。 我们从闭合解的开始，然后进行非线性优化。 还模拟了径向透镜畸变。 第4节研究了所提出的标定技术失败的配置。 在实践中很容易避免这种情况。 第5节提供了实验结果。 计算机模拟和实际数据都用于验证所提出的技术。 在附录中，我们提供了许多细节，包括估计模型平面与其图像之间的单应性的技术。

2 Basic Equations

我们通过观察单个平面来检查摄像机内部参数的约束。 我们从本文中使用的符号开始。

2.1 Notation

一个2D点用$\mathbf{m}=[u,v{]}^T$表示，一个3D点用$\mathbf{M}=[X,Y,Z{]}^T$表示。我们使用$\hat{\mathbf{x}}$最后一个元素加1表示增广向量：$\tilde{\mathbf{m}}=[u,v,1{]}^T$，$\tilde{\mathbf{M}}=[X,Y,Z,1]$。相机通常使用针孔模型：一个3D点$\mathbf{M}$和它的图像投影点$\mathbf{m}$之间的关系是：
$$s\tilde{\mathbf{m}}=\mathbf{A}\left[\begin{array}{cc}R& t\end{array}\right]\tilde{\mathbf{M}}\text{\hspace{1em}(1)}$$
其中s是任意的尺度因子，$(\mathbf{R},\mathbf{t})$叫作外参，是世界坐标系统到相机坐标系统的旋转和平移关系，$\mathbf{A}$叫作相机的内参，写作
$$\mathbf{A}=\left[\begin{array}{ccc}\alpha & \gamma & u_0\\ 0& \beta & v_0\\ 0& 0& 1\end{array}\right]$$
其中$u_0,v_0$是主点坐标，$\alpha ,\beta$是图像u轴和v轴的尺度因子，$\gamma$是两个图像轴的偏斜参数。

我们使用缩写${\mathbf{A}}^{-T}$来表示$({\mathbf{A}}^{-1}{)}^T$或$({\mathbf{A}}^T{)}^{-1}$。

2.2 Homography between the model plane and its image

为了不失一般性，我们假设模板平面在世界坐标系中表示为$Z=0$的平面。用${\mathbf{r}}_i$表示旋转矩阵$\mathbf{R}$的第$i^{th}$列。从(1)中，我们有
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathbf{A}=\left[\begin{array}{cccc}{\mathbf{r}}_1& {\mathbf{r}}_2& {\mathbf{r}}_3& \mathbf{t}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=\mathbf{A}\left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$
这里符号有些滥用，我们仍然使用$M$表示模板平面上的一个点，但是$\mathbf{M}=[X,Y{]}^T$，因为Z总是等于0。接着$\tilde{\mathbf{M}}=[X,Y,1{]}^T$。因此，一个模型点$\tilde{\mathbf{M}}$和它对应的$\mathbf{m}$通过单应矩阵$\mathbf{H}$关联：
$$s\tilde{\mathbf{m}}=\mathbf{H}\tilde{\mathbf{M}},with\mathbf{H}=\mathbf{A}\left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]\text{\hspace{1em}(2)}$$
很清楚，$\mathbf{H}$是在尺度上相等的$3\times 3$矩阵。

2.3 Constraints on the intrinsic parameters

给定一个模型平面的图像，可以用来估计单应性矩阵（看附录A），使用$\mathbf{H}=[{\mathbf{h}}_1,\mathbf{h}2,\mathbf{h}3]$表示，从(2)中我们有：
$$\left[\begin{array}{ccc}\mathbf{h}1& \mathbf{h}2& \mathbf{h}3\end{array}\right]=\lambda \mathbf{A}\left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]$$
其中，$\lambda$是任意的尺度因子，由于${\mathbf{r}}_1,{\mathbf{r}}_2$是正交的，我们有
$$\begin{array}{rl}{\mathbf{r}}_1^{\mathbf{T}}{\mathbf{r}}_2& =0\\ {\mathbf{h}}_1^{\mathbf{T}}{\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}{\mathbf{h}}_2& =0\end{array}\text{\hspace{1em}(3)}$$
$$\begin{array}{rl}{\mathbf{r}}_1^{\mathbf{T}}{\mathbf{r}}_1& ={\mathbf{r}}_2^{\mathbf{T}}{\mathbf{r}}_2\\ {\mathbf{h}}_1^{\mathbf{T}}{\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}{\mathbf{h}}_1& ={\mathbf{h}}_2^{\mathbf{T}}{\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}{\mathbf{h}}_2\end{array}\text{\hspace{1em}(4)}$$
给定一个单应性矩阵，对于内参矩阵来说有两个基本约束。因为一个单应矩阵有8个自由度，有六个是外参（3个旋转和3个平移），所以对于内部参数仅仅有2个约束。注意${\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}$实际上描述了图像的绝对二次曲线¹⁶（absolute conic）。下一小节，我们从几何上解释。

2.4 Geometric Interpretation

(3),(4)跟绝对二次曲线相关，下面将推导如何得到(3),(4)。
依据惯例，很容易确定平面模型，在相机坐标系中使用下面平面方程描述：
$${\left[\begin{array}{c}{\mathbf{r}}_3\\ {\mathbf{r}}_3^{\mathbf{T}}\mathbf{t}\end{array}\right]}^T\left[\begin{array}{c}x\\ y\\ z\\ \omega \end{array}\right]=0$$
其中，$\omega =0$表示点在无限远处，否则$\omega =1$。平面与平面在无限远处交于一条线，我们很容易看到$\left[\genfrac{}{}{0ex}{}{{\mathbf{r}}_1}{0}\right]$和$\left[\genfrac{}{}{0ex}{}{{\mathbf{r}}_2}{0}\right]$是那条线上的特定点。因此在那条直线上的任何一个点可用这两个特定点的线性组合表示
$${\mathbf{x}}_{\infty }=a\left[\genfrac{}{}{0ex}{}{{\mathbf{r}}_1}{0}\right]+b\left[\genfrac{}{}{0ex}{}{{\mathbf{r}}_2}{0}\right]=\left[\genfrac{}{}{0ex}{}{a{\mathbf{r}}_1+b{\mathbf{r}}_2}{0}\right]$$
现在，让我们计算上面直线与绝对二次曲线的交点。 根据定义，点${\mathbf{x}}_{\infty }$称为圆点，满足${\mathbf{x}}_{\infty }^{\mathbf{T}}{\mathbf{x}}_{\infty }=0$，也就是
$$(a{\mathbf{r}}_1+b{\mathbf{r}}_2{)}^T(a{\mathbf{r}}_1+b{\mathbf{r}}_2)=0,或者a^2+b^2=0$$
方程的解是$b=\pm ai$，其中$i^2=-1$。也就是两个交点是
$${\mathbf{x}}_{\infty }=a\left[\genfrac{}{}{0ex}{}{{\mathbf{r}}_1+i{\mathbf{r}}_2}{0}\right]$$
然后得到他们在尺度上的图像平面上的投影为
$${\tilde{\mathbf{m}}}_{\infty }=\mathbf{A}({\mathbf{r}}_1\pm i{\mathbf{r}}_2)={\mathbf{h}}_1\pm i{\mathbf{h}}_2$$
点$\tilde{\mathbf{m}}$在绝对二次曲线的镜像上，由¹⁶${\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}$描述，得到
$$({\mathbf{h}}_1\pm i{\mathbf{h}}_2{)}^T{\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}({\mathbf{h}}_1\pm i{\mathbf{h}}_2)=0$$
因此，当要求实部和虚部均为零，得出（3）和（4）。

3 Solving Camera Calibration

这一节中详细描述如何有效的求解相机标定问题。我们以问题的解析解开始，接下来是以最大似然估计为基础的非线性最小二乘，最后我们将镜头的畸变考虑进来，给定解析解和非线性的解。

3.1 Closed-form solution

让
$$\begin{gathered} \mathbf{B}={\mathbf{A}}^{-\mathbf{T}}{\mathbf{A}}^{-1}\equiv \left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right] \\ =\left[\begin{array}{ccc}\frac{1}{{\alpha }^2}& -\frac{\gamma }{{\alpha }^2\beta }& \frac{v_0\gamma -u_0\beta }{{\alpha }^2\beta }\\ -\frac{\gamma }{{\alpha }^2\beta }& \frac{{\gamma }^2}{{\alpha }^2{\beta }^2}+\frac{1}{{\beta }^2}& -\frac{\gamma (v_0\gamma -u_0\beta )}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}\\ \frac{v_0\gamma -u_0\beta }{{\alpha }^2\beta }& -\frac{\gamma (v_0\gamma -u_0\beta )}{{\alpha }^2{\beta }^2}-\frac{v_0}{{\beta }^2}& \frac{(v_0\gamma -u_0\beta {)}^2}{{\alpha }^2{\beta }^2}+\frac{v_0^2}{{\beta }^2}+1\end{array}\right]\text{\hspace{1em}(5)} \end{gathered}$$
注意$\mathbf{B}$是对称的，定义6维向量$\mathbf{b}$
$$\mathbf{b}=[B_{11},B_{12},B_{22},B_{13},B_{23},B_{33}{]}^T\text{\hspace{1em}(6)}$$
设$\mathbf{H}$的$i^{th}$列为${\mathbf{h}}_i=[h_{i1},h_{i2},h_{i3}{]}^T$,然后有
$${\mathbf{h}}_i^T\mathbf{B}{\mathbf{h}}_j={\mathbf{v}}_{ij}^T\mathbf{b}\text{\hspace{1em}(7)}$$
其中
$$\begin{gathered} {\mathbf{v}}_{ij}=[h_{i1}{h}_{j1},h_{i1}{h}_{j2}+h_{i2}{h}_{j1},h_{i2}{h}_{j2}, \\ {h}_{i3}{h}_{j1}+h_{i1}{h}_{j3},h_{i3}{h}_{j2}+h_{i2}{h}_{j3},h_{i3}{h}_{j3}] \end{gathered}$$
因此，结合(3),(4),(7)我们有
$$\left[\begin{array}{c}{\mathbf{v}}_{12}^T\\ ({\mathbf{v}}_{11}-{\mathbf{v}}_{22}{)}^T\end{array}\right]\mathbf{b}=0\text{\hspace{1em}(8)}$$
如果有n张观察模型平面（如棋盘格）的图像，通过堆叠n个（8）那样的等式，我们有
$$\mathbf{V}\mathbf{b}=0\text{\hspace{1em}(9)}$$
其中$\mathbf{V}$是$2n\times 6$的矩阵，如果n大于等于3，一般，我们将得到在尺度上的唯一解$\mathbf{b}$。如果n=2,我们增加无偏约束(skewless constraint)$\gamma =0$,即j将$[0,1,0,0,0,0]\mathbf{b}=0$加到等式（9）中。（如果n=1,我们仅仅能解2个相机内参，例如$\alpha ,\beta$,同时假设$u_0,v_0$是已知的（例如在图像的中心），$\gamma =0$，这确实是我们在中基于眼睛和嘴合理共面的事实确定头部姿势的方法²³。），等式(9)的解是${\mathbf{V}}^{\mathbf{T}}\mathbf{V}$的最小奇异值对的奇异向量（等价地，与$\mathbf{V}$的最小奇异值对应的右奇异向量）。
一旦估计了$\mathbf{b}$，我们可以得到相机内参矩阵$\mathbf{A}$,具体细节看附录$\mathbf{B}$。一旦估计了$\mathbf{A}$就可以轻松计算每个图像的外部参数（外参）。从(2)中，我们有
$$\begin{array}{rl}{\mathbf{r}}_1& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_1\\ {\mathbf{r}}_2& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_2\\ {\mathbf{r}}_3& ={\mathbf{r}}_1\times {\mathbf{r}}_2\\ \mathbf{t}& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_3\end{array}$$
其中，$\lambda =1/\Vert {\mathbf{A}}^{-1}{\mathbf{h}}_1\Vert =1/\Vert {\mathbf{A}}^{-1}{\mathbf{h}}_2\Vert$。当然，由于数据中存在噪声，一般情况下所计算的矩阵$\mathbf{R}=[{\mathbf{r}}_1,{\mathbf{r}}_2,{\mathbf{r}}_3]$不满足旋转矩阵的特性。附录$\mathbf{C}$中描述了如何从一般的$3\times 3$矩阵估计最好的旋转矩阵的方法。

3.2 Maximum likelihood estimation

上面问题的解通过没有物理意义的最小代数距离来获得，下面 我们可以通过最大似然估计来精确它。
我们给定n张模型平面（例如棋盘格）的图像，每个图像有m个角点，假设这些图像点符合独立且均匀的噪声分布。最大似然估计可以通过下面的函数获得：
$$\sum _{i=1}^n\sum _{j=1}^m\Vert {\mathbf{m}}_{ij}-\hat{\mathbf{m}}({\mathbf{A},\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j){\Vert }^2,\text{\hspace{1em}(10)}$$
其中$\hat{\mathbf{m}}({\mathbf{A},\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j)$根据等式(2)表示点${\mathbf{M}}_j$在$i$图像中的投影。旋转矩阵$\mathbf{R}$被参数化为3个参数的向量$\mathbf{r}$（$\mathbf{r}$平行于旋转轴，其长度大小等于旋转角度）组成，$\mathbf{R},\mathbf{r}$通过Rodrigues²⁴公式转换。最小化（10)是一个非线性问题，可以通过Levenberg-Marquardt算法求解²⁵，该方法需要初始化猜想$\mathbf{A}$,${\mathbf{R}}_i,{\mathbf{t}}_i|i=1..n$，初始化猜想的值可以通过上一小节或得。

3.3 Dealing with radial distortion

直到现在我们都没有考虑相机的镜头畸变，但是，台式相机(desktop camera)通常会表现出明显的镜头畸变，尤其是径向畸变，在这一节中我们仅仅考虑径向畸变的前两项，更详细的模型，读者可以阅读^{26 1 3 11}。根据报告文献^{3 927} ，畸变函数可能完全由径向分量主导，尤其是由第一项主导。也已经发现，任何更详细的建模不仅无济于事（与传感器量化相比可忽略不计），而且还将引起数值不稳定^{9 27}。
让$(u,v)$表示理想的（不可观测的、无畸变的）像素图像坐标，$(\breve{u},\breve{v})$表示对应的实际可观测到的图像坐标。理想点是根据针孔模型的模型点投影。类似的，$(x,y)$和$(\breve{x},\breve{y})$分别是理想的（无畸变的）和实际的（带畸变的）归一化图像坐标。我们有^{3 27}
$$\begin{array}{r}\breve{x}=x+x[k_1(x^2+y^2)+k_2(x^2+y^2{)}^2]\\ \breve{y}=y+x[k_1(x^2+y^2)+k_2(x^2+y^2{)}^2]\end{array}$$
其中$k_1,k_2$是畸变系数，径向畸变中心与主点相同。从$\breve{u}=u_0+\alpha \breve{x}+\gamma \breve{y}$，$\breve{v}=v_0+\beta \breve{y}$以及假设$\gamma =0$，我们有
$$\breve{u}=u+(u-u_0)[k_1(x^2+y^2)+k_2(x^2+y^2{)}^2]\text{\hspace{1em}(11)}$$
$$\breve{v}=v+(v-v_0)[k_1(x^2+y^2)+k_2(x^2+y^2{)}^2]\text{\hspace{1em}(12)}$$
迭代估计径向畸变 由于预期的径向畸变非常小，我们可以利用3.2节描述的技术估计其他的5个内部参数（通过简单的忽略径向畸变就可以做到，这样做也是合理的）。然后在估计相机内参（5个参数）后再去估计$k_1,k_2$,这样我们在估计$k_1,k_2$之前就会得到一个更加准确（理想）的坐标$(u,v)$,接着由(11)和(12)，对于每个图像中的每个点我们有下面两个等式：
$$\left[\begin{array}{cc}(u-u_0)(x^2+y^2)& (u-u_0)(x^2+y^2{)}^2\\ (v-v_0)(x^2+y^2)& (v-v_0)(x^2+y^2{)}^2\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\breve{u}-u\\ \breve{v}-v\end{array}\right]$$
给定$n$个图像，每个图像$m$个点，我们将等式堆叠在一起总共可得到$2mn$个等式，或者用矩阵形式可表示为$\mathbf{D}\mathbf{k}=\mathbf{d}$，其中$\mathbf{k}=[k_1,k_2{]}^T$。根据线性最小二乘得到：
$${\mathbf{k}=({\mathbf{D}}^{\mathbf{T}}\mathbf{D})}^{-1}\mathbf{d}\text{\hspace{1em}(13)}$$
一旦估计了$k_1,k_2$，可利用(10)中的$\hat{\mathbf{m}}({\mathbf{A},\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j)$代替(11)和(12)进一步精确其他参数（相机内参，我们可以迭代这两个等式直至收敛(备注：即先求不带畸变的相机内参获得(u_0,v_0)->估计$k_1,k_2$->进一步优化相机内参得到(u_0,v_0)->进一步估计$k_1,k_2$->…，这样一直下去直至收敛)。
计算最大似然估计 实验中，我们发现上面的迭代技术很慢，一个很自然的扩展是最小化下面函数来求解参数集合：
$$\sum _{i=1}^n\sum _{j=1}^m\Vert {\mathbf{m}}_{ij}-\hat{\mathbf{m}}(\mathbf{A},k_1,k_2,{\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j)\text{\hspace{1em}(14)}$$
根据(2)，$\hat{\mathbf{m}}(\mathbf{A},k_1,k_2,{\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j)$表示第$i$个图像的第$M_j$在遵循(11)和(12)畸变条件下的投影。（14）是非线性问题，可以通过Minpack²⁸中的Levenberg-Marquardt算法求解。$\mathbf{R}$参数化为三维向量$\mathbf{r}$(详见3.2节)，$\mathbf{A}$和 { R i , t i ∣ i = 1.. n } \{\mathbf{R}_i, \mathbf{t}_i|i=1..n\} {Ri​,ti​∣i=1..n}可以通过3.1节和3.2节描述的技术求解。$k_1,k_2$可以通过上一部分描述的方法获得，也可以简单的设置它们为0。

3.4 Summary

推荐的标定程序如下：

1. 打印一个棋盘格并固定在平面（面板）上
2. 在不同方向上移动面板（或者相机）采取模板（棋盘格）的一组图像
3. 在图像中检测特征点（棋盘格点）
4. 使用闭合解（3.1节描述）估计5个内部参数和所有的外部参数
5. 根据(13)描述的线性最小二乘估计径向系数
6. 最小化（14）精确所有的参数

4. Degenerate Configurations

本节我们研究估计相机内参时，增加图像的数量并不能增加更多的约束的配置。因为(3)和(4)的推导来源于旋转矩阵，如果${\mathbf{R}}_2$和${\mathbf{R}}_1$不相关，则图像2不能提供额外的约束。实际上，如果一个平面暗含纯平移，则${\mathbf{R}}_2={\mathbf{R}}_1$，图像2对于相机的标定毫无帮助。接下来我们考虑更加复杂的配置。
命题 1. 如果模型平面（如棋盘格平面）在第二位置平行于其第一位置，则第二单应性不提供其他约束。
证明：一般情况下，${\mathbf{R}}_2$和${\mathbf{R}}_1$通过绕z轴旋转相关，也就是
$${\mathbf{R}}_1\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ \sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]={\mathbf{R}}_2$$
其中$\theta$是相关的旋转角，我们使用上标(1),(2)分别表示与图像1,2相关的向量。为了清晰我们有
$$\begin{array}{r}{\mathbf{h}}_1^{(2)}={\lambda }^{(2)}({\mathbf{A}\mathbf{r}}^{(1)}\cos \theta +{\mathbf{A}\mathbf{r}}^{(2)}\sin \theta )=\frac{{\lambda }^{(2)}}{{\lambda }^{(1)}}({\mathbf{h}}_1^{(1)}\cos \theta +{\mathbf{h}}_2^{(1)}\sin \theta )\\ {\mathbf{h}}_2^{(2)}={\lambda }^{(2)}(-{\mathbf{A}\mathbf{r}}^{(1)}\sin \theta +{\mathbf{A}\mathbf{r}}^{(2)}\cos \theta )=\frac{{\lambda }^{(2)}}{{\lambda }^{(1)}}(-{\mathbf{h}}_1^{(1)}\sin \theta +{\mathbf{h}}_2^{(1)}\cos \theta )\end{array}$$
接着图像2的约束(3)变成：
$$\begin{gathered} {\mathbf{h}}_1^{(2{)}^T}{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2^{(2)}=\frac{{\lambda }^{(2)}}{{\lambda }^{(1)}}[({\cos }^2\theta -{\sin }^2\theta )({\mathbf{h}}_1^{(1{)}^T}{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2^{(1)}) \\ -\cos \theta \sin \theta ({\mathbf{h}}_1^{(1{)}^T}{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_1^{(1)})-{\mathbf{h}}_2^{(1{)}^T}{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2^{(1)}] \end{gathered}$$
这是${\mathbf{H}}_1$提供的两个约束的线性组合。 同样，我们可以证明图像2的第二个约束也是${\mathbf{H}}_1$提供的两个约束的线性组合，因此，我们没有从${\mathbf{H}}_2$获得任何约束。

结果是不言而喻的，因为平行平面与平面在相同的圆形点处在无限远处相交，因此符合2.4节它们提供相同的约束。

实际上，避免简并配置非常容易：我们只需要将模型平面（如棋盘格）的方向从一个方向更改为另一个方向即可。

尽管如果模型平面进行纯平移，提出的技术将不起作用，但如果知道平移，则仍然可以进行相机校准。 请参考附录D。

附录D Camera Calibration Under Known Pure Translation

正如第4节所说的那样，如果模型平面仅做平移，那么提出的技术不起作用。然而，如果平移已知，相机标定是可能的，例如Tsai’s⁹的技术。从（2）有$\mathbf{t}=\alpha {\mathbf{A}}^{-1}{\mathbf{h}}_3$，其中$\alpha =\frac{1}{{\mathbf{A}}^{-1}{\mathbf{h}}_1}$，在$i,j$两个位置间的平移可表示为
$${\mathbf{t}}^{ij}={\mathbf{t}}^i-{\mathbf{t}}^j={\mathbf{A}}^{-1}({\alpha }^i{\mathbf{h}}_3^i-{\alpha }^j{\mathbf{h}}_3^j)$$
(请注意，尽管${\mathbf{H}}^{(i)}$和${\mathbf{H}}^{(j)}$均按其自身的比例因子估算，但可以使用纯平移的因子将它们重新按比例缩放为单个公共比例因子)。如果仅仅知道平移的方向，我们可以在$\mathbf{A}$上得到两个约束。如果我们还知道平移的大小(magnitude),那我们又增加了一个约束在$\mathbf{A}$上，那么两个平面就可以完成所有标定。

---

1. D. C. Brown. Clos-range camera calibration. Photogrammetric Engineering, 37(8):855–866,1971. ↩︎ ↩︎

2. B. Caprile and V. Torre. Using Vanishing Points for Camera Calibration. The International Journal of Computer Vision, 4(2):127–140, Mar. 1990. ↩︎

3. W. Faig. Calibration of close-range photogrammetry systems: Mathematical formulation. Pho-
   togrammetric Engineering and Remote Sensing, 41(12):1479–1486, 1975. ↩︎ ↩︎ ↩︎ ↩︎

4. O. Faugeras, T. Luong, and S. Maybank. Camera self-calibration: theory and experiments. In
   G. Sandini, editor, Proc 2nd ECCV, volume 588 of Lecture Notes in Computer Science, pages
   321–334, Santa Margherita Ligure, Italy, May 1992. Springer-Verlag. ↩︎

5. O. Faugeras and G. Toscani. The calibration problem for stereo. In Proceedings of the IEEE
   Conference on Computer Vision and Pattern Recognition, pages 15–20, Miami Beach, FL, June,1986. IEEE. ↩︎

6. S. Ganapathy. Decomposition of transformation matrices for robot vision. Pattern Recognition
   Letters, 2:401–412, Dec. 1984. ↩︎

7. D. Gennery. Stereo-camera calibration. In Proceedings of the 10th Image Understanding Work-
   shop, pages 101–108, 1979. ↩︎

8. S. J. Maybank and O. D. Faugeras. A theory of self-calibration of a moving camera. The
   International Journal of Computer Vision, 8(2):123–152, Aug. 1992. ↩︎

9. R. Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision
   metrology using off-the-shelf tv cameras and lenses. IEEE Journal of Robotics and Automa-
   tion, 3(4):323–344, Aug. 1987. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

10. G. Wei and S. Ma. A complete two-plane camera calibration method and experimental compar-
    isons. In Proc. Fourth International Conference on Computer Vision, pages 439–446, Berlin,
    May 1993. ↩︎

11. J. Weng, P. Cohen, and M. Herniou. Camera calibration with distortion models and accuracy
    evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(10):965–980,
    Oct. 1992. ↩︎ ↩︎

12. O. Faugeras. Three-Dimensional Computer Vision: a Geometric Viewpoint. MIT Press, 1993. ↩︎

13. Q.-T. Luong. Matrice Fondamentale et Calibration Visuelle sur l’Environnement-Vers une plus
    grande autonomie des systèmes robotiques. PhD thesis, Université de Paris-Sud, Centre d’Orsay,
    Dec. 1992. ↩︎

14. S. J. Maybank and O. D. Faugeras. A theory of self-calibration of a moving camera. The
    International Journal of Computer Vision, 8(2):123–152, Aug. 1992. ↩︎

15. R. I. Hartley. An algorithm for self calibration from several views. In Proceedings of the IEEE
    Conference on Computer Vision and Pattern Recognition, pages 908–912, Seattle, WA, June1994. IEEE. ↩︎

16. Q.-T. Luong and O. Faugeras. Self-calibration of a moving camera from point correspondences
    and fundamental matrices. The International Journal of Computer Vision, 22(3):261–289, 1997. ↩︎ ↩︎ ↩︎

17. S. Bougnoux. From projective to euclidean space under any practical situation, a criticism of
    self-calibration. In Proceedings of the 6th International Conference on Computer Vision, pages
    790–796, Jan. 1998. ↩︎

18. B. Caprile and V. Torre. Using Vanishing Points for Camera Calibration. The International
    Journal of Computer Vision, 4(2):127–140, Mar. 1990. ↩︎

19. D. Liebowitz and A. Zisserman. Metric rectification for perspective images of planes. In Pro-
    ceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 482–488,
    Santa Barbara, California, June 1998. IEEE Computer Society. ↩︎ ↩︎

20. R. Hartley. Self-calibration from multiple views with a rotating camera. In J.-O. Eklundh, editor,
    Proceedings of the 3rd European Conference on Computer Vision, volume 800-801 of Lecture
    Notes in Computer Science, pages 471–478, Stockholm, Sweden, May 1994. Springer-Verlag. ↩︎

21. G. Stein. Accurate internal camera calibration using rotation, with analysis of sources of er-
    ror. In Proc. Fifth International Conference on Computer Vision, pages 230–236, Cambridge,
    Massachusetts, June 1995. ↩︎

22. B. Triggs. Autocalibration from planar scenes. In Proceedings of the 5th European Conference
    on Computer Vision, pages 89–105, Freiburg, Germany, June 1998. ↩︎

23. I. Shimizu, Z. Zhang, S. Akamatsu, and K. Deguchi. Head pose determination from one image
    using a generic model. In Proceedings of the IEEE Third International Conference on Automatic
    Face and Gesture Recognition, pages 100–105, Nara, Japan, Apr. 1998. ↩︎

24. Faugeras. Three-Dimensional Computer Vision: a Geometric Viewpoint. MIT Press, 1993. ↩︎

25. O. Faugeras. Three-Dimensional Computer Vision: a Geometric Viewpoint. MIT Press, 1993. ↩︎

26. C. Slama, editor. Manual of Photogrammetry. American Society of Photogrammetry, fourth
    edition, 1980. ↩︎

27. G. Wei and S. Ma. Implicit and explicit camera calibration: Theory and experiments. IEEE
    Transactions on Pattern Analysis and Machine Intelligence, 16(5):469–480, 1994. ↩︎ ↩︎ ↩︎

28. J. More. The levenberg-marquardt algorithm, implementation and theory. In G. A. Watson,
    editor, Numerical Analysis, Lecture Notes in Mathematics 630. Springer-Verlag, 1977. ↩︎