Automatic Panoramic Image Stitching using Invariant Features

使用不变特征的自动全景图像拼接

摘要

本文关注的是全自动全景图像拼接问题。 虽然 1D 问题（单轴旋转）得到了很好的研究，但 2D 或多行拼接更加困难。 以前的方法使用人工输入或对图像序列的限制来建立匹配图像。 在这项工作中，我们将拼接表述为多图像匹配问题，并使用不变的局部特征来找到所有图像之间的匹配。 因此，我们的方法对输入图像的顺序、方向、比例和光照不敏感。 它还对不属于全景图的噪声图像不敏感，并且可以识别无序图像数据集中的多个全景图。 除了提供更多细节外，本文还通过引入增益补偿和自动校正步骤扩展了我们之前在领域 [BL03] 的工作。

1. 介绍

全景图像拼接有广泛的研究文献 [Sze04、Mil75、BL03] 和一些商业应用 [Che95、REA、MSF]。 该问题的基本几何形状很好理解，包括为每个图像估计 3 × 3 相机矩阵或单应性 [HZ04，SS97]。 该估计过程需要初始化，这通常由用户输入提供以近似对齐图像，或固定图像排序。 例如，与佳能数码相机捆绑的 PhotoStitch 软件需要水平或垂直扫描，或图像的方阵。 REALVIZ Stitcher 版本 4 [REA] 有一个用户界面，可以在自动注册进行之前用鼠标粗略定位图像。 我们的工作是新颖的，因为我们不需要提供这样的初始化。

在自动图像对齐和拼接的研究文献中，方法大致分为两类——直接的[SK95、IA99、SK99、SS00]和基于特征的[ZFD97、CZ98、MJ02]。直接方法的优点是它们使用所有可用的图像数据，因此可以提供非常准确的配准，但它们需要紧密的初始化。基于特征的配准不需要初始化，但传统的特征匹配方法（例如，Harris 角周围图像块的相关性[Har92，ST94]）缺乏实现任意全景图像序列可靠匹配所需的不变性。

在本文中，描述了一种基于不变特征的全自动全景图像拼接方法。与以前的方法相比，具有以下几个优点。首先，我们使用不变特征可以可靠地匹配全景图像序列，尽管输入图像有旋转、缩放和光照变化。其次，通过将图像拼接视为多图像匹配问题，我们可以自动发现图像之间的匹配关系，并在无序数据集中识别全景图。第三，我们使用多波段混合生成高质量的结果来渲染接缝输出全景图。本文通过引入增益补偿和自动校正步骤扩展了我们在 [BL03] 领域的早期工作。 我们还描述了一种高效的光束平差法(bundle adjustment)实现，并展示了如何对具有任意数量波段的多个重叠图像执行多波段混合。

在本文的其余结构如下。第 2 节制定了问题的几何结构并促使我们对不变特征的选择。第 3 节描述了我们的图像匹配方法 (RANSAC) 和用于图像匹配验证的概率模型。在第 4 节中，我们描述了我们的图像对齐算法（光束平差法），它联合优化每个相机的参数。 第 5 - 7 节描述了渲染管道，包括自动校正、增益补偿和多波段混合。在第 9 节中，我们提出了未来工作的结论和想法。

2. 特征匹配

3. 图像匹配

4. 光束平差法

5. 自动全景校正

6. 增益补偿

7. 多波段融合

8. 实验结果

9. 结论