Seam-Guided Unsupervised Image Stitching with Parallax-Aware Mask Generation

基于接缝引导的视差感知掩码生成无监督图像拼接

Published in: IEEE Transactions on Circuits and Systems for Video Technology ( Early Access )

论文作者：

Yuzhu Tao; Lang Nie; Yakun Chang; Bo Li; Qingwen Li; Hong Li；Shikui Wei

论文一作为MIC实验室二年级硕士研究生陶昱竺，本工作由北京交通大学信息科学研究所、重庆邮电大学人工智能学院和中国铁塔股份有限公司信息技术研究院联合完成。

论文简介：

在大视差条件下，图像拼接任务因内容对齐与形状保持之间的冲突而极具挑战。现有方法多专注于通过空间变化变换精确对齐重叠区域，但这往往导致大视差区域出现严重畸变。为此，我们提出了一种用于接缝引导图像拼接的视差感知无监督扭曲模型。

为保持内容自然，我们首先设计了一个边缘增强的掩码生成模块，用于识别大视差区域并抑制这些区域的过度变形。该模块受综合目标函数约束，集成了掩码光度差、非平凡掩码学习和自适应正则化，同时确保掩码的可靠性与对齐的鲁棒性。此外，为消除视差伪影，我们在扭曲网络中引入了接缝引导对齐策略，借助最优接缝估计迭代对齐局部区域。通过自适应微调扭曲模型，我们随着接缝质量的提升逐步改善了拼接效果。

为促进视差感知的学习过程，我们构建了一个新的图像拼接数据集，其视差大于 UDISD 数据集，有助于提升模型在挑战性场景下的泛化能力。实验表明，我们的方案不仅消除了错位区域，还在具有挑战性的视差场景中保持了形状一致性。