祝贺实验室团队硕士生季晨皓一篇论文DiffPano++: Scalable and Consistent Multi-View Panorama Generation with Spherical Epipolar-Aware Diffusion被IJCV录用。

近年来，扩散模型在场景理解与生成任务中展现出显著能力。然而，现有方法基于全景图像表示三维场景时，仍受限于大规模全景数据集的缺乏以及多视角全景视图之间的一致性保持困难。为应对这些挑战，本研究构建了PanoVT-HM3D，一个包含连续全景视频帧及对应文本描述的大规模全景视频–文本数据集。基于该数据集，我们进一步提出DiffPano，一种基于文本生成多视角全景图像的新框架。该框架通过对文本到全景的扩散模型进行微调，并引入球面极线感知模块以提升跨视角一致性。此外，我们将该框架扩展为DiffPano++，支持基于图像条件的多视角全景生成。为了缓解PanoVT-HM3D在图像质量方面可能存在的不足及其对模型性能的影响，我们还构建了一个更高质量的多模态全景数据集MPano-3D。大量实验表明，DiffPano与DiffPano++均能生成具有良好可扩展性、高一致性与多样性的多视角全景图像。