G-ray：跨投影相对几何编码在多视角视觉变压器中的突破
技术困境：相机异构性下的位置编码失效
在多模态三维重建和新视角合成日益成为计算机视觉前沿的今天，多视角视觉变压器的应用范围正不断扩大。然而，现实场景中相机的种类繁多，存在着视场角的差异，或是投影模型的异质性。这对于依赖位置编码的模型来说，是一个不小的挑战。现有的旋转位置编码方案，多半是基于图像平面坐标来计算相对相位的。这种做法在面对不同投影模型时，往往会产生投影依赖的相位差异，导致跨投影注意力机制难以获取一致的几何线索，从而严重制约了模型在跨相机条件下的性能表现。
G-ray的核心设计理念
针对上述痛点，G-ray项目组提出了一种全新的射线级相对几何位置编码范式。与以往依赖像素坐标不同，G-ray的旋转相位是由相机局部射线角度参数化而来的。这种设计思路的巧妙之处在于：同一相机局部射线对，在不同的投影过程中，会诱导出相同的相对相位。这意味着，模型在进行跨投影注意力计算时，能够获得投影不变的位置一致性，从而有效规避了以往因投影差异导致的几何信息错位问题。
模块化集成与零额外参数优势
G-ray并非一个封闭的、独占独用的编码系统，它具备极强的兼容性。一方面，它可以作为一个独立的模块直接投入使用；另一方面，它也可以无缝集成到现有的位置编码框架中。这种集成方式的关键优势在于，它能够与现有编码互补，保留几何线索，且在整个过程中不需要引入任何额外的学习参数。对于追求模型轻量化和效率优化的研究者和工程师来说，这是一个极具吸引力的特性，既保证了性能提升，又避免了参数膨胀的风险。
实验验证：三大基准的全面突破
为了验证G-ray的有效性，研究团队在三个不同的主体编码框架上进行了测试，分别是RoPE、GTA以及RayRoPE。实验涵盖了3D重建与新视角合成两大核心任务。
在3D重建任务的异质性基准测试中，研究者使用了50个视角的数据集。结果显示，G-ray在六个平均指标中均位居榜首，这在同类研究中并不常见。更重要的是，与MapAnything这一强劲对手相比，G-ray成功将平均点图相对误差降低了高达45.8%。这一显著的误差降低，直接证明了其在处理几何细节上的优越性。
更为有趣的是，实验还证实了G-ray的泛化能力。该模型原本是基于统一的透镜图像进行训练的，但在面对混合了透镜和非透镜输入的测试场景时，依然能够从容应对，无需进行任何重训操作。而且，在同质化的标准协议下，该模型的性能依然保持在一个极具竞争力的水平，这意味着其并未牺牲在特定条件下的性能，换取了更广泛的适应性。
新视角合成的进一步提升
在新视角合成任务上，G-ray同样展现出了强大的威力。当在联合视角和视场角变化的条件下进行测试时，基于GTA和RayRoPE两个编码方案的模型均实现了性能的显著提升。这表明，G-ray不仅仅是一个针对特定投影模型的修补方案，更是一个能够在复杂、多变的视觉环境中稳定提升模型性能的核心组件。无论是几何结构的重建，还是视觉信息的合成，G-ray都提供了可靠的几何锚点。
前瞻展望：几何感知AI的新篇章
展望未来，G-ray的提出无疑为多视角视觉变压器的发展指明了方向。它打破了以往位置编码对单一投影模型的依赖，构建了一套更加稳健、通用的几何编码体系。随着相机硬件的多样化和应用场景的复杂化，这类能够跨投影保持几何一致性的编码方案将变得愈发关键。可以预见，在未来的研究中，这类基于射线角度几何特性的编码将越来越多地出现在高质量的三维重建和视觉重现系统中，推动整个领域向着更强的鲁棒性和泛化能力迈进。
结语
综上，G-ray作为一种创新的射线级相对几何位置编码，通过参数化相机局部射线角度，成功解决了多视角变压器在跨投影场景下的几何一致性难题。其零额外参数的模块化集成特性，加上在异质基准上的压倒性优势以及跨任务的良好泛化能力，使其成为当前该领域的一次重要突破。对于关注计算机视觉几何深度学习的从业者而言，G-ray的技术路线值得深入研究和借鉴。