MERIT: Multimodal Evidence Reasoning over Image Tables
·
0 次浏览
·来源: HuggingFace Papers
Table reasoning with language models typically assumes access to clean textual tables. In practice, tables are often serialized into text, which can corrupt cell contents, distort structural relationships, and discard visual cues, leaving the model to reason over incomplete evidence. In contrast, table images retain this information, but using it requires both accurate perception and reasoning grounded in the relevant cells....
与语言模型的表格推理通常假定可以访问清晰的文本表格。实际上，表格通常被序列化为文本，这可能会损坏单元内容、扭曲结构关系，并丢弃视觉提示，使模型只能根据不完整的证据进行推理。相比之下，表格图像保留了这些信息，但要利用它们需要准确的感知和基于相关单元的推理。为了解决这个问题，我们提出了 MERIT（多模态图像表格推理）框架，这是一个三阶段框架，用于学习对图像表格进行推理，如果提供，序列化的表格可作为可选的辅助输入。我们的分析确定了视觉证据获取是一个瓶颈，从而激励通过重建、定位和颜色条件监督来调整针对表格的编码器。在调整的表示上建立，监督式微调教会了明确的证据选择和使用经过验证轨迹的推理。最后，强化学习通过对证据正确性、计算、最终答案和输出格式分别提供奖励来优化策略。通过在中间步骤上提供反馈，该框架针对最终答案监督无法区分的检索和计算错误。我们在表格问答和事实验证上评估了该方法，分析了视觉输入和训练组件的贡献，并评估了在具有不同表格结构和视觉呈现的其他数据集上的泛化能力。