从确定性到概率世界：EnTransformer如何重塑多变量时间序列预测的边界

2026-03-12 · 0 次浏览 ·来源: AI导航站

在能源、交通等关键领域，对多变量时间序列的未来状态进行可靠且包含不确定性的预测至关重要。传统方法往往受限于过于简化的概率假设或仅关注分位数估计，难以捕捉变量间的复杂联合分布关系。本文介绍了一种名为EnTransformer的创新框架，它将‘engression’——一种用于建模条件分布的随机学习范式——与Transformer强大的序列建模能力相结合。通过向模型表示中注入随机噪声，并采用能量评分目标函数，EnTransformer能够直接学习真实的条件预测分布，而无需依赖参数化假设。该设计使模型不仅能生成连贯的多变量预测轨迹，还保留了Transformer有效建模长程时序依赖和跨系列交互的能力。在多个主流基准数据集上的实验表明，EnTransformer产生的概率预测具有良好的校准性，并持续优于现有基线模型。

当我们在讨论天气预报时，实际上是在处理一个充满不确定性的复杂系统。这种不确定性不仅存在于单一气象指标（如温度）之中，更体现在风速、气压、湿度等多个相互关联的变量之间。这种由多个相关时间序列构成的预测难题，广泛存在于电网负荷预测、城市交通流量监控、太阳能发电预估以及金融市场的多资产分析等领域。传统的预测模型，无论是简单的线性回归还是复杂的深度学习架构，大多倾向于提供一个确定性的点估计结果，仿佛未来是一个可以被精确计算的方程解。然而，现实世界并非如此简单，它更像一个充满变数的概率游戏。

背景分析：概率预测的困境与Transformer的崛起

为了应对这一挑战，学术界和工业界发展出了多种概率预测方法。其中一类主流策略是采用限制性很强的参数化似然函数，例如高斯分布假设，来拟合预测误差。这种方法虽然计算高效，但严重依赖于对数据分布的强先验假设，一旦现实偏离了预设的轨道，其预测效果便会大打折扣。另一类方法则聚焦于分位数回归，试图直接预测不同置信水平下的分位点。这种方式避免了分布假设，却牺牲了对整个联合分布的全面理解，导致生成的多条预测路径之间缺乏内在的逻辑一致性。

与此同时，基于注意力机制的Transformer架构凭借其在序列建模任务上无与伦比的强大表现，成为了处理时间序列数据的新宠。它们能够有效地捕捉长期的时间依赖关系，并通过自注意力机制自然地学习不同时间步或不同变量之间的交叉影响。然而，尽管Transformer在单变量预测中取得了巨大成功，大多数将其应用于概率预测的尝试，仍然沿用着上述两种存在局限性的概率建模方式。这导致了一个核心矛盾：我们拥有了最先进的序列建模工具，却未能找到与之匹配的概率表达形式。

正是在这样的背景下，一种名为“engression”的范式应运而生。它摒弃了传统概率模型中对特定分布形式的执着，转而将预测问题视为一个能量最小化的过程。简单来说，它定义了一个能量函数，该函数衡量预测值与真实观测值之间的“不适度”。通过优化这个能量函数，模型可以学习到一个隐式的、非参数的联合概率密度函数。这种方法的灵活性极高，能够适应任意复杂的分布形态，为构建更通用的概率预测器提供了理论基石。