纽约州预测性服务线分类审计报告：AI模型在铅管检测中的误差与盲区
模型分类的结构性缺陷
在纽约州的铅和铜规则修订框架下，水务有权利用预测模型而非实地检测来判定服务线材质。这种政策便利性的代价，恰恰在纽约州的州级审计报告中暴露无余。研究团队筛选了153个对至少100个地址进行过预测性分类的地方政府，旨在将模型输出与实际物理验证结果进行横向比对。然而，由于纽约州的数据发布机制是“每个地址仅记录一种方法”，几乎不存在既有模型分类又有物理验证的 paired address，这意味着本研究的比较基础不再是个体地址的对错，而是不同局部管辖区域之间的群体差异。
在这153个地方政府中，有75个（占比49%）的记录人口超过125,990个地址，约占全部被筛选地址的57%。在这些局部记录中，令人咋舌的现象显而易见：零方差并非违规，68个局部记录的模型输出与自身的验证结果相符，或样本量过小无法检验。但有7个局部记录的模型判定与自身的实地检测结果相矛盾，其中6个超出了任何抽样解释的范围。值得注意的是，纽约市作为五个行政区汇聚的单一系统，其5个行政区均被列入此列；另有一个位于550公里外的East Rochester村镇也出现了类似问题。这一发现揭示了预测模型在面对大规模、高密度城市系统时的系统性偏差。
纽约市的“已知其他”与“未知”的悖论
纽约市作为本研究的最大案例，其数据量更是达到令人目眩的规模。预测模型被作为记录基础的地址高达43,215个，而在这些地址上，记录的材质统一为“Known Other”（已知其他）。这引发了深度的技术反思：所谓的“已知其他”究竟是一种什么样的材质分类？在铅管检测的语境下，这几乎等同于一种“什么都不说”的默认状态。更为关键的是，纽约市在121,779个地址上标记为“Unknown”（未知），其中1,880个地址已经过实地挖掘，剩余的120,692个地址被标记为铅。但在模型的计算桶中，这两类计数均为零。根据95%的上界置信区间，铅管的实际比例不应超过0.0085%。
这背后的逻辑揭示了预测模型的局限性。对于模型未能明确判定的地址，系统倾向于将其归类为“未知”，并在统计学层面给出极低的铅概率上限。这种处理方式在表面上规避了责任风险，实则掩盖了大量潜在的铅管风险。特别是在老旧的城市基础设施中，模型的失效区域恰恰集中在那些最需要精准识别的老旧建筑群体上。
时代固有的判定偏差
报告进一步深入剖析了不同年代建筑中的分类差异。研究表明，模型判定的“模型清除人口”年建造中位数为1984年，而对照组的中位年建造时间则早至1930年。这种显著的建筑年代差异，解释了约三分类型的分类差距。当控制了建筑时代这一变量后，基于记录的分类在不同时代的铅线比例范围为4.3%-31.9%，而物理验证则在1.5%-14.5%之间。关键的是，在任何特定的建筑时代中，模型的预测结果均未能在这两者之间起到决定性的作用。
为了给出一个更具参考价值的估算，研究构建了六个考虑了时代因子的估算模型，将预期的铅线数量锁定在1,150-1,450个之间。这意味着，即便是在这些经过时代校正的模型估算中，实际的铅管数量也远低于粗放的记录分类所暗示的数量，模型的实际预测价值在老旧基础设施的精准识别上仍显不足。
记录传承与数据质量的警示
报告中最具警示性的发现之一涉及数据的传承链。在预测的2025年快照中，有7,782个地址位于1940年前的建筑中，且公共侧的材质认定被发现是直接沿用了客户侧的模型输出结果。这一发现暴露了基础设施数据管理中一个被忽视的深层问题：模型输出并非一次性的判定，而是可能被不断复制、粘贴、传递的数据流。当客户端的预测模型误判被作为基准，随后又被公共系统继承时，原有的错误将被无限放大，形成一种“算法固化”的数据噪音。
这种数据传承机制在一定程度上解释了为什么模型在旧建筑群体中会表现出较高的不确定性。每一次模型输出的复制，都是对原有偏差的累积和延伸。对于水务管理者和监管机构而言，这意味着单纯依赖预测模型进行服务线材质的判定，不仅存在技术层面的误差，更在数据治理层面存在根本性的风险。
前瞻展望：从“替代”到“辅助”的范式转移
这项针对纽约州的审计研究，本质上是一次对AI在关基础设施管理中应用边界的现实检验。铅和铜规则修订为水务提供了灵活性，允许利用预测模型减少实地检测的成本和人力投入。然而，这项研究的数据表明，这种替代性的代价是巨大的：模型在面对旧建筑、复杂的数据传承链以及缺乏物理验证的群体比对时，其准确性和可靠性都受到了严重的质疑。
展望未来，基于AI的服务线材质判定不应被视为实地检测的完全替代品，而应被定位为一种“辅助筛选”工具。监管机构在制定政策和评估模型有效性时，必须建立更为严格的验证机制，确保模型的输出结果能够被实地数据定期校准。同时，数据管理的透明度也亟待提升，避免模型输出在传承过程中丢失原有的误差边界和不确定性标记。对于纽约州及其他面临类似决策的地区而言，这项研究提供了宝贵的经验：在科技赋能的浪潮中，不能盲目信任算法的黑盒输出，必须保留实地验证的底线，才能在保障公共健康与资源效率之间找到真正的平衡点。