Echo: 具有误差补偿的 4 位张量并行通信,用于 LLM 训练和推理
·
0 次浏览
·来源: ArXiv AI
arXiv:2610.14277v1 类型: 新文摘: 张量并行每一层都以一次全减结束,而全减位于两个相互依赖的矩阵乘法之间,因此其成本无法隐藏,并且随着计算能力的增长,互连带宽就无法满足需求。 使用 4 位值而不是 16 位值可以减少此成本...
arXiv:2610.14277v1 类型: 新文摘: 张量并行每一层都以一次全减结束,而全减位于两个相互依赖的矩阵乘法之间,因此其成本无法隐藏,并且随着计算能力的增长,互连带宽就无法满足需求。 使用 4 位值而不是 16 位值可以减少此成本...
arXiv:2610.14277v1 Announce Type: new Abstract: Tensor parallelism ends every layer with an all-reduce that sits between two dependent matrix multiplications, so its cost cannot be hidden and grows as compute outpaces interconnect bandwidth. Sending 4-bit instead of 16-bit values would cut this cost...