将Transformer理论付诸实践

arXiv：2610.32104v1 发布类型：新 摘要：为刻画Transformer架构的能力与局限性，人们已发展出若干形式化理论，这些理论分别采用不同的抽象方法，以捕捉该架构的不同特性。由于其底层假设与概念框架存在差异，这些理论在预测Transformer对哪些任务感到容易或困难时往往意见不一。我们梳理了七种关于Transformer能力的理论（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO以及敏感性），并将其研究结果转化为一张通用的预测矩阵，覆盖一系列涉及不同计算结构的任务。我们还提供了新的理论成果，以完善这一矩阵。随后，我们对这些理论进行评估