深度学习

Attention Residuals：用注意力机制重塑残差连接

Kimi 团队提出的注意力残差（AttnRes），用 softmax 注意力替代固定权重的残差累加，让深层网络每一层自主选择最有价值的历史信息，训练效率提升 25%。