AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
分布式SGD
随机梯度下降的变体，其中梯度计算和参数更新分布在多台机器或处理器上，以加速大规模模型的训练。
術語
同步SGD
一种方法，其中所有工作节点必须在每次迭代时同步其梯度，保证模型一致性，但可能受最慢节点（掉队者）的限制。
術語
异步SGD
工作节点独立更新模型参数而不等待同步的方法，提高了吞吐量但可能引入延迟梯度。
術語
Hogwild!
无锁并行SGD算法，允许对参数进行并发访问，对于写入冲突较少的稀疏模型有效。
術語
本地SGD
变体，其中工作节点在通信同步前对其数据执行多个本地SGD步骤，减少通信开销。
術語
掉队者问题
某些较慢节点拖慢整个同步分布式训练过程的现象，在大规模系统中尤其严重。
術語
弹性平均SGD
结合本地梯度下降与弹性力的算法，保持本地参数接近工作节点共享的质心。
術語
拜占庭容错SGD
能够容忍发送错误或任意梯度的故障或恶意工作节点的稳健分布式SGD变体。
術語
量化随机梯度下降
在传输前降低梯度数值精度的方法，通常每个参数使用1-8位来最小化网络流量。
🔍