《最优化：建模、算法与理论》第23节 分块坐标下降法

该来源提供了关于分块坐标下降法 (BCD) 的详细概述，这是一种用于解决大型优化问题的迭代方法，其中变量被分解成可单独更新的块。文章讨论了BCD的问题形式、挑战和难点，并提出了三种主要更新格式，解释了它们的特性及其在LASSO、K-均值聚类、非负矩阵分解、字典学习和最大割问题等应用中的具体实现。此外，文本深入分析了BCD算法的收敛性，特别是对非凸函数，并通过一致KL性质证明了全序列收敛。最后，来源介绍了随机梯度下降 (SGD) 的并行化策略，包括Hogwild!异步SGD和CYCLADES，旨在通过避免或管理更新冲突来提高计算效率。