慢非平稳约束 MDP 原始-对偶学习中的参数共振研究

研究针对慢非平稳约束马尔可夫决策过程（MDP），在双时间尺度假设下分析了原始-对偶方法的参数共振现象。理论表明，原始更新所用约束估计与对偶更新所用测量之间的不匹配会导致两倍固有频率的参数共振，其容忍度随双步长比的平方根衰减。在拉格朗日软行动者-评论家（SAC）智能体实验中，相干成本评论家能有效抑制乘子锁定，验证了理论预测。