探究大语言模型作为数值优化器的能力与局限

研究表明 LLM 能够捕捉数学问题结构并生成接近最优解，但可靠性随维度增加而下降，并常伴随数值误差与约束违背。在凸优化、分式规划等任务中，引入针对可行性与解质量反馈的迭代细化机制，可显著提升可靠性并扩展适用维度。鉴于固有数值与结构错误，LLM 难以作为独立优化器，需结合确定性数值验证构建混合方法。