arXiv cs.LG· Bhawani Shankar Leelar, Pawan Chorasiya, Davin Hill, Robert E. Tillman, Tamer Soliman·· 25 天前AI 评分44
可见链式推理并非通用优化手段:分析代码生成中受人设与思考配置影响的研究
Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation
AI 导读
研究发现显式链式推理(visible CoT)在分析代码生成中不具备普遍的准确率优势,推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python(pandas)基准上的对比评测,其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择,而非直接作为通用默认设置。
来源:arXiv cs.LG · arxiv.org