arXiv cs.LG· Shenghong Dai, Shiva Kumar Pentyala, Yingchi Liu, Shubham Mehrotra, Suman Banerjee, James Zhu, Bin Bi, Sitaram Asur, Phil Mui·· 2026-09-30AI 评分39
Koa-action：基于生成式大语言模型的快速一致结构化决策框架
Koa-action: Fast and Consistent Structured Decision Making with Generative LLMs
AI 导读
研究团队提出 Koa-action 框架，通过原子标签 token 与监督微调将分类等决策转化为单 token 输出的约束生成，实现低延迟确定性解码。在生产意图路由基准上，其准确率达 85.5%（超过 GPT-5 与 Gemini-2.5-Pro），约 0.5 秒即可响应，中位数速度最高提速约 7.5x。相比 Jev/TypeSafe，它还进一步支持多模态输入与多标签输出。
来源：arXiv cs.LG · arxiv.org