arXiv cs.LG· Zhi-Kai Chen, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye·· 27 天前AI 评分43
SchemaFill：通过槽位并行投机解码实现高效 LLM 工具调用
SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding
AI 导读
研究人员提出 SchemaFill 框架，通过槽位并行投机解码加速大语言模型工具调用的结构化生成。该框架并发生成跨多个字段和调用的未来槽位候选值，并由目标模型进行前缀验证与纠错，仅提交通过验证的 token。在 Glaive 和 BFCL 基准评测中，SchemaFill 相比自回归解码实现了最高 4.05x 的端到端吞吐量提升，代码已开源。
来源：arXiv cs.LG · arxiv.org