arXiv cs.LG· Sourabh Kasliwal, Shubhranshu Singh·· 26 天前AI 评分36
基于 LLM 蒸馏的多标签主题归类：生成式与判别式学生模型对比分析
Multi-Label Topic Assignment via LLM Distillation: A Comparative Analysis of Generative vs. Discriminative Student Models
AI 导读
一项研究系统评估了基于 LLM 知识蒸馏的多标签分类任务中，1B、4B 和 8B 规模的生成式与判别式（DeBERTa-V3、ModernBERT）学生模型表现。测试显示判别式模型在结构化商品评论中占优，但 1B 生成式模型在复杂多轮对话中反超基线；面对多达 112 个主题扩展时生成式模型依然稳健，而判别式基线的 Macro-F1 剧降 35%。相关优化模型已在全球电商生产环境中部署落地。
来源：arXiv cs.LG · arxiv.org