arXiv cs.AI· Rabimba Karanjai, Yiming Bian, Yun-Shiuan Chuang, Jenna L. Ballard, Zijie Pan, Shivani Shekhar, Yixi Li, Yirou Ge, Avinash Thangali, Richard Williamson, Linsey Pang, Prakhar Mehrotra·· 13 天前AI 评分35
TxnQA:针对交易事件序列分析推理与证据溯源的评测基准
TxnQA: Benchmarking Analytical Reasoning and Evidence Grounding over Transaction Event Sequences
AI 导读
研究人员推出交易事件序列分析问答基准 TxnQA,涵盖 27 个任务族及 5 场景欺诈风险推理套件,用于评估模型判定与支持证据。评测显示 Gemma-4-31B-IT 与 Qwen3-8B 的端到端正确率(E2E)分别达 0.867 和 0.816,优于 MoE 模型的 0.632-0.713。在 500 个样本的欺诈套件中,判定准确率常超 80%,但要求精确证据归因的联合准确率最高仅约 23%。
来源:arXiv cs.AI · arxiv.org