无需模型：文本熵率过滤缓解迭代微调中的模型崩溃

研究提出一种基于非参数 Kontoyiannis 熵率估计器 hk 的无模型过滤方法，仅依据原始文本匹配长度统计筛选合成数据，以缓解迭代微调引发的模型崩溃。在 Llama-3.1-8B 的六代 QLoRA 实验中，hk 过滤使独立三元组增加 42%、词汇量增加 30%，重复率降低 19%（均 p < 0.001），显著优于无显著收益的 logprob 过滤基线。