arXiv stat.ML· Cagdas Pullu, Mahmut Emir Arslan, Bugra Balkac, Aylin Ondersev Balta, Cihangir Celal Palaci, Fikri Cem Yilmaz, Altan Cakir·· 27 天前AI 评分34
超越边际监控：面向大规模电商数据概念漂移的分布式联合分布检验
Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations
AI 导读
研究人员在 1.375 亿行电商特征表等基准上评估发现，基于 Apache Spark 的随机傅里叶特征分布式最大均值差异方法能稳健检测概念漂移。该方法在强漂移场景下与预期漂移幅度的皮尔逊相关性达 r = 0.940，真阳性率为 80.4%，假阳性率为 3.2%。相比之下，逐维度 Kolmogorov-Smirnov 检验因非对称采样下 ID 类列的统计饱和而失效。
来源：arXiv stat.ML · arxiv.org