支持向量机直接最小化 KL 散度

支持向量机（SVM）分类与回归的对偶目标被证实是两个高斯测度之间受约束的 KL 散度最小化任务。在去除定义域约束并施加 L^2 正则化时，该散度公式还能精确恢复核岭回归的目标函数。这项成果表明 SVM 对偶直接最小化相对熵，为标准核机器提供了统一的信息论模型，为在概率论框架下整合更广泛的核算法奠定了基础。