ReLU 网络的内在信息论分析

一项新研究提出针对 ReLU 等连续分段线性（CPWL）网络的内在信息论分析框架，利用输入空间几何分区的离散区域标签直接分解互信息（MI）。其主导项“路由信息”支持即插即用估计器，并在分区饱和时通过单一参数的功能等价商恢复度量有效性。实验显示该路由估计器的测量结果与 3 个既有 MI 基线高度一致。