统计特征对齐方法主要将数据的统计特征进行变换对齐。对齐后的数据,可以利用传统机器学习方法构建分类器进行学习。
SA方法(Subspace Alignment,子空间对齐)(fernando2013unsupervised)是其中的代表性成果。SA方法直接寻求一个线性变换M,将不同的数据实现变换对齐。
SA方法的优化目标如下:
F(M)=∣∣XsM−Xt∣∣F2 则变换M的值为:
M⋆=argMmin(F(M)) 可以直接获得上述优化问题的闭式解:
F(M)=∣∣Xs⊤XsM−Xs⊤Xt∣∣F2=∣∣M−Xs⊤Xt∣∣F2 SA方法实现简单,计算过程高效,是子空间学习的代表性方法。
基于SA方法,Sun等人在2015年提出了SDA方法(Subspace Distribution Alignment)(sun2015subspace)。该方法在SA的基础上,加入了概率分布自适应。下图示意了该方法的简单流程。
SDA方法提出,除了子空间变换矩阵T之外,还应当增加一个概率分布自适应变换A。SDA方法的优化目标如下:
M=XsTAXt⊤ 有别于SA和SDA方法只进行源域和目标域的一阶特征对齐,Sun等人提出了CORAL方法(CORrelation ALignment),对两个领域进行二阶特征对齐。假设Cs和Ct分别是源领域和目标领域的协方差矩阵,则CORAL方法学习一个二阶特征变换A,使得源域和目标域的特征距离最小:
Amin∣∣A⊤CsA−Ct∣∣F2 CORAL方法的求解同样非常简单且高效。CORAL方法被应用到神经网络中,提出了DeepCORAL方法。作者将CORAL度量作为一个神经网络的损失进行计算。下图展示了DeepCORAL方法的网络结构。
CORAL损失被定义为源域和目标域的二阶统计特征距离:
ℓCORAL=4d21∣∣Cs−Ct∣∣F2