与已有概念的区别和联系

迁移学习并不是一个横空出世的概念,它与许多已有的概念都有些联系,但是也有着一些区别。我们在这里汇总一些与迁移学习非常接近的概念,并简述迁移学习与它们的区别和联系。

1. 迁移学习 VS 传统机器学习

迁移学习属于机器学习的一类,但它在如下几个方面有别于传统的机器学习:

比较项目

传统机器学习

迁移学习

数据分布

训练和测试数据服从相同的分布

训练和测试数据服从不同的分布

数据标注

需要足够的数据标注来训练模型

不需要足够的数据标注

模型

每个任务分别建模

模型可以在不同任务之间迁移

2. 迁移学习 VS 多任务学习

多任务学习指多个相关的任务一起协同学习;迁移学习则强调知识由一个领域迁移到另一个领域的过程。迁移是思想,多任务是其中的一个具体形式。

3. 迁移学习 VS 终身学习

终身学习可以认为是序列化的多任务学习,在已经学习好若干个任务之后,面对新的任务可以继续学习而不遗忘之前学习的任务。迁移学习则侧重于模型的迁移和共同学习。

4. 迁移学习 VS 领域自适应

领域自适应问题是迁移学习的研究内容之一,它侧重于解决特征空间一致、类别空间一致,仅特征分布不一致的问题。而迁移学习也可以解决上述内容不一致的情况。

5. 迁移学习 VS 增量学习

增量学习侧重解决数据不断到来,模型不断更新的问题。迁移学习显然和其有着不同之处。

6. 迁移学习 VS 自我学习

自我学习指的是模型不断地从自身处进行更新,而迁移学习强调知识在不同的领域间进行迁移。

7. 迁移学习 VS 协方差漂移

协方差漂移指数据的边缘概率分布发生变化。领域自适应研究问题解决的就是协方差漂移现象。