迁移学习(Transfer Learning)的背景、历史

1、迁移学习提出背景

    在机器学习、深度学习和数据挖掘的大多数任务中，我们都会假设training和inference时，采用的数据服从相同的分布（distribution）、来源于相同的特征空间（feature space）。但在现实应用中，这个假设很难成立，往往遇到一些问题：

    1、带标记的训练样本数量有限。比如，处理A领域（target domain）的分类问题时，缺少足够的训练样本。同时，与A领域相关的B（source domain）领域，拥有大量的训练样本，但B领域与A领域处于不同的特征空间或样本服从不同的分布。

    2、数据分布会发生变化。数据分布与时间、地点或其他动态因素相关，随着动态因素的变化，数据分布会发生变化，以前收集的数据已经过时，需要重新收集数据，重建模型。

    这时，知识迁移（knowledge transfer）是一个不错的选择，即把B领域中的知识迁移到A领域中来，提高A领域分类效果，不需要花大量时间去标注A领域数据。迁移学习，做为一种新的学习范式，被提出用于解决这个问题。

2、迁移学习发展历史

    迁移学习的研究来源于一个观测：人类可以将以前的学到的知识应用于解决新的问题，更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务：从以前的任务当中去学习知识（knowledge）或经验，并应用于新的任务当中。换句话说，迁移学习目的是从一个或多个源任务（source tasks）中抽取知识、经验，然后应用于一个目标领域（target domain）当中去。

    自1995年以来，迁移学习吸引了众多的研究者的目光，迁移学习有很多其他名字：学习去学习（Learning to learn）、终身学习（life-long learning）、推导迁移（inductive transfer）、知识强化（knowledge consolidation）、上下文敏感性学习（context-sensitive learning）、基于知识的推导偏差（knowledge-based inductive bias）、累计/增量学习（increment / cumulative learning）等。

2迁移学习中的符号及概念的定义

1、符号定义

    领域（domain）和任务（task）定义：

    领域由两个部分组成：特征空间（feature space）X和特征空间的边缘分布P（x），其中，x={x1,x2......xn} 属于X。如果两个领域不同，它们的特征空间或边缘概率分布不同。领域表示成D={X,P(x)}。

    任务组成：给定一个领域D={X，P（x）}的情况下，一个任务也包含两个部分：标签空间Y和一个目标预测函数f（.）。一个任务表示为：T={Y，f（.）}。目标预测函数不能被直接观测，但可以通过训练样本学习得到。从概率论角度来看，目标预测函数f（.）可以表示为P(Y|X)。任务表示成T={Y，P（Y|X）}

    一般情况下，只考虑只存在一个source domain Ds 和一个target domain Dt的情况。其中，源领域Ds = {（xs1，ys1），（xs2,ys2）......（xsns,ysns）}，xsi 属于Xs，表示源领域的观测样本，ysi属于Ys，表示源领域观测样本xsi对应的标签。目标领域Dt = {（xt1，yt1）,（xt2，yt2）.......（xtnt，ytnt）}，xti属于Xt，表示目标领域观测样本，ysi属于Yt，表示目标领域xti对应的输出。通常情况下，源领域观测样本数目ns与目标领域观测样本数目nt存在如下关系：1<=  nt  <<  ns。

2、迁移学习定义

    基于以上的符号定义，给出正式的迁移学习的定义：在给定源领域Ds和源领域学习任务Ts、目标领域Dt和目标领域任务Tt的情况，且Ds 不等于Dt或Ts不等于Tt，情况下；迁移学习使用源领域Ds和Ts中的知识提升或优化目标领域Dt中目标预测函数ft（.）的学习效果。

    通过以上的定义可以发现：

    1）、领域D=（X，P（x）），当源和目标领域D不同时，存在两种情况：

    （1）Xs不等于XT，源领域和目标领域的特征空间不同；

    （2）P（xs）不等于P（xt），即源空间和目标空间的特征空间相同，但观测样本X的边缘分布不同。

    2）任务T={Y，P（Y|X）}，当源和目标领域T不同时，存在两种情况：

    （1）Ys不等于Yt，源领域的标签空间与目标领域的标签空间不同；

    （2）P（Ys|Xs）不等于P（Yt|Xt），即源领域和目标领域的条件概率分布不同。