多任务学习入门教程


1 多任务学习入门介绍

    1.1 多任务学习的基本因素

2 多任务深度学习模型介绍

    2.1 多任务深度学习模型介绍

    2.2 多任务深度学习工程实现

    2.3 MMoE介绍

多任务学习简介

创建时间:2022-05-25 | 更新时间:2022-05-25 | 阅读次数:1191 次

多任务学习是机器学习中一个很有前景的领域,其目标是利用多个学习任务中所包含的有用信息来帮助为每个任务学习得到更为准确的学习器。我们假设所有任务(至少其中一部分任务)是相关的,在此基础上,我们在实验和理论上都发现,联合学习多个任务能比单独学习它们得到更好的性能。

根据任务的性质,多任务学习可以被分类成多种设置,主要包括多任务监督学习、多任务无监督学习、多任务半监督学习、多任务主动学习、多任务强化学习、多任务在线学习和多任务多视角学习。

利用历史数据中的有用信息来帮助分析未来数据的机器学习,通常需要大量有标签数据才能训练出一个优良的学习器。深度学习模型是一种典型的机器学习模型,因为这类模型是带有很多隐藏层和很多参数的神经网络,所以通常需要数以百万计的数据样本才能学习得到准确的参数。但是,包括医学图像分析在内的一些应用无法满足这种数据要求,因为标注数据需要很多人力劳动。在这些情况下,多任务学习(MTL)可以通过使用来自其它相关学习任务的有用信息来帮助缓解这种数据稀疏问题。

MTL 可以看作是让机器模仿人类学习行为的一种方法,因为人类常常将一个任务的知识迁移到另一个相关的任务上。例如,根据作者自身经验,打壁球和打网球的技能可以互相帮助提升。与人类学习类似,(机器)同时学习多个学习任务是很有用的,因为一个任务可以利用另一个相关任务的知识。 MTL 也与机器学习的某些其它领域有关,包括迁移学习、多标签学习和多输出回归,但 MTL 也有自己不同的特点。比如说,类似于 MTL,迁移学习的目标也是将知识从一个任务迁移到另一个任务,但不同之处在于迁移学习希望使用一个或多个任务来帮助另一个目标任务,而 MTL 则是希望多个任务彼此助益。当多任务监督学习的不同任务使用了同样的训练数据时,这就变成了多标签学习或多输出回归。从这个意义上看,MTL 可以被看作是多标签学习和多输出回归的一种泛化。

与传统迁移学习、领域自适应等方法不同,多任务学习是一种并行迁移模式。传统迁移学习强调学习的先后顺序,即将在一个领域学到的知识迁移到另一个领域,知识迁移的过程是串行进行。而在多任务学习中,任务之间的信息相互共享,知识在不同的任务中互相迁移,因此多任务学习也被叫做并行迁移学习。多任务学习方法通过多任务信息共享提升整体的学习效果,这对于小样本上的学习尤其有效。假设有大量的小样本学习任务,多任务学习方法可以充分利用多个小样本的信息,提升多任务整体的学习效果。