Shared-Bottom model：多任务的学习的本质在于共享表示层，并使得任务之间相互影响，在预测的目标之间的相关性比较高的情况下（比如：猫分类和狗分类，他们通常会有比较接近的底层特征，比如皮毛、颜色等等），这样参数共享层不会带来太大的损失，参数共享层能够加强参数共享，多个目标的模型可以联合训练，减小模型的参数规模，防止模型过拟合。
Multi-gate MoE model：底层特征共享方式的一大特点是在任务之间都比较相似或者相关性比较大的场景下能带来很好的效果，归纳偏置的作用也能够很好的发挥出来，而对于任务间差异比较大的场景，这种共享结构就有点捉襟见肘了。MMoE为每一个模型目标设置一个gate，所有的目标共享多个expert，每个expert通常是数层规模比较小的全连接层。gate用来选择每个expert的信号占比。每个expert都有其擅长的预测方向，最后共同作用于上面的多个目标。
https://zhuanlan.zhihu.com/p/404536473