参数的硬共享机制是神经网络的多任务学习中最常见的一种方式。一般来讲，它可以应用到所有任务的所有隐层上，而保留任务相关的输出层。硬共享机制降低了过拟合的风险。事实上，文献证明了这些共享参数过拟合风险的阶数是N，其中N为任务的数量，比任务相关参数的过拟合风险要小。直观来将，这一点是非常有意义的。越多任务同时学习，我们的模型就能捕捉到越多任务的同一个表示，从而导致在我们原始任务上的过拟合风险越小。
每个任务都由自己的模型，自己的参数。我们对模型参数的距离进行正则化来保障参数的相似。文献 [6] 使用L2距离正则化，而文献 [7] 使用迹正则化（trace norm）。用于深度神经网络中的软共享机制的约束很大程度上是受传统多任务学习中正则化技术的影响。
大多数的多任务学习中，任务都是来自于同一个分布的。尽管这种场景对于共享是有益的，但并不总能成立。为了研发更健壮的多任务模型，我们必须处理那些不相关的任务。
早期用于深度学习的多任务模型需要预定义任务间的共享结构。这种策略不适合扩展，严重依赖于多任务的结构。早在1997年就已经提出的参数的硬共享技术在20年后仍旧是主流。尽管参数的硬共享机制在许多场景中有用，但是若任务间的联系不那么紧密，或需要多层次的推理，则硬共享技术很快失效。最近也有一些工作研究学习哪些可以共享，这些工作的性能从一般意义上将优于硬共享机制。此外，若模型已知，学习一个任务层次结构的容量也是有用的，尤其是在有多粒度的场景中。
一旦我们要做一个多目标的优化问题，那么我们就是在做多任务学习。多任务不应仅仅局限于将所有任务的知识都局限于表示为同一个参数空间，而是更加关注于如何使我们的模型学习到任务间本应该的交互模式。