semantic-structure

起源

当很多的概念放在一起的时候，我们一般会怎么看待这些语义呢？很多时候我们并不关系这些语义之间是否有关系，或者说语义之间的关系并不需要我们作为一种监督信号或者是学习规则加入到整个模型中。例如在物体识别中，我们并不关心语义之间的关系，而是建立一个统一的模型。虽然我们最终的特征中蕴含了这种语义的结构信息，但是这还是不够明显的。怎么去显式的表示这种语义的结构，并能很好的去运用它，这就是我的目的。

物体模型

在物体的模型中，尤其是部件模型，是对语义建模的最好的显式表达。从DPM开始的星型结构模型等一系列的工作，我们可以很好的感受，概念之间的结构化关系，而这种结构化关系又很好的辅助了任务的完成。还有 and-or图，这种语义结构构建规则，在很多方面已经得到了很好的应用。

上下文

随着深度模型的不断发展，而深度模型通过简单的卷积结构并不能很好的利用深度特征。而上下文，也就是特征中空间相关的特征的推理，并不能有效的被卷积建模。所以在这个过程需要显式的规则（机制）的约束，才能更有效的建模上下文信息。

注意力

除了上下文，注意力可以看作是上下文的另一个代名词。注意力在最开始的时候是强调不通过模态之间的关联性的，但是随着注意力机制被广泛运用在不同的领域，自注意力在单一任务中被大量使用。其实，自注意力可以说是一种上下文建模的机制。

多任务学习

多任务学习，就是将不同的任务融合如统一的一个框架。而任务之间的关系决定了这些任务能不能融合，应该怎么融合。

多监督

同一个任务，为了使得模型获得更好的结构，我们通常会迭代的优化。而对于有监督的学习，我们通常会设计更多的监督信号去使得这个模型能逐步的缩小误差。或者我们加入的监督信号并不是一样的，这样能使得模型更好的学习目标。

在这些问题中，语义的结构是至关重要的。无论是以显式的监督信号，还是以规则的方式，都对最终的任务起到重要的影响因素。