下载PDF 文本嵌入的经典模型与最新进展( 三 )


在 MILA 和的ICLR 2018论文(via Large Scale Multi-Task  , )中 ,  等人观察到 , 为了能够泛化到各种不同的任务中 , 对同一句子的多个方面进行编码是必要的 。
因此 , 作者利用一对多的多任务学习框架 , 通过在多个任务之间切换来学习通用句子嵌入 。选择的 6 个任务(Skip- 模型预测上下文、神经网络机器翻译、句法分析和自然语言推理)共享了由双向 GRU 获得的相同的句子嵌入 。实验表明 , 当添加多语言神经机器翻译任务时 , 可以更好地学习语法属性 , 通过解析任务学习长度和词序并且训练自然语言推断编码语法信息 。
的通用句子编码器() , 于2018年初发布 , 采用相同的方法 。他们的编码器使用一个转换网络 , 该网络经过各种数据源和各种任务的训练 , 目的是动态地适应各种自然语言理解任务 。他们也给 提供了一个预训练的版本 。
总结