深度学习在自然语言处理中的应用( 五 )


网络结构
该论文介绍了一种深度LSTM神经网络,包括8个编码和解码层,实现端到端的训练过程 。这套系统可以拆分为三部分:编码RNN,解码RNN和注意力模块 。从宏观来说,编码器将输入的句子表示为向量的形式,解码器生成输出表示,注意力模块则是在解码阶段告诉解码器该聚焦哪部分内容(这就是利用句子整体语境的思想来源):

深度学习在自然语言处理中的应用

文章插图
论文的剩余部分主要讨论大规模部署这套系统所面临的挑战,包括计算资源消耗、延迟,以及高并发量等等 。
总结
笔者认为,今后深度学习会在客户服务机器人、机器翻译以及复杂的问答系统发挥作用 。特别感谢 以及斯坦福课程老师提供的精彩课堂和幻灯片 。