EasyNLP带你实现中英文机器阅读理解( 六 )


# 训练! bash run_train_eval_predict_user_defined_local_zh.sh 0 train# 预测! bash run_train_eval_predict_user_defined_local_zh.sh 0 predict
模型训练好之后,我们可以对任意中文文本进行阅读理解,只要将文本转成符合上述模型输入的格式,添加相应的问题,便可使用模型进行预测并得到答案 。以下为新华社最新关于“杭州亚运会倒计时一周年”的新闻稿件,我们以这一稿件作为篇章文本,人工添加了两个问题:“杭州什么时候发布了《杭州市亚运城市行动计划纲要》?” & “今年9月底全市快速路总里程将达到多少?”,通过模型预测,便可得到正确的结果:“2020年4月” & “480公里” 。
CN_012020年4月杭州什么时候发布了《杭州市亚运城市行动计划纲要》?新华社杭州9月22日电(采访人员商意盈夏亮)竞赛场馆全部竣工并完成赛事功能验收,“迎亚运”城市基础设施建设迈入快车道,亚运场馆提前开放掀起全民健身热潮……23日,延期后的杭州亚运会将迎来倒计时一周年,各项筹备工作也结出累累硕果,“天堂之城”再次蓄势待发 。办好一个会,提升一座城 。2020年4月,杭州发布了《杭州市亚运城市行动计划纲要》,其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动 。随着亚运的脚步日益临近,杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线(19号线)等“两点两线”重大项目正式投运 。根据杭州市城乡建设委员会发布的信息,预计到今年9月底全市快速路总里程将达到480公里 。住在这里的人们正切身体会到悄然发生的变化——交通方便了,道路变美了,城市基础设施也愈发完善 。CN_02480公里今年9月底全市快速路总里程将达到多少?新华社杭州9月22日电(采访人员商意盈夏亮)竞赛场馆全部竣工并完成赛事功能验收,“迎亚运”城市基础设施建设迈入快车道,亚运场馆提前开放掀起全民健身热潮……23日,延期后的杭州亚运会将迎来倒计时一周年,各项筹备工作也结出累累硕果,“天堂之城”再次蓄势待发 。办好一个会,提升一座城 。2020年4月,杭州发布了《杭州市亚运城市行动计划纲要》,其中包括基础设施提升、绿水青山守护、数字治理赋能等八项具体行动 。随着亚运的脚步日益临近,杭州西站、萧山国际机场三期、合杭高铁湖杭段、机场轨道快线(19号线)等“两点两线”重大项目正式投运 。根据杭州市城乡建设委员会发布的信息,预计到今年9月底全市快速路总里程将达到480公里 。住在这里的人们正切身体会到悄然发生的变化——交通方便了,道路变美了,城市基础设施也愈发完善 。
英文机器阅读理解
同样支持英文机器阅读理解,只需要在ers中指定=en,即可指定英文文本预处理的相应配置 。之后便可选择中已集成好的英文预训练语言模型,如 bert-base-、bert-large- 等,进行机器阅读理解的训练与预测 。中集成了丰富的预训练模型库,如果想尝试其他预训练模型,如、等,也可以在ers中进行相应修改,具体的模型名称可见模型列表 。
模型的数据载入、训练、评估、预测部分代码调用方式与上述中文机器阅读理解中完全一致,已将中英文差异性处理的代码集成在各部分函数中,用户只需简单指定参数=en/zh,即可自如切换中英文相应配置 。
我们对 bert-base- 和 bert-large- 两个模型分别在英文机器阅读理解数据上进行了 ,模型结果如下:
英文EMF1
bert-base-
76.64
85.33
bert-large-
79.59
87.68
与中文机器阅读理解一样,用户可以通过带参数运行main.py(指定=en和相应的),一步执行所有训练/评估/预测操作 。