四两拨千斤！AI大牛周明率澜舟团队刷新CLUE新纪录 _模型

刚刚，中文语言理解权威评测基准CLUE榜单，被“低调”刷新。
不同的是，不是大公司、不是超大模型……
一个新面孔，一个轻量化模型，首战即登顶，四两拨千斤。
CLUE近年来由巨头——腾讯、搜狗、华为、阿里达摩院轮番霸榜的格局，被首次打破。
澜舟科技-创新工场推出的孟子模型，以十亿参数完成了此前百亿、千亿参数模型刷新的纪录。
这也是澜舟科技首次对外曝光，背后团队负责人，正是AI大牛周明。
轻量化模型孟子？
孟子，基于澜舟团队自研技术研发的大规模预训练语言模型。
包括创新工场、上海交通大学、北京理工大学等单位参与联合研发。
可处理多语言、多模态数据，同时支持多种文本理解和文本生成任务，能快速满足不同领域、不同应用场景的需求。
孟子模型基于架构，仅包含十亿参数量，基于数百G级别涵盖互联网网页、社区、新闻、电子商务、金融等领域的高质量语料训练。
但谁也没想到，小模型却有大智慧，一经登场，打破格局。
CLUE，中文语言理解领域最具权威性的测评基准，涵盖文本相似度、分类、自然语言推理、阅读理解等共10项语义分析和理解类子任务。
该榜单竞争激烈，几乎是业内所有自然语言理解玩家必争之地。
【四两拨千斤！AI大牛周明率澜舟团队刷新CLUE新纪录】腾讯、搜狗、华为、阿里达摩院等更是轮番霸榜刷新纪录。

文章插图
而且随着大参数模型愈演愈烈，CLUE还渐有巨头垄断之势。
因为百亿、千亿甚至万亿参数的大模型，已然不再是创业或其他玩家可与之争锋。
万万没想到，澜舟科技-创新工场团队出手，四两拨千斤。
因为孟子，走的是基于轻量级、高效训练的研究路线，致力于构建十亿级别的小模型，充分发挥已有参数下的模型潜力，有利于快速、低成本地落地现实业务场景。
孟子预训练模型性能比肩甚至超越千亿大模型，在包含文本分类、阅读理解等各类任务上表现出色。
相对已有的中文语言模型，孟子模型实现了多项突破性进展：
当然，随着孟子一鸣惊人，也必然能让轻量化模型研究来到聚光灯下。
原理方法和应用？
在轻量化模型算法研究方面，基于自研的基于语言学知识、知识图谱和领域数据增强等技术，从模型架构（包括基础层表示和交互层机制）到预训练策略进行了全方位改进。
具体有四方面：
△孟子轻量化模型算法策略
基于以上算法策略，实现从语料中高效学习涵盖词级、句子级和语篇级知识，大幅提升语言模型提炼语言结构和语义信息能力，以及良好的领域迁移能力，适应广泛的产品应用场景。
另外，在的进展方面，如何将预训练模型用于各项任务？
澜舟团队也有总结，从数据增强、知识蒸馏、迁移训练、训练优化等方面展开了一些探索，进一步提升语言模型的性能：
而且孟子还已经展开了垂直化领域应用。
基于领域适应技术，孟子模型已深度垂直化赋能相应行业。典型的例子为适用于金融领域的孟子模型，领域适应策略主要包含两大方面：
澜舟方面还透露，孟子模型已在多个领域成功落地实践，衍生出多项行业领先的产品，涵盖文本生成、行业搜索、机器翻译等诸多领域。
并且毫无疑问的是，因为轻量级模型具有的模型参数较少、快速推断的特点，更易于线上部署和推广到移动设备中，自然不会局限于现有应用和场景，接下来还会有更广泛的研究和应用场景中。