Stealing Large Language Models: 关于对ChatG _模型

?作者 |Hebe
很高兴能和大家分享我们组关于针对 GPT3.5 等背后的模型窃取（Model/ Model）的一些研究成果，目前我们已经将文章开源到了 arvix 上，大家有兴趣的可以访问，简单来讲，我们首次对在黑盒条件下的大模型窃取做了一系列的研究，发现通过较小模型可以在特定代码相关的任务上逼近甚至超过大模型的能力。
论文标题：
On theoffor LargeCode
论文链接：
我们研究的意义在于：我们指出了用中等规模的模型去部分窃取大模型在特定任务上的性能是可行的，为无法承担训练超大模型的公司/个人提供了解决方案，同时也对未来模型保护提供了一些见解。
写在前面
为啥要做的模型窃取？
原因有二：
1.并没有开源自己的模型。作为的知识产权，这是他们能向公众收费的基石，但是同时也让这件事看上去没有那么公平。
2. 大模型的训练成本已经达到了无法承担的地步。几百张，几千张卡对于大部分中小公司和个人来讲，都是可望而不可即的。
为啥模型窃取能够奏效？
众所周知，在三月初开放了新的 API（gpt-3.5-turbo），和原有的系列成本仅仅为原来的 1/10. 然而其模型效果，这里引用官方说法是“几乎差不多” 。这说明在知道其内部细节的情况下，对模型进行剪枝/压缩/裁剪是完全可行的。另外更多的说明可以参考我们论文的引用。
背景介绍
1.1 大模型（Large）
原文讲了很多，我们这里主要介绍下两种范式和模型的突变能力（）
两种范式：分别是 - 以及
模式是指在一个大型数据集上进行预训练，然后在一个小型任务上进行微调。这种方法的优点是可以利用大量数据进行训练，从而学习到更加通用的特征表示，同时又可以在小型任务上进行微调，以适应具体的应用场景。
模式是指在一个大型文本数据集上进行预训练，然后通过给定的来生成文本。这种方法的优点是可以直接生成符合要求的文本，并且可以通过修改来控制生成的文本的风格和内容。两种方法的区别在于模式主要用于分类、回归等任务，而模式主要用于生成文本。
同时模式会产生一个能够直接解决具体任务的模型，而模式则主要用于生成文本。以往以 Bert 为代表的都是模式，而 GPT3 等大模型都是模式。
突变能力：研究发现随着模型 size 的增加，模型的理解上下文能力也相应的增加了。
以 wei 等人从 2022 年开始的一系列研究表明 => 1. 模型大到一定程度以后，其理解能力以及在各个方面的能力都有巨大的提升 [1]

文章插图
▲of large
1.2 思维链（CoT）
关于思维链，知乎上已经有许多优秀的回答了，例如思维链：
Yao Fu [2] 总结了四种思维链的形式，我这里简单借用下：
▲Multi-Step
1.3 模型窃取攻击
模型窃取攻击作为近些年的热点问题，也可以分为两类：
1. 灰盒攻击：这种攻击往往有预先的假定，例如数据的分布情况，模型的架构等等；
2. 黑盒攻击：攻击者什么都不知道
▲ 本文研究和以往工作的对比
以往的工作和我们主要有以下三点不同：
【Stealing Large Language Models: 关于对ChatG】1. 窃取对象不同: 我们专注于用中等规模的模型去窃取大模型的部分能力，而大部分工作的和model 是相近规模的；
2. 任务不同：以往工作[3,4]往往关注图像分类等分类任务，针对生成任务的仅有机器翻译以及tasks；
3. 攻击假设前提不同：如上文所说，我们不会假定攻击者有任何 Prior 知识。