LLMs 收藏！大型语言模型大盘点，含源码及Demo地址（附链接）( 二 ) _lora

链接：
DEMO地址：
由前研究员所在的团队，以及LAION、.ai团队共同打造。包含200亿个参数，用GPT-3的开源版本GPT-NoX-20B进行微调。同时，不同的强化学习，采用一个60亿参数的审核模型，对不合适或者是有害的信息进行过滤，确保生成内容的安全和质量。
链接：
BELLE
基于，实现基于Bloom、LLama的监督微调。的种子任务都是英语，收集的数据也都是英文，该开源项目是促进中文对话大模型开源社区的发展，针对中文做了优化，模型调优仅使用由生产的数据（不包含任何其他数据）。项目包含以下内容：
链接：
PaLM-rlhf-
其号称首个开源平替项目，其基本思路是基于谷歌语言大模型PaLM架构，以及使用从人类反馈中强化学习的方法（RLHF）。PaLM是谷歌在今年4月发布的5400亿参数全能大模型，基于系统训练。其可以完成写代码、聊天、语言理解等任务，并且在大多数任务上具有强大的少样本学习性能。同时采用了一样的强化学习机制，能让AI的回答更加符合情景要求，降低模型毒性。
链接：
-lora
-lora是斯坦福大学的另一个巨作，其使用LoRA（low-rank ）技术复现了的结果，用了一个更加低成本的方法，只在一块RTX 4090显卡上训练5个小时得到了一个水平相当的模型。而且，该模型可以在树莓派上运行。在该项目中，其使用了 Face的PEFT来实现廉价高效的微调。PEFT 是一个库（LoRA 是其支持的技术之一），可以让你使用各种基于的语言模型并使用LoRA对其进行微调，从而使得在一般的硬件上廉价而有效地微调模型。
链接：
尽管和-lora取得了较大的提升，但其种子任务都是英语，缺乏对中文的支持。一方面除了以上提到Belle收集到了大量的中文语料，另一方面基于-lora等前人工作，来自华中师范大学等机构的三位个人开发者开源的中文语言模型骆驼 ()，单卡就能完成训练部署。目前该项目释放了两个模型 -lora-7b-0.1、-lora-7b-0.3，还有一个模型在计划中。
??????
链接：
Dolly
Dolly在的启发下，用数据集，在GPT-J-6B上实现微调，由于Dolly本身是一个模型的“克隆”，所以团队最终决定将其命名为“多莉” 。这种克隆式在启发下越来越多，总结起来大致采用开源的数据获取方式，在6B或者7B规模大小的旧模型上进行指令微调，获得类似的的效果。这种思想很经济，也能迅速模仿出的韵味来，广受欢迎，一经推出star爆棚。
链接：

文章插图
和 -
斯坦福学者继推出后，联手CMU、UC伯克利等，推出一个全新模型——130亿参数的（俗称小羊驼、骆马）。仅需300美元就能实现 90%的性能。是通过在收集的用户共享对话上对LLaMA进行微调训练而来，测试过程使用GPT-4作为评判标准，结果显示-13B在超过90%的情况下实现了与和Bard相匹敌的能力。
UC伯克利LMSys org近期又发布了70亿参数的，不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！
链接：
- 地址：
爆火后，都在寻找通往圣殿的快捷之路，一些类开始出现，尤其是低成本效仿成为一个热门途径。就是在这种需求场景下诞生的产物，他使得在3090这样的普通显卡上也能炼大模型。该项目由香港科技大学统计和机器学习实验室团队发起，致力于建立一个全开放的大模型研究平台，支持有限机器资源下的各类实验，并且在平台上提升现有的数据利用方式和优化算法效率，让平台发展成一个比之前方法更高效的大模型训练系统。