ChatGLM-6B 大模型的前世今生

博主带您 Go to New World.?
个人主页——的博客
《面试题大全》文章图文并茂生动形象简单易学！欢迎大家来踩踩~
《IDEA开发秘籍》学会IDEA常用操作，工作效率翻倍~
希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！
文章目录Demo & API 低成本部署高效参数微调-6B 示例局限性协议引用原创声明
-6B
介绍
-6B 是一个开源的、支持中英双语的对话语言模型，基于Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
-6B 使用了和相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 -6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过体验更大规模的模型。
为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P- v2 的高效参数微调方法 (使用指南)，INT4 量化级别下最低只需 7GB 显存即可启动微调。
-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。
想让 -6B 更符合你的应用场景？欢迎参与反馈计划。
-6B 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。目前，本项目团队未基于 -6B 开发任何应用，包括网页端、安卓、苹果 iOS 及App 等应用。
尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 -6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导（详见局限性）。本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。
更新信息
[2023/06/25] 发布 -6B，-6B 的升级版本，在保留了了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，-6B 引入了如下新特性：
更强大的性能：基于初代模型的开发经验，我们全面升级了 -6B 的基座模型。-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于技术，我们将基座模型的上下文长度（）由 -6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 -6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。更高效的推理：基于 Multi-Query技术，-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K 。
更多信息参见 -6B 。
[2023/06/14] 发布，一项被接受于KDD 2023的研究工作，支持利用网络信息生成带有准确引用的长回答。
[2023/05/17] 发布 -6B，一个支持图像理解的多模态对话语言模型。
可以通过本仓库中的 .py 和 .py 来运行命令行和网页 Demo 。注意 -6B 需要额外安装和。更多信息参见 -6B 。
[2023/05/15] 更新 v1.1 版本，训练数据增加英文指令微调数据以平衡中英文数据比例，解决英文回答中夹杂中文词语的现象。