LeCun再爆金句：ChatGPT？连条狗都比不上！语言模型喂出来的而已( 二 ) _模型

1月28日，LeCun梅开二度，继续炮轰。
他表示，「大型语言模型并没有物理直觉，它们是基于文本训练的。如果它们能从庞大的联想记忆中检索到类似问题的答案，他们可能会答对物理直觉问题。但它们的回答，也可能是完全错误的。」
而LeCun对LLM的看法一以贯之，从未改变。从昨天的辩论就可以看出，他觉得语言训练出来的东西毫无智能可言。
今年2月4日，LeCun直白地表示，「在通往人类级别AI的道路上，大型语言模型就是一条歪路」。
「依靠自动回归和响应预测下一个单词的LLM是条歪路，因为它们既不能计划也不能推理。」
当然，LeCun是有充分的理由相信这一点的。
这种大语言模型是「自回归」。AI接受训练，从一个包含多达14000亿个单词的语料库中提取单词，预测给定句子序列中的最后一个单词，也就是下一个必须出现的单词。
在上个世纪50年代开展的相关研究就是基于这一原则。
原则没变，变得是语料库的规模，以及模型本身的计算能力。
LeCun表示，「目前，我们无法靠这类模型生成长而连贯的文本，这些系统不是可控的。比如说，我们不能直接要求生成一段目标人群是13岁儿童的文本。
其次，生成的文本作为信息来源并不是100%可靠的。GPT的功能更像是一种辅助工具。就好比现有的驾驶辅助系统一样，开着自动驾驶功能，也得把着方向盘。
而且，我们今天所熟知的自回归语言模型的寿命都非常短，五年算是一个周期，五年以后，过去的模型就没有人再会用了。
而我们的研究重点，就应该集中在找到一种是这些模型可控的办法上。换句话说，我们要研究的AI，是能根据给定目标进行推理和计划的AI，并且得能保证其安全性和可靠性的标准是一致的。这种AI能感受到情绪。」
要知道，人类情绪的很大一部分和目标的实现与否有关，也就是和某种形式的预期有关。
而有了这样的可控模型，我们就能生成出长而连贯的文本。
LeCun的想法是，未来设计出能混合来自不同工具的数据的增强版模型，比如计算器或者搜索引擎。
像这样的模型只接受文本训练，因此对现实世界的认识并不完整。而想要在此基础上进一步发展，就需要学习一些和整个世界的感官知觉、世界结构有关的内容。
然而好玩儿的是，Meta自己的模型.ai上线三天就被网友喷的查无此人了。
原因是胡话连篇。
笑。
参考资料：