为什么对ChatGPT、ChatGLM这样的大语言模型说“你是某某领域专家”( 九 ) _神经

最终，学习和计算不可约性之间存在一种根本的张力。学习实际上是通过利用规律性来压缩数据。但是计算不可约性意味着最终可能存在规律性的限制。
作为实际问题，可以设想在可训练的系统（如神经网络）中构建类似元胞自动机或图灵机的小型计算设备。实际上，这样的设备可以作为神经网络的良好“工具”，就像 |Alpha 对有益一样。但是，计算不可约性意味着不能指望“进入”这些设备并让它们学习。
或者换句话说，能力与可训练性之间存在着根本的权衡：你越希望系统能够真正利用其计算能力，它就越会展现计算不可约性，而可训练性就会越弱。而如果系统从根本上可训练，它就越难以进行复杂的计算。
（对于当前的，情况实际上更为极端，因为用于生成每个输出符号的神经网络是纯粹的“前馈”网络，没有循环，因此无法进行任何涉及非平凡“控制流”的计算。）
当然，人们可能会想知道是否实际上能够进行不可约计算并不重要。实际上，在人类历史的大部分时间里，这并不特别重要。但是我们现代的技术世界是建立在利用数学计算（至少如此）和越来越多的更一般计算的工程基础上的。如果我们观察自然界，它充满了不可约计算，我们正在逐步理解如何模拟和利用它们来满足我们的技术需求。
神经网络当然可以注意到自然界中的那些我们可能用“未经辅助的人类思维”也能轻易注意到的规律。但是，如果我们想解决数学或计算科学领域的问题，神经网络将无法做到这一点，除非它有效地将一个“普通”的计算系统作为“工具”来使用。
但是，这其中可能存在一些潜在的混淆。在过去，有许多任务（包括写作文章）被认为在某种程度上对计算机来说“基本上太难” 。而现在我们看到像这样的系统完成这些任务后，我们往往突然认为计算机一定变得非常强大，特别是超过了它们已经基本能够做到的事情（比如逐步计算元胞自动机等计算系统的行为）。
但这不是正确的结论。计算不可约性的过程仍然是计算不可约的，对于计算机来说仍然是基本困难的，即使计算机可以轻松计算它们的各个步骤。我们应该得出的结论是，像写作文章这样的任务，我们人类能够做到，但我们认为计算机无法做到的任务，在某种意义上实际上比我们想象的计算上更容易。
换句话说，神经网络在写作文章方面能够取得成功，是因为写作文章的问题比我们想象的“计算上更浅” 。从某种意义上说，这使我们更接近“拥有一个理论”，即我们人类如何成功地完成写作文章等任务，或者如何处理语言问题。
（注：最新的新闻显示，可以帮助论证数学定理：“加州理工和MIT研究者用证明数学定理的论文在数学圈引发了极大关注”，不知道 GPT 是怎么做到这一点的，也没有公开他们的论文和模型的秘密。）
如果你拥有足够大的神经网络，那么你可能能够做到人类能够轻松完成的任务。但是你无法捕捉到自然界总体所能做到的事情，或者说我们从自然界塑造出来的工具所能做到的事情。正是通过使用这些工具——无论是实用工具还是概念工具——我们在最近几个世纪里超越了“纯粹无辅助人类思维”的限制，从而为人类目的更好地利用了物理和计算宇宙中的资源。
05
—
嵌入（）的概念???
神经网络——至少在目前的设置中——基本上是基于数字的。因此，如果我们要将其用于处理文本等任务，就需要一种用数字表示文本的方式。当然，我们可以从简单的方法开始（就像一样），只需给字典中的每个单词分配一个数字。但还有一个重要的思想——例如的核心——超越了这一点。这就是“嵌入”（）的概念。我们可以将嵌入看作是通过一系列数字来尝试表示某个事物的“本质”，并且具有“相近事物”用相近的数字表示的属性。