OpenAI Sam Altman对AI的最新思考：5( 四 ) _开源中国

Sam：
是的，我认为有很多，我认为从现在到超级智能之间的大部分新工作都会使这个概率上升或下降。
：
那么，你特别关注什么？有什么你特别想知道的事情吗？
Sam：
首先，我不认为强化学习人工智能（RLHF）是正确的长期解决方案。我不认为我们可以依赖它。我认为它是有帮助的，它当然使这些模型更容易使用。但你真正想要的是理解模型内部的运作情况，并能够使之对齐，比如说，精确地知道哪个电路或人工神经元集合在发生什么，并能够以一种能够给模型性能带来稳定改变的方式调整它。
还有很多超越这个的事情，但如果我们能让这个方向可靠地工作，我认为每个人的灾难概率（P Doom）都会大幅降低。
：
你认为有足够的可解释性工作正在进行吗？
Sam：
没有。
：
为什么不呢？
Sam：
你知道，很多人都说他们非常担忧AI的安全，所以这在表面上看起来很奇怪。
大部分声称他们真的很担心AI安全的人，似乎只是在推特上花时间说他们真的很担心AI的安全，或者做很多其他的事情。
有一些人非常担心AI的安全，并且正在做出很好的技术工作。我们需要更多这样的人，我们肯定在内部投入更多的努力，让更多的技术人员去研究这个问题。
但是，世界需要的不是更多在上发帖写长篇大论的AI安全人员，而是更多愿意做技术工作，使这些系统安全且可靠地对齐的人。我认为这些事情正在发生，优秀的机器学习研究者转变焦点，以及新人进入这个领域，两者的结合。
：
这次通话上的很多人都是活跃的慈善家，他们中的大多数人在上发布的内容不是很多。你知道，他们听到这个交流，可能会想，哦，也许我应该帮助资助可解释性领域的一些事情。
如果他们有这种想法，下一步应该做什么？
Sam：
我认为一个还没有做出足够尝试的策略是，给单个人或小团体提供资助。
这些人非常技术性，并且想要推动技术解决方案，也许他们正在读研究生或者刚毕业，或者正在读本科。我认为尝试这个是非常值得的，他们需要访问到非常强大的模型，正在尝试开展一些项目来支持独立的对齐研究者，但我认为给这些人提供财务支持是非常好的一步。
：
此外，你认为这个领域在多大程度上受技能瓶颈的限制？也就是说，有些人可能具备所需的内在特性，但可能没有所需的四年或者更长时间的学习经历，这对他们的有效性也产生了影响。
Sam：
我认为，如果有一个聪明的人，他已经学会了如何做好研究，并且具有正确的心态，那么只需要大约六个月的时间就能让他从一个聪明的物理研究者变成一个有成果的AI研究者。所以我们在这个领域还没有足够的人才，但是这个很快就会到来。我们在有一个项目，就是做这个的，我对它的效果感到惊讶。
情感对话机器人：未来的人类可能有更多AI朋友而不是人类朋友
：
似乎很快我们将拥有，嗯代理人，你可以以非常自然的方式与之对话，低延迟全双工（虚拟人可以进行听和说），你可以像打断整个事情一样打断它们。显然，我们已经看到了像和这样的产品，你知道，即使是这些初期的产品在这个方向上也取得了相当惊人的进展。
我认为这些可能是一项巨大的成就，也许我们正在大大低估它，尤其是一旦你可以通过语音进行对话。你认为这样对吗？如果是这样，你认为可能的后果是什么？
Sam：
是的，我确实认为是对的。
最近有人对我说过一句印象深刻的话，他们相当确定，他们的孩子将来会有更多的AI朋友而不是人类朋友。至于后果，我不知道会是什么样子。