OpenAI Sam Altman对AI的最新思考：5( 三 ) _开源中国

：
如果它被建立了，明天就存在了，那么它应该首先做什么呢？
Sam：
任何超过我们设定的阈值的系统——实现这个最容易的方法是计算阈值（最好的方法是能力阈值，但这更难以衡量）——任何超过这个阈值的系统，我认为都应该接受审核。应该让这个组织有完全的可视化权限，要求在发布系统之前通过某些安全评估。那将是第一件事。
：
有些人可能会说，我不知道该如何描述这种情况，但让我们说，更好战的一方可能会说，这一切听起来都很好，但是中国不会这么做，因此，我们只会束缚自己。因此，这个主意在表面上看起来不如它看起来的好。
Sam：
有很多人对中国会或不会做什么发表了非常强硬的言论，但他们从未去过中国，也从未与过去曾经与中国进行过外交工作的人交谈过，他们对复杂的高风险国际关系几乎一无所知。我认为这显然非常困难，但我也认为没有人想要摧毁整个世界，所以至少有理由在这里尝试一下。
我认为这里有一些不寻常的事情，这就是为什么从过去任何一种技术类比中学习都是危险的。
这里有一些不寻常的事情，当然有能源签名和所需能源的数量，但制造最有能力的GPU的人并不多，你可以要求他们都安装一种监测设备，如果你正在与超过10，000个其他GPU进行通信，那么你就必须（接受监管）。
无论如何，我们都有选择的余地。
后续的AI发展：开源的经济应用和封闭源模型的超级智能探索并行
：
今年对我来说，一个大的惊喜就是开源模型的进步，特别是最近60天左右的疯狂进步。
你认为，一年后开源模型会有多好？
Sam：
我认为这里将会有两个发展方向，一是超级规模化的最好的封闭源模型，二是开源社区的进步，可能（开源）会落后几年或者说多几年。但我认为我们将会生活在一个有着非常强大的开源模型的世界，人们会用它们来做各种各样的事情，整个社区的创造力将会让我们所有人感到惊讶。
然后还有那些拥有巨大集群的人能做什么的前沿（研究），那将会非常遥远。
我认为这是好事，因为我们有更多的时间去解决一些更恐怖的事情。
：
David Luan（前工程副总裁）向我阐述了，经济有用的活动集合，理论上是所有可能活动的子集，而相当好的模型可能足以解决大部分的第一套活动。因此，可能超大型的模型在科学上非常有趣，也许你需要它们来做一些事情，比如推动AI的进步，但是对于大多数的实用日常案例，可能一个开源模型就足够了。你认为这个未来有多大可能性？
Sam：
我认为对于许多超级经济价值的事情来说，这些较小的开源模型将足够使用。但你刚刚提到了我想说的一件事，那就是帮助我们发明超级智能，那是一个非常经济有价值的活动，就像治愈所有的癌症或发现新的物理规律等等，这些都将首先由最大的模型来实现。
：
现在应该开源Llama吗？
Sam：
现在这个点上，可能应该。
：
他们应该采用开源他们的基础模型/语言模型，还是只是特别的Llama呢？
Sam：
我认为的AI策略在最好的情况下也只能说是混乱的，但我认为他们现在开始非常认真，并且他们有非常能干的人，我预计他们很快就会有更连贯的策略。我认为他们将会是一个令人惊讶的新真正的玩家。
AI的安全性：大家都在指责AI不安全，但没人给出解决方法
：
有没有什么新的发现可能会显著改变你对灾难性结果的可能性估计，无论是提高还是降低它？