OpenAI CEO公布AGI规划，谨慎思考超级智能风险与人类未来 _模型

成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。
智东西2月25日消息，CEO萨姆·阿尔特曼（Sam ）发布博客文章，分享对通用人工智能（AGI）的当前和后续规划，以及如何驾驭AI安全风险、转向营利性公司结构后如何分配收益和治理等话题。
阿尔特曼强调的使命是确保AGI造福全人类，AGI如果被成功创造出来，可通过增加丰富度、推动全球经济发展以及帮助发现改变可能性极限的新科学知识，来帮助我们提升人类。
他认为短期内，成功应对AI部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环；长期来看，过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。
他还重申的公司结构与正确的激励措施保持一致，强调由“非营利组织”管理、为人类利益服务的原则能凌驾于任何营利利益之上、股东可获得的回报有上限。
博客地址：
01.
最关心的AGI三原则
博客文章写道，AGI有潜力赋予每个人不可思议的新能力；我们可以想象这样一个世界，所有人都可以在几乎所有认知任务中获得帮助，为人类的聪明才智和创造力提供巨大的力量倍增器。
另一方面，AGI也会带来滥用、严重事故和社会混乱的风险。由于AGI的优势很大，不认为社会永远停止其发展是可能的或可取的；社会和AGI的开发者必须想办法把它做好。
阿尔特曼在文中阐明了最关心的原则：
1、希望AGI能让人类在宇宙中最大限度地繁荣发展。不期望未来是个不合格的乌托邦，但希望最大化好，最小化差，让AGI成为人类的放大器。
2、希望广泛和公平地分享AGI的好处、获取和治理。
3、希望成功应对巨大风险。在面对这些风险时，理论上看似正确的事情在实践中往往表现得比预期的更奇怪。认为必须通过部署功能较弱的技术版本来不断学习和适应，尽量减少“一次成功”的情况。
02.
短期内，为AGI做好的三项准备

文章插图
【OpenAI CEO公布AGI规划，谨慎思考超级智能风险与人类未来】认为有三件事很重要，可为AGI做准备。
首先，当不断创建更强大的系统，希望部署它们，并获得在现实世界中操作它们的经验。相信这是谨慎管理AGI存在的最佳方式，逐渐过渡到AGI世界比突然过渡要好。期望强大的AI能够加快世界的进步速度，而且最好是逐步适应这一点。
渐进式的过渡让人们、政策制定者和机构有时间了解正在发生的事情，亲身体验这些系统的好处和缺点，调整经济并实施监管。它还允许社会和人工智能（AI）共同进化，让人们在风险相对较低的情况下共同找出自己想要的东西。
目前认为，成功应对AI部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。社会将面临AI系统被允许做什么、如何消除偏见、如何处理工作岗位流失等重大问题。最佳决策将取决于技术发展路径，就像任何新领域一样，到目前为止，大多数专家预测都是错误的。这使得脱离实际进行规划非常困难。
总的来说，认为在世界上更多地使用AI会带来好处并希望推动它（通过将模型放入 API中、将它们开源等）。相信，民主化的获取也将带来更多更好的研究、分散的权力、更多的利益以及更多的人贡献新的想法。
随着其系统越来越接近AGI，对模型的创建和部署变得越来越谨慎。其决定将需要比社会通常对新技术应用的谨慎得多，也比许多用户希望的谨慎得多。AI领域的一些人认为AGI（及后继系统）的风险是虚构的；如果结果证明他们是对的，会很高兴，但会以认为这些风险存在的方式来运作。