MLM 区别探索:掩码语言模型 和因果语言模型 (CLM)的区别( 三 )


接下来,大语言模型能否推断必要和充分原因?研究中考虑了15个具有挑战性的实际因果事件 。GPT3.5 在这种情况下失效了,但 GPT4 仍然达到了86%的准确率 。
这些发现意味着大语言模型可以作为工具,直接从混乱的人类文本中进行因果归因 。虽然大语言模型可以从文本中推断相关变量,但评估人类因素(例如,一个行动是否被认为合乎社会规范的?)对大语言模型来说仍然是艰难的任务 。在需要算法匹配人类直觉的 Big Bench 因果判断任务上,GPT-3.5/4获得了较低的准确率 。
3. 大语言模型推动因果推理的新前沿
总体而言,大语言模型为因果推理带来了新的能力,与现有方法相辅相成 。我们看到了因果推理充满前景的未来,大语言模型可以协助和自动化因果推理的各个步骤,在基于知识的因果推理和基于数据的因果推理之间无缝转变 。
图5. 在处理现实世界因果任务时,人类会在基于逻辑的因果推理和基于协变的因果推理之间转换 。现在,大语言模型能够协助和自动化因果推理的每一个步骤,帮助实现协变与逻辑因果推理的统一 。
大语言模型并不完美,具有不可预测的失效模式 。鲁棒性检测表明存在记忆的因果关系,这部分解释了大语言模型的表现 。因此,我们仍然需要原理性的因果算法,不过大语言模型可以用来扩展其范围和能力 。
展望未来,这项工作提出了更多问题而非给出答案 。大语言模型如何帮助重新发明或增强现有的因果任务,如何让大语言模型的推理更加鲁棒,是许多研究关注的问题 。
AI+ 读书会
AI+ 是近年兴起的将人工智能和科学相结合的一种趋势 。一方面是 AI for ,机器学习和其他 AI 技术可以用来解决科学研究中的问题,从预测天气和蛋白质结构,到模拟星系碰撞、设计优化核聚变反应堆,甚至像科学家一样进行科学发现,被称为科学发现的“第五范式” 。另一方面是for AI,科学尤其是物理学中的规律和思想启发机器学习理论,为人工智能的发展提供全新的视角和方法 。
集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣,共同发起以“AI+”为主题的读书会,探讨该领域的重要问题,共学共研相关文献 。读书会从2023年3月26日开始,每周日早上 9:00-11:00 线上举行,持续时间预计10周 。欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与 。
详情请见:
人工智能和科学发现相互赋能的新范式:AI+ 读书会启动
因果表征学习读书会
随着“因果革命”在人工智能与大数据领域徐徐展开,作为连接因果科学与深度学习桥梁的因果表征学习,成为备受关注的前沿方向 。以往的深度表征学习在数据降维中保留信息并过滤噪音,新兴的因果科学则形成了因果推理与发现的一系列方法 。随着二者结合,因果表征学习有望催生更强大的新一代AI 。集智俱乐部组织以“因果表征学习”为主题、为期十周的读书会,聚焦因果科学相关问题,共学共研相关文献 。欢迎从事因果科学、人工智能与复杂系统等相关研究领域,或对因果表征学习的理论与应用感兴趣的各界朋友报名参与 。
详情请见:
连接因果科学与深度学习的桥梁:因果表征学习读书会启动