大模型产业格局的分析、文本音频生成、语言模型替代知识图谱、天气气候预训练和通用蛋( 三 ) _模型

简介：能否将新概念注入已训练好的生成模型，同时尊重其现有结构和知识？作者提出了一项新任务：域扩展——来解决这个问题。给定一个预训练的生成器和新颖（但相关）的域，作者扩展生成器以和谐地联合建模所有新旧域。作者发现潜在空间提供了未使用的“休眠”方向，这不会影响输出。这提供了一个机会：通过“重新利用”这些方向，作者可以在不扰乱原始表示的情况下表示新的域。实验表明：经过预训练的生成器有能力添加多个、甚至数百个的新领域！基于作者的扩展方法，一个“扩展”模型可以取代许多特定领域的模型、而无需扩展模型大小。
论文下载：
源码下载：
HUB地址：
标题：爱尔兰科学基金会机器学习研究培训中心、都柏林大学 | : Few Shot（小样本的异常检测）
作者：Niamh ,Hagos,, 等
推荐理由：本文研究异常检测的小样本场景，并在业界率先提出Lstop止损表示的方法。
简介：近年来，异常检测领域取得了相当大的进步，但代价是训练管道越来越复杂。此类技术需要大量训练数据，导致计算量大的算法。作者提出了：小样本异常检测---，一种深度单类异常检测算法；该算法已在正常类的“少量”示例上进行训练，而没有异常类的示例。作者将描述为低复杂度，因为它的数据要求低且训练时间短。借助基于网络的架构的预训练权重。通过消融研究，作者展示了本文提出的损失“止损”如何提高的稳健性。实验表明：在基准数据集 MNIST、CIFAR-10、F-MNIST 和 MVTec AD 上的表现达到了最先进的水平，同时仅对 30 个正常样本进行了训练（这是现有方法训练数据的一小部分）。最值得注意的是：在仅存在少量正常类示例的场景中甚至优于高度复杂的模型。
论文下载：
HUB地址：
生命科学研究
标题：微软、UCLA | : Amodel forand （：天气气候基础模型）
作者：Tung ,等
推荐理由：是第一个可以有效地使用异质气候数据集进行扩展的数据驱动预训练模型。
简介：现有的天气和气候建模方法的问题在于，或者是计算密集型的物理信息数值模型，或者使用同质的气候数据集来训练特定的时空任务，因此缺乏数值模型的通用性。本文展示了，一个用于天气和气候科学的灵活和通用的深度学习模型，可以使用跨越不同变量、时空和物理基础的异质数据集来训练。用新的编码和聚合模块扩展了架构，高效计算同时保持通用性。在来自CMIP6的气候数据集上用自监督方式进行了预训练，可以被微调以解决更大范围气候和天气任务，包括那些涉及大气变量和预训练中未见的时空尺度的任务。与现有的数据驱动的基线模型相比，即使在较低的分辨率和计算预算下进行预训练，依旧在天气预报和气候预测的基准上有更高的性能。
论文下载：
HUB地址：
标题：、英伟达 | ProT-VAE:for（ProT-VAE: 用于蛋白设计的蛋白变分自编码器）
作者：Rama ,B. Costa,L. 等
推荐理由：ProT-VAE是经过实验验证的通用蛋白设计方法。
简介：本文介绍了一个深度生成模型，称为ProT-VAE，它融合了变异自动编码器的优点，以学习可解释的、低维的隐嵌入和生成解码的条件序列设计。该模型在通用预训练的编码器和解码器堆栈之间添加了一个轻量级的、针对特定任务的变分自编码器，以无监督或半监督的方式进行无对齐训练以促进对功能序列的理解、优化和生成设计。本文使用英伟达公司的框架，验证了其在功能预测和设计新型蛋白质序列方面的性能，并进行了实验合成和测试。结果显示ProT-VAE隐空间展示了和进化与功能的关联，可以有条件地产生具有高功能和大量序列多样性的新序列。本文预计，该模型可以提供一个可扩展的通用平台，用于机器学习指导的定向进化，以数据驱动的方式设计具有功能的新型合成蛋白质。