风靡朋友圈的妙鸭相机,到底用了哪些底层技术?( 二 )


扩散模型也有其内在的缺点,如采样速度慢、对结构化数据处理能力较差,等等 。例如,扩散模型在将噪声分布逐步转换为数据分布的过程中需要大量调用神经网络,这就导致了生成高质量图片时采样时间较长 。后续大量的研究就是致力于提升扩散模型各个方面的性能,使扩散模型可以真正帮助人们高效解决现实问题 。《扩散模型:生成式AI模型的理论、应用与代码实践》一书将详细分析扩散模型的优缺点,并系统地讲解扩散模型的进一步发展 。
03
扩散模型应用
得益于扩散模型的强大性能,图片生成的应用 、DALLE·2、、妙鸭相机等在实际生产中都有利用扩散模型进行创造性内容生成 。

风靡朋友圈的妙鸭相机,到底用了哪些底层技术?

文章插图
这些应用程序利用扩散模型进行条件生成,即基于输入,引导、生成符合条件的内容 。这种引导可以是自然语句,可以是部分图像,也可以用低分辨率的图像作为引导,生成高分辨率的图像,等等 。
此外还有利用扩散模型生成语音、视频等各种模态数据的应用 。艺术创作者们可以使用这些应用进行直接创作,或者使用它来提供灵感 。在生成内容上进行修改可以大大提升工作效率 。
但同时,扩散模型的强大能力和广泛引用也导致了潜在的负面影响 。
AI的高效让部分创作者面临失业的风险;
扩散模型生成的内容存在版权问题、隐私问题和偏见问题;
AI生成的内容可能被用于有害的用途;
……
此外,扩散模型在科学研究领域也有应用,比如分子结构生成、分子动力学模拟 。扩散模型可以生成表示分子的3D表示、分子的图结构,或者二者同时生成,以及控制生成分子的性质 。这对于AI制药领域是又一大研究贡献 。
在工业界的应用有点云生成和补全、异常检测等 。
在医学领域的应用包括医学图像重建和病灶检测等 。
总的来看,扩散模型在各个领域正处于一个百花齐放的状态 。
《扩散模型:生成式AI模型的理论、应用与代码实践》一书也会详细介绍扩散模型在各个领域的应用研究 。
为了推进扩散模型的发展和应用,需要多个学科领域的合作,包括机器学习算法、深度生成学习理论、随机分析理论,各领域的应用研究、隐私保护、法律与监管要求等 。
目前扩散模型在各领域的发展和应用的介绍分散于论文和网络上,因此有必要在《扩散模型:生成式AI模型的理论、应用与代码实践》这本书中进行系统地介绍 。
【风靡朋友圈的妙鸭相机,到底用了哪些底层技术?】《扩散模型 : 生成式AI模型的理论、应用与代码实践》是一本从浅入深、全面系统地介绍扩散模型的书籍,其具备丰富的实践案例,以及前沿视角,受到一众专家、学者的认可、推荐 。