5.3by Graph
将图的属性和结构信息作为信息补全的目标，学习图数据中的辅助属性来生成自监督信号，并将图属性预测任务作为图模型的预训练任务 。根据代理任务的不同设置，可以大致分为属性回归和属性分类两类 。
5.4by
如MAGE, GMAE, , HGMAE等等 。
6 PFMs for Other Data
这块就简单过一下了…
6.1 PFMs for
, vq-, , SPLAT
6.2 PFMs for Video
O3N, IIC, TCP, SeCO
6.3 PFMs for
文本和图像之间的多模态PFM可以分为单流模型和跨流模型两类 。单流模型是指在模型一开始就整合文本信息和视觉信息；跨流模型是指分别由两个独立的编码模块编码的文本信息和视觉信息，然后利用互注意力机制融合不同模态信息 。
6.4 SOTA Uni?ed PFMs
多模态任务下的预训练模型 。
7 Otheron PFMs
从模型效率（model ）和模型压缩（model ）两方面，去化简模型参数和结构，在不影响任务完成度的情况下，降低预训练模型对内存和计算资源的消耗，提高计算效率 。
7.1 Model Ef?
比如，设置了 Token （RTD）任务让判别器预哪个token被替换过 。这样就能训练到全部输入的token 。
7.2 Model7.3and
略
8and Open
略