ICASSP 2022 | 用于多模态情感识别的KS-Transformer( 二 ) _权重

2）探讨最优的稀疏度
为了探讨参数k的最优值，我们将k从10%变到90%，其结果如下：
我们发现，因为是一个相对较小的数据库，当k的值大于50%时，模型开始过拟合，并维持UA值不变。而对于大规模的数据集LSSED，当k的值大于50%时，UA值因为噪声信息的引入而快速下降。相反，当k小于50%时，由于模型使用到的信息太少，只能收敛到一个较差的局部点，性能也会变差。因此，我们将k的值设置为50% 。
3）多模态交互分析
使用CCAB的数量代表不同模态之间的交互次数。当CCAB的数量从0增加到3时，模型的性能逐步提升。当数量为3时，模型取得了最好的性能。这也说明模态之间进行多次交互的重要性。
在人机协作的时代，人机情感交互变得尤为重要，也是科技社会人文关怀的重要体现。未来，优必选科技与华南理工大学将持续在多模态情感计算、类人情感交互等类人情感智能的关键领域开展高水平合作研究，促成类人情感智能技术在机器人产业化中的应用，深入推动人工智能行业的发展。