视频重压缩检测学习计划和笔记 _比特率

视频重压缩检测学习计划
记录学习的规划和过程中遇到的一些问题。
看的论文日期论文名压缩编码格式场景目的特征做法与原理问题/idea
2023.2.14
Frame-wiseofI- inH.264Based on
AVC
非对齐GOP下的帧级的重定位帧(I-P)检测
连续三帧经过滤波的高频灰度图像再用CNN提的特征（像素域）
预处理提取高频信息送入CNN训练也就是说利用的也是重压缩产生的像素域高频损失
这里的滤波器我其实有时间可以了解一下和SRM筛出特征的区别（好像是提出来的东西不一样）
为什么引入 GOP 效果没怎么下降？
2023.2.7
Frame-WiseofHEVCbyDeep -in
HEVC
非对齐GOP下的帧级的重定位帧(I-P)检测
CSM和CPM（按照CU的大小和预测模式分别赋权重值）送入CNN和LSTM提取时空特征
具体来说，作者除了根据CU的size分别赋值，也利用了类似GVPF的思想，同时扩展到了CU中（I-P帧的I-CU增加，零运动矢量的P-CU增加和S-CU减少）并将其赋值得到CSM和CPM 。将CSM、CPM作为CNN的输入，利用CNN+LSTM捕捉时空特征（捕捉三帧间的CU类型和大小的变化）
这篇文章很重要，如何设计CNN的特征给出了很好的示范
1.比特率下降效果会下降 2.没引入 GOP（可能导致该方法直接失效）
2023.3.7
HEVCwith NonGOPBased on awithFlow andUnits
HEVC
非对齐GOP下的序列级原始GOP估计和重压缩二分类
背景光流的残差融合上PU（帧内预测）的数量
利用算法给前景移动物体掩膜，然后用背景的光流残差作为一个特征，再将帧的帧内预测PU数量作为另一个特征进行融合，融合完利用这个特征周期性分析和SVM分类
2023.3.7
Videoand GOP Sizeviaof
AVC 但也可以用于HEVC
非对齐GOP下的帧级原始GOP估计和帧分类
GVPF（预测模式的变化，相比VPF还用了B帧和运动矢量的信息）
利用RD曲线分析不同类型MB的变化，发现I-P帧的I-MB增加 S-MB减少零运动向量的P-MB增加发现B帧中的P-MB不断减少 F-MB不断增加利用这个特性设计了公式（这里能不能设计成特征图？能， CSM和CPM利用的就是这个思想，可能就是利用LSTM捕捉残差变化值）总的来说这个思想就是利用预测单元的残差变化值来判断
2023.3.16
A Two-StageforHEVCBased on
HEVC
非对齐GOP下的帧级的更为细粒度的I-P重定位帧检测（增加的比特率/降低的比特率）
针对上升比特率的重定位I-P帧，其CU类型变化比较明显，作者设计了一个50维的特征
其中h是16种CU所占的比率，s是概率分布的KL散度，共50维。针对较难分类的降低比特率的重定位I-P，作者设计了一个类似CS/PM映射图，映射规则为
还是利用的大小和预测模式，只有规则改了
分两个阶段分别判断两类重定位I-P帧，所以提高了比特率不同的情况下的准确率。针对低阶统计信息相差大的I-P，直接用SVM分类。针对难分辨的I-P帧，作者设计了一个S-来捕捉时空特征，这里的做法应该是把三帧的特征图了。
这个方法的结果如下：
这个是咋训练的？有时间看下
2023.3.20
-of HEVCWith the Same
HEVC
对齐GOP下的视频级的重压缩二分类
主要检测第二次压缩的I帧的痕迹（针对第二次压缩后生成的正常I帧，作者设计了一个特征用于捕捉其帧内预测模式(HEVC的35种预测模式)的变化以及不稳定PU的数量(这里不稳定针对的其实还是预测模式和划分方式,针对的是正常I帧间的差异)，除此之外的自适应I帧，作者用了水平和垂直方向的光流异常）
先将单/双压缩视频编码解码三次，分别提取每次的特征然后起来送入SVM训练，这里的多重压缩等于一种特征增强