c k = 1 ∣ S k ∣ ∑ ( x i , y i ) ∈ S k f ? ( x i ) c_{k}=\frac{1}{|S_{k}|}\sum_{(x_{i},y_{i})\in S_{k}}f_{\phi }(x_{i}) ck?=∣Sk?∣1?∑(xi?,yi?)∈Sk??f??(xi?)
原型网络的原理较为简单,但是有一点小问题就是,对于两个或多个样本的相似度,用距离较近来度量是否合理 。对于某一些数据集来说可能有用,但是对于一般的图片,效果可能就不那么好了 。因此,两个样本或者图片间相似性的度量方法是下一步可以改进的地方 。
for Few-shot 论文详解1
for Few-shot 论文详解2
for Few-shot 论文详解3
for Few-shot 论文详解4
for Few-shot 文章代码
【3】Snell, Jake, Kevin , andZemel. “for few-shot .”in. 2017.
2.1.4关系网络( )
关系网络其实就是引入注意力机制,通过对(特征映射)后的特征计算注意力,利用注意力得分进行分析 。因此
前面几个网络结构在最终的距离度量上都使用了固定的度量方式,如,欧式距离等,这种模型结构下所有的学习过程都发生在样本的阶段 。
而认为度量方式也是网络中非常重要的一环,需要对其进行建模,所以该网络不满足单一且固定的距离度量方式,而是训练一个网络来学习(例如 CNN)距离的度量方式,在 loss 方面也有所改变,考虑到更多的关注score,更像一种回归,而非 0/1 分类,所以使用了 MSE 取代了 cross- 。
K-shot:对每个训练类的所有样本的模块输出进行逐元素求和,这个合并的类级特征映射与上面的查询图像特征映射相结合 。
:使用均方误差MSE作为损失函数,将关系分数rij回归到 truth:匹配的相似性为1,不匹配的相似性为0 。
Zero-shot:每个训练类中使用语义嵌入向量代替one shot数据集作为支持集 。模型结构中除了用于查询集的嵌入模块f1,还使用了第二个异构模块f2用于处理语义嵌入向量 。
利用4个卷积块实现 。每个卷积块包含64个大小为33,使用batch 和ReLU激活函数 。前两个block包含22的max 操作,后两个block不需要 。目的是需要在关系模块中为进一步的卷积层提供输出特征映射 。
模块由两个卷积块和两个全连接层组成,每一个卷积块是64个大小为33,使用batch,ReLU激活函数,22的max。最后一个max 层输出大小在中为64,在中为6433=576 。这两个全连接层分别是8和1 。所有全连接层的激活函数为ReLU,除了最后一层全连接层是(目的是生成合理的关系分数范围) 。
Few-shot:Adam学习率设置为10-3,每100,000个情景后折半,端到端训练,没有额外的数据集 。
训练时的数据是,通过对原始数据旋转90°,180°,270°来增加新类,选择1200类并通过旋转作为训练集,423类通过旋转作为测试集 。并将大小为28*28 。
to :for few-shot .论文详解
to :for few-shot .开源代码
【4】Sung, Flood, et al. “ to :for few-shot .”of the IEEEonand. 2018.
2.2基于模型的小样本学习(Model Based)
Model Based 方法旨在通过模型结构的设计快速在少量样本上更新参数,直接建立输入 x 和预测值 P 的映射函数
2.2.1基于记忆的方法
通过在神经网络上添加来实现 。等提出在网络的输入把上一次训练的y label也作为输入,并且添加了 存储上一次训练x的输入,这使得下一次输入后进行反向传播时,可以让y label和x建立联系,使得之后的x能够通过外部记忆获取相关图像进行比对来实现更好的预测 。
One-shotwith -论文详解
【5] , Adam, , , , , , Daan, and , . Meta- with -. Inof The 33rdon, pp. 1842–1850, 2016.
Meta-论文笔记:Meta
【6】 T, Yu H. Meta . arXivarXiv:1703.00837, 2017.
以Meta- with -这篇文章为例,我们看一下他的网络结构:
- 《Machine Learning Yearning》
- 关于力破天穹的介绍 力破天穹
- 登克罗斯
- 琴琪拉吉他 团队Android小作品Chinchilla Guitar发布
- 进击的巨人剧场版 进击的巨人剧场版有几部
- as soon as as soon as possible是什么意思
- 关于t56人体艺术的介绍 t56人体艺术
- 24节气歌 24节气歌词
- 关于观赏螃蟹的介绍 观赏螃蟹
- 电采暖锅炉 电采暖锅炉一个月电费