【迁移学习】迁移学习的干货学习资料 | 干货分享 | 技术解读( 二 )


算法比较简单,用一句话概括就是 从过期数据里面 找出和目标数据最接近的样本数据 。
来看的算法步骤:
这里需要说明的一点就是 权重的更新方式,对于辅助样本来讲,预测值和标签越接近,权重越大;而对于目标数据则是相反,预测值和标签差异越大,权重越大 。这种策略狠容易理解,我们想找到辅助样本中 和 目标数据分布最接近的样本,同时放大目标样本Loss的影响,那么理想的结果就是:
目标样本预测值与标签尽量匹配(不放过一个没匹配好的数据),辅助样本在前面的基础上筛选出最 match(权重大的) 的部分 。
作者在后面给出了理论证明,这里有两个公式(来证明算法收敛):
因篇幅问题,这里就不再展开了(和作者说的一样),有兴趣可以参考原Paper,看下实验结果:
实验发现,当 同分布数据(目标数据)占比当低于0.1时,算法效果明显,当比例超过 0.1时, 退化为 SVM 的效果 。
这又是一个显而易见的结论,我们认为大于0.1时,仅仅依靠 目前数据就足够完成样本训练,这种情况下,辅助样本的贡献可以忽略 。
另外,当 目标数据 和 辅助数据 差别比较大时,该方法是不 Work的,印证了最初的假设,这里不再展开证明 。
最后,给出网友提供的C代码:【下载地址】
四. 多任务学习
多任务学习(Multi-Task , MTL)是一种同时学习多个任务的机器学习方法,该方法由来已久,和深度学习没什么关系 。
如果非要把它 和深度学习加上一个 link,我们可以这样来表示:
-> ->H1-> Out1-> Out1
-> ->H2-> Out2==>->-> H123 -> Out2
-> ->H3-> Out3-> Out3
也比较好理解,相当于把多个 Task网络进行合并,同时训练多个任务,这种情况并不鲜见,比如以下2个方向:
1)目标检测 - 复合多任务
目标检测是 分类问题+回归问题的组合,这是一个典型的 Multi-Task,比如:
=+
Mask RCNN =++
检测问题前面描述的比较多了,这里就不再贴图了 。
2)特征提取
多任务特征提取,多个输出,这一类问题代表就是 数据结构化,特征识别 。
下图是港中文 汤晓鸥组发表的TCDCN(by Deep Multi-task ),很多讲 Multi-Task的软文都拿出来说,我们也借用一下 。
在这里 Multi-Task 被同时用作 人脸关键点定位、姿态估计和属性预测(比如性别、年龄、人种、微笑?戴眼镜?)
多任务学习适用于这样的情况:
1)多个任务之间存在关联,比如行人和车辆检测,对于深度网络也可以理解为有部分共同的网络结构;
2)每个独立任务的训练数据比较少,单独训练无法有效收敛;
3)多个任务之间存在相关性信息,单独训练时无法有效挖掘;
可以看一下这篇 :~jye02///MTL-SDM12.pdf
关于多任务学习的应用,比如 分类任务下的二级分类,人脸识别等,大家可以更进一步了解 。
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”(新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生 。
AI-CPSOS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化,这种整合方式能够释放新的业务和运营模式 。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现 。