【论文笔记】CHI '16 Embracing Error to Enable _标注

最近读到一篇显著提升标记数据速度的文章，原文 Error toRapid
本篇博客记录个人对论文的总结和翻译理解，如有不足之处欢迎指正。
Error toRapid
———————————————————————————————————————————————
一作是来自 HCI实验室的，这里多说几句，这位PhD小哥研究方向是计算机视觉和人机交互交叉领域，另外一位主要作者是的优秀 Hata 。话不多说，下面介绍这篇论文的内容。
【【论文笔记】CHI '16 Embracing Error to Enable】一、
当前的微型任务众包（）使得社会科学和机器学习的数据集得到不断扩充，然而现今通过众包体系来创建大型数据集任务需要耗费较多的资金，为了使拓宽众包的应用领域，我们提出了一个针对加速二分类标注任务判断方法的技术。比起过去对的错误进行惩罚，使得他们变得更加谨慎但是速度下降，我们的方法在允许犯错的情况下加速了对分类任务的判断，并且证明了通过打乱任务顺序和对反应延迟进行建模，可以利用算法来修正这错误。为了验证这个方法的有效性，我们将提出的方法应用于图像验证、同义词、情感分析和主题分类的众包任务中，在对比原有方法（ vote）的速度上，取得了10倍的速度提升。
二、 andWork
本篇论文中，作者主要关注到的是众包任务中最普遍的任务，就是回答yes or no 的问题。过去前人的研究工作侧重于最小化 error，如果出现错误，就会扣减他们的报酬以示惩罚。近期的方法在众人投票判定标注的时候侧重于计算最小的必要人数来减少错误，这种方法的速度取平均，这里被定为1倍速。而我们提出的相反的观点：设计出鼓励犯错甚至不可避免犯错的任务，从而大幅度地提升标注速度。当前的众包平台对错误的惩罚会导致他们更叫小心为了避免犯错而降低标注速度，而我们鼓励在可接受错误的情况下更快地完成任务。虽然会导致每个的标注精确度下降，后期我们采用算法修正了这些。
我们提出的这个方法是要求在一个快速推进的输入流中进行决策，随着这个输入流的自动推进，从中仔细观察来做出判断，然后对于输入流中的某个item按下快捷键来确认。输入流推进的方法来自李飞飞教授两篇早期的研究RSVP：rapid和What do wein aof a real-？。由于输入流的速度很快，因此按下yes按钮一般会有延迟，我们将对这个延迟和速度的关系进行建模并分析，设计实验观察不同的速度的延迟然后从中预测并计算image对应的真实label的概率。
我们主要的贡献有以下两点：
1、在允许前期错误的情况下，大幅度提高了众包二分类任务的标注的速度；
2、证明了我们提出的方法也适用于多类别标注任务，与现有的独立技术结合，在未增加认知负荷的情况下部署任务。
部分相关研究：
本文作者提出的方法与前人研究不同之处在于改善了众包的交互界面，鼓励做出快速的决策。

文章插图
1、感知速度远远快于认知速度
RSVP参考Short-termfor 已经验证了对于数据流中单张图片的感知在75%精确度的情况下是125ms 。然而对于理解image的定义仅有10%的精确度，参考 for a rapidof .
2、对的标注行为进行建模（众包领域）
基于前人的标注表现：（onturk）；
对于个体的建模：（Whose votemore:offrom）；
其他领域的知识对完成众包任务的辅助作用：（The）
极大极小熵判断：（ from theofby ）
作者从以上的研究中汲取灵感，We model each ’sas a