从策略角度主要是分析单变量的效果,查看是否有强区分度的单变量,可以用于但规则或者组合规则;从模型角度主要是看数据整体效果,如果数据没有较强区分度的单变量,但是整体效果不错且价格低廉,也会被考虑 。3. 通用分析评估从策略角度主要是分析单变量的效果,查看是否有强区分度的单变量,可以用于规则或者组合规则;从模型角度主要是看数据整体效果,如果数据没有较强区分度的单变量,但是整体效果不错且价格低廉,也会被考虑 。
考察维度可以细分为以下7个:查得率、准确率(尤其是黑名单类)、稳定性(服务稳定性、特征稳定性psi)、模型效果(IV、KS)、性价比(按查询次数、按命中次数、包月/年)、可解释性(特征变量类是否具有业务含义、评分区间可解释性) 。
4. 特定数据源类别评估四、线上模拟虽然在历史样本上进行了完整的效果评估,已经证明将要上线的数据、模型、策略是有价值的 。但市场环境和客群是一个动态变化的过程,况且历史的数据都是在线下回溯的,线上数据与线下回溯数据是否有差异,是否会有操作失误,都未可知 。模拟线上测试就是要评估数据在真实应用时的效果 。
模拟线上测试是将新策略在实际业务环境中运行,记录相关结果,但并不做决策 。
分析数据在线上环境的调取成功率 。对比线上线下的数据分布、覆盖率、策略设计的通过率是否一致 。但费用受限,一般测试都是小样本,从数据源评估的角度,新的模型/策略上线后,需要有完善的监控体系,监控整个数据的变化情况,方便快速地发现异常 。
例如:接口的调用情况、数据的稳定性、数据缺失率、各个环节策略的转化率、贷后逾期情况等,线上观察实际上线效果,包括但不限于:
数据接口稳定性(接口调用是否正常、可靠)特征变量数据分布稳定性、缺失率、准确率等业务效果:如进件通过率(坏账率需要一段时间,表现期较长)五、小案例-黑名单评估1. 评估指标查得率(Search rate)=查得数/样本量
(2)覆盖率(Cover rate)=查得命中黑名单数/样本中命中黑名单量
(3)误拒率(Error reject rate)=查得命中黑名单数/样本中通过且为Good量
(4)有效差异率(Effective difference rate)=查得命中黑名单数/样本中通过且Bad量
(5)无效差异率(Invalid difference rate)=查得命中黑名单数/样本中其他拒绝量
其中SR、CR、EDR指标越高越好,ERR越低越好,IDR与EDR结合起来观察,如果IDR和EDR都较高,反映的一种情况是数据源定义黑名单是广撒网式,黑名单质量相对不够精准 。其中前三个指标是重点考察,如果想更全面的测试第三方数据源,后面两个差异率指标也可以加入考核标准 。数据统计:
2. 样本测试命中情况3. 评价指标统计按照上文介绍的指标分析方法,对比数据源和数据源2的测试结果可以得出如下结论:
在查得率、覆盖率两个正向指标上,数据源均比数据源2有明显优势;误拒率这个负向指标上,数据源却比数据源2低;将无效差异率(IDR)与有效差异率(EDR)结合起来观察,数据源2的两者都较高,可能是广撒网式,不够精准 。最终分析结论:数据源2比较好 。
作者:王小宾;微信公众号:一起侃产品
本文由@并不跳步交叉步 原创发布于人人都是产品经理 。未经许可,禁止转载 。
题图来自 Unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务 。
两部门实施个人信息保护认证,包含跨境处理活动对应不同标志3南都讯 采访人员蒋琳 11月18日,国家市场监督管理总局、国家互联网信息办公室发布公告,决定实施个人信息保护认证并发布《个人信息保护认证实施规则》(下称《规则》),鼓励个人信息处理者通过认证方式提升个人信息保护能力 。
南都采访人员梳理发现,除了此次的个人信息保护认证,两部门已经联合开展了两个数据安全相关的认证工作——2019年3月,两部门曾发文宣布联合开展国内第一个由国家推行的App安全认证制度;今年6月9日,两部门又发布《关于开展数据安全管理认证工作的公告》 。
据了解,《规则》 规定了对个人信息处理者开展个人信息收集、存储、使用、加工、传输、提供、公开、删除以及跨境等处理活动进行认证的基本原则和要求,认证模式为技术验证+现场审核+获证后监督 。
不过,对于认证机构应以什么频次对获得认证的个人信处理者进行持续监督、采取何种方式实施获证后监督以及认证各环节的时限,《规则》未做出进一步规定 。
- 长得像蚊子但是不咬人 长得像蚊子但是很大的是什么
- 鸡丁是鸡哪个部位 鸡丁是鸡的哪个部位
- 电脑识别了u盘但是读取不了 电脑检测不出u盘
- vivo手机收不到短信怎么办,但能发出短信V3 vivo手机收不到短信是怎么回事
- 都说门外汉,但是它的真实来历你知道吗
- 八月瓜软了但是没裂开能吃吗 八月瓜能不能放熟
- 鲨鱼是不是哺乳动物?为什么? 鲨鱼是不是哺乳动物
- 人类祖先其实是素食主义者并不以肉食为主
- 皇帝子女为什么都死的早?生活优越但活不长久
- 安全措施防护 通用安全防护措施包含