数据收集是整个数据生命周期的初始环节 , 埋点数据是驱动业务的指标 , 这一切都需要基于数据 。那么 , 我们需要收集的数据有哪些?
文章插图
谈到数据驱动业务 , 离不开数据是怎么来的 , 数据收集是整个数据生命周期的初始环节 。
数据生命周期的大体介绍 , 在过去的一篇文章中有提到 。虽然文章的部分内容我准备重新构造 , 但是对于这部分的基础环节 , 并没有太多的变换 。
文章插图
文章会涉及到不少技术相关的知识 , 我会尽量减少这部分的细节 。相信经过一系列的讲解 , 你会明白埋点数据怎么成为驱动业务的指标 , 文章也会提供网上的公开数据 , 帮助你实际上手操作 。
需要收集的数据主要能划分成四个主要类型:行为数据、网站日志数据、业务数据、外部数据 。
一、Web日志数据网站日志数据是Web时代的概念 。
用户浏览的每一个网页 , 都会向服务器发送请求 , 具体的技术细节不用关注 。只要知道 , 当服务器和用户产生数据交互 , 服务器就会把这次交互记录下来 , 我们称之为日志 。
127.0.0.1 – – [20/Jul/2017:22:04:08 +0800] “GET /news/index HTTP/1.1” 200 22262 “-” “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.66 Safari/537.36”
上图就是一条服务器日志 , 它告诉了我们 , 什么样的用户who在什么时间段when进行了什么操作what 。
127.0.0.1是用户IP , 即什么样的用户 。不同用户的IP并不一致 , 通过它能基本的区分并定位到人 。[20/Jul/2017:22:04:08 +0800] 是产生这条记录的时间 , 可以理解为用户访问的时间戳 。
“GET /news/index HTTP/1.1″是服务器处理请求的动作 , 在这里 , 姑且认为是用户请求访问了某个网站路径 , /news/index 。这里省略了域名 , 如果域名是www.aaa.com , 那么用户访问的完整地址就是www.aaa.com/news/index , 从字面意思理解 , 是用户浏览了新闻页 。也就是what 。
who、when、what构成了用户行为分析的基础 。Mozilla/5.0这个字段是用户浏览时用的浏览器 , 它的分析意义不如前三者 。
如果我们基于who分析 , 可以得知网站每天的PVUV;基于when分析 , 可以得知平均浏览时长 , 每日访问高峰;what则能得知什么内容更吸引人、用户访问的页面深度、转化率等属性 。
上面的示例中 , 我们用IP数据指代用户 , 但用户的IP并不固定 , 这对数据口径的统一和准确率不利 。实际应用中还需要研发们通过cookie或token获取到用户ID , 并且将用户ID传递到日志中 。它的形式就会变成:
127.0.0.1 – 123456 [20/Jul/2017:22:04:08 +0800]…
123456就是用户ID , 通过它就能和后台的用户标签数据关联 , 进行更丰富维度的分析 。
案例的服务器日志 , 记录了用户的浏览数据 , 是标准的流量分析要素 。但是网站上还会有其他功能 , 即更丰富的what , 譬如评论、收藏、点赞、下单等 , 要统计这些行为靠日志就力有未逮了 。所以业内除了服务器日志 , 还会配合使用JS嵌入或者后台采集的方式 , 针对各类业务场景收集数据 。
在这里我提供一份网上公开的数据集 , 年代比较古老 , 是学生在校园网站的浏览行为数据集 。数据原始格式是log , 可以txt打开 。需要的同学可以在后台发送「日志下载」 。
文章插图
它是标准的服务器日志文件 , 对分析师来说 , IP , 时间、浏览了哪些网页 , 这三个字段足够做出一份完整的分析报告 。后续的章节我将围绕它进行演练 , 为了照顾新手 , 会同时用Excel和Python演示 。
首先进行简单的清洗 。如果是Excel , 直接将内容复制 , 文件开头的内容只需要保留第四行Fields信息 , 它是数据的字段 。将内容复制黏贴到Excel中 。
按空格进行分列 , 初步的数据格式就出来了 。
- 素芷妃丝康百度百科 素芷妃丝康是什么药
- 财务bp是什么意思呀 财务bp是什么意思?
- 送螃蟹的意义是什么
- 绵竹市盛世华章是什么社区
- 精英护理的理念是什么
- 走心歌词含义,花被人摘走心被虫吸走是什么歌的歌词
- 一抹云烟一抹愁 一抹云烟什么意思
- 破釜沉舟是指什么意思 破釜沉舟是指什么战役
- 干青翡翠与翡翠怎么区分 翡翠干青和翡翠的区别是什么
- 意大利面拌42号混凝土全文背诵 意大利面拌42号混凝土是什么意思