数据驱动经验分享:从办法到实际
本文摘要:订阅专栏撤销订阅 Sensors Data官方账号1.2万5910本文依据神策数据联合创始人 CTO 曹犟在神策 2018 数据驱动大会现场,宣布题为《数据驱动从方法到实践》演讲整理所得,enjoy~数据驱动价值:驱动决策、驱动产品智能数据驱动闭环:数据采集—数据建模—数据分
订阅专栏撤销订阅 Sensors Data官方账号

1.2万

59

10

本文依据神策数据联合创始人 CTO 曹犟在神策 2018 数据驱动大会现场,宣布题为《数据驱动从方法到实践》演讲整理所得,enjoy~

数据驱动价值:驱动决策、驱动产品智能 数据驱动闭环:数据采集—数据建模—数据分析—数据反馈 数据驱动各环节方法与实践 一、数据驱动价值:驱动决策、驱动产品智能

数据驱动能做什么?

我们认为主要包括驱动决策、驱动产品智能两方面的价值。

图 1 数据驱动价值

驱动决策包括运营监控、产品迭代、营销分析、商业决策。

其间触及的每个场景在本年数据驱动大会都会有专门的讲师来介绍。

驱动产品智能,现在根本上已成为所有的电商类、资讯类产品的标配,如“产品引荐”、“猜你喜欢”等。企业要么组建团队完成智能化的应用场景,要么应用外部东西来解决问题,因为在流量盈利逐渐消失的今天,千人一面的内容会让你的“留存”数字十分丑陋。

我们曾为某一家很知名资讯类企业做 Feed 流的改版,神策来提供详细的引荐策略。通常,个性化引荐的评价指标是 CTR——展示了一千种内容,有多少人点击?

在 2018 年,我们认为再评价一个算法的好坏,用 CTR 十分不适宜。神策从重视指标 CTR 转为衡量“射中了策略的人”跟“射中热门随机内容”的两大用户群体,观察他们在均匀拜访深度、7 日留存、停留时长等更深层指标上的差异。

二、数据驱动闭环

数据采集——数据建模——数据分析——数据反馈,这是一个完好的数据驱动闭环。我们在很多场合提到此,这里不再赘述。

图 2 数据驱动闭环

有很多企业来找我做关于数据采集方面的分享,我用这张图描述了典型的数据分析平台,一个为数据驱动而构建的数据分析平台,各位可以参考。

图 3 一图全面展示数据分析平台架构

三、数据采集:一切数据应用的根基 1. 采集内容:数据类型、数据所有者、数据来历

数据采集是一切应用的根基,“大、全、细、时”由桑文锋提出(概况可戳此查看桑文锋谈大数据分析的四个重要环节),是神策一向坚持数据采集理念,详细到采集内容上,包括数据类型、数据所有者、数据来历。

数据类型包括用户行为数据、用户数据、事务运转数据、内容数据:

用户行为数据,可以描述用户在什么时分、什么地址、以什么方式、用什么样的手机、通过哪一种阅读器做了一件什么事情; 用户数据,描述用户本身的属性,比如某顺风车给乘客打上各式各样的标签,这些标签肯定会用于后续产品迭代; 事务运转数据,在线下事务比较重的场景相同很多; 内容数据,包括用户阅读的详细内容,也包括与用户发生交互的对象。

从数据所有者上来讲,我们采集第一方数据——也就是“我们自己的产品,我们自己的用户,自己用户在自己产品上发生了什么。”这是第一方数据。

第一方数据采集在完全可控环节下发生,不只比较便捷。

在隐私策略方面,我们完全契合最严厉的 GDPR 规范。

现在我们采集第一方数据为主;而第三方数据,市道上一些免费的 SaaS 东西可以做采集和统计,并做一些处理、脱敏;用这些数据作为第三方数据,提供给客户。这是有悖我们价值观的,我们绝不触及。

从数据来历上来讲:新零售的炽热,线下数据采集仍是十分火的,不论是摄像头、蓝牙探针等,是线下场景很好的补充。

不过从现在实践经历来看:摄像头、ID 辨认的精确度十分低,根本不太可用。

对这一部分,我们坚持继续重视,一些客户会将通过二维码、店员主动拿 Pad 做展示等方式,将用户从线下行为引到线上,从而保证用户数据的可采集、可衡量。

2. 依据需求采纳适宜的采集方案

我们一向的观念,是数据采集没有全能灵药,要依据需求选择适宜的采集方案,这一点我在不同场合讲很屡次,这里不再打开。

图 4 依据需求采纳适宜的采集方案

3. 数据采集的接入

这是微观上关于不同内容,不同来历数据的采集统一架构。

图 5 一个典型的用户行为相关数据采集

这是一种典型的用户行为采集方案。客户端采集轻交互的内容;效劳器日志采集 Nginx、UI、Server 阅读、检索、理产业品等内容。

而关于一些事务操作,例如客户跟客服之间的交互,或者内部的客户运营,主要是在事务采集上搞定的。

4. 客户端采集

我来介绍下现在被提及最多的客户端采集。客户端是直接跟用户发生交互关系的一端,可所以 APP、小程序、网页、H5、大众号等,客户端采集数据操作,包括点击按钮、阅读页面、下拉框选择、提交表单、上传照片、切换导航条等。

这些操作是轻交互的,它的采集在通常意义上被称为埋点,我个人觉得埋点更多指客户端采集。

(1)客户端采集的根本原理

客户端采集的根本原理有三点:

第一:提供 SDK 与使用者的应用“编译”到一同

客户端采集有各式各样的模式,但本质上都是提供 SDK 和使用者的应用编译在一同。

抛开埋点方式,完成这样的事情,很多容易被忽视的,基础属性要掩盖我们能想到的所有内容,包括简略的用户行为相关、操作体系版本、物理分辨率等,还有很多客户通过 SDK 提供部分风控数据的采集。

比如说 iphone 手机有无越狱,阅读的时分是横屏仍是竖屏,以及电量等等。(之所以要用 SDK 采集其时的电量,是因为假如用户用模仿器拜访,那么它的电质变化跟真实的手机有十分大的不同。)

所以基础属性虽然看起来比较简略,可是很多时分可以发挥很大的作用。

第二:SDK 完成匿名 ID 生成、基础属性采集、数据打包紧缩加密、本地缓存、网络传输等工作

数据打包和加密,不只可以在本地打包,还可以在必要的时分删掉,神策现在效劳很多银行证券客户,对加密要求的十分高,比如给某一个字段要用什么加密等,这些都是 SDK 要完成的。

本地缓存在 IOS 与安卓中特别重要,因为为防止影响用户体验,当发生一次点击,对应的数据不会立刻传到后端,所以都是缓存到本地等候最佳网络机遇。本地缓存、网络缓存这些都是SDK 来做的。

第三:一般使用 HTTP(S) 协议通过公网传输数据

有人问,所谓的代码埋点、全埋点、可视化埋点有什么不一样?我们可以这样了解:SDK 完成基础数据的采集、数据贮存打包、传输等,同时向上埋点应用层提供 API,所谓的代码埋点就是直接使用 API,通知采集了什么数据。

全埋点则是在用户完成某个操作的时分,主动的调用 SDK。所以说 SDK 完成一些基础工作,代码埋点开发者直接调用 API;而全埋点开发者不用直接调用,可以比较主动的完成。

说到这里会打一个广告,我们会马上出版一本书,专门讲安卓 8 种全埋点,到时分有爱好的话可以看看。(白皮书 |《Android 全埋点技能白皮书》重磅推出!开源所有项目源码!)

(2)ID-Mapping 构建多设备用户管理体系

多设备下的用户关联是本年新的进展,新的趋势。

ID-Mapping 解决的是不同用户多设备的使用状况。

图 6 构建多设备用户管理体系

我们可以看下如图的例子。我们做了一些工作,后台架构有很大改善,可以完成将第二个设备,跟同一个用户绑定,只需用户登录,神策就能够把不同状况下登录的数据完全打通,这对错常典型的 ID-Mapping 的场景。

相同十分典型的场景是用户行为多端关联机制。

用户产品本身可以多端使用,可以在网页上使用,例如说发了营销 H5,用户在微信内置阅读器 H5 完成注册,跳到 Appstore 完成激活。假如不能将营销 H5 的用户行为,与登录激活之前的行为贯通,那么也没有方法详细分析 H5 的营销效果。

再如,小程序俄然火起来了,客户有需求,为此我们专门做了小程序采集,包括预置采集的工作,以及小程序相关的属性,同时一样带动了代码与主动化采集两种方式,小程序可以充沛得到微信里边的社交信息,对小程序分享传达的属性采集对错常重要的。

图 7 小程序的采集

小程序最杂乱的事情,它有不同的匿名 ID 或者设备 ID。

一个人在设备上,又使用小程序,又使用一个 APP,又换了一个小程序,可是两个小程序之间登录帐号打通,最终我们完成可以把两个 LoginID 与 OpenID 设备贯通起来。

5. 效劳器日志采集

图 8 效劳器日志采集

我现在画了很简略效劳器日志采集架构图,看似技能上没什么问题。

从实践经历上来说:想高质量搭建日志采集十分难,设置日志用哪些内容,一次性工作很难。更难的还体现在产品迭代上,比如产品两周发一个版本,程序员会说产品功用都测不完,没法搞日志。

要搭建一个高质量的日志采集,要贯穿在整个开发流程,从最前期一直到运维上线,到复盘整个迭代项的时分,每一步都要无意识。这也是为何很多SaaS 产品都没有采集日志的能力。

图 9 用户行为数据应用案例

这是我们在中国银联典型的案例,包括设备指纹采集、加密传输等,当然这个图画出来体现对用户行为数据不同的应用,除了做日常行为之外,还有一些其他的应用。终究是事务数据的采集,包括 CRM 体系等。

四、数据建模

数据建模最重要的是数据模型的选择,以及对应的贮存。数据模型选择为何重要?因为数据模型笼统好了,后边的分析模型可以做的更好。假如数据模型笼统的太杂乱,全体过程十分杂乱。

我们现在的数据模型是 Item 实体、Event 工作、User 用户,我们不会把模型搞得太杂乱,现在模型下面,数据采集到建模所要做的工作是比较少的,根本可以通用化、产品化。

我们现已有了规范的数据模型,同时通过不同的采集方案采到了很大都据,所要做的工作主要是把采集到的数据映射,这里边十分多的工作不再详细打开。

不同的数据模型选不同的贮存方案,贮存方案的选择主要依据数据本身的特点,例如是否可追加、可修正、拜访是以什么样的拜访为主,是否会需要删除等。

五、数据分析

有了规范模型,有十分适宜的贮存结构,后边是对数据怎么分析。

1. 数据统计与分析的两种方法论

数据统计与分析有两种方法论,通常状况下是图片左面方法论,PM 给 RD 提,老板要看这些报表,给 RD 概要求,RD 写一些东西并发邮件出来,改程序后又有新的需求。

老板可能问你 PV 为何是这么多?

你可能要把整个核算过程完好讲一遍……在这种状况下,RD为了不想太频频操作和改变,总是会给 PM 设置各种限制。

图 10 数据统计与分析的两种方法论

右边的方法论,笼统的模型掩盖指标体系以及大部分分析需求,通过友爱的交互让需要数据的人自主获取数据。这种方法论是神策产品提供的,我们不需要问你看什么指标,因为你看的指标可能在整个行业都有通用性,我们会把需求笼统下来,接下来就是模型笼统。

如此,你的工作就变成你自己用分析模型,通过拖拖拽拽,把你要的条件选出来,就可以完成一次分析。

这两种方法论差异是,是否让需要数据的人直接使用数据,形成的工作功率相差十分大,这就是为何现在神策产品可以卖出去,其实不是我们造了一个这样的需求,而是真正有这样的需求。

接下来这个图是神策完成的自助式分析:

图 11 自助式数据分析

2. 针对不同人物的数据分析:决策者、营销、产品、运营

通过不同人物分析四个不同的场景。

(1)决策者

老板关怀的是第一要害指标是什么。第一要害指标该怎么选择?

不同阶段要害指标不相同,每一个开展阶段都有最重视的数据,集中留意力,提高第一指标。

有了第一要害指标,怎么构建指标体系?有了第一要害指标,我们要绘制整个用户旅程。

以电商产品为例,我们关怀总营收额,怎么得到?

先绘制用户旅程:用户首要要拜访网站,之后要注册账号,完成首购之后会重复性购买,只有这样的用户旅程最终会带来总出售额的增加。接下来就要依据用户旅程来组建增加模型。

图 12 绘制用户旅程

拆解的优点,不同团队提不同的项目,你可以调整项意图优先级。

图 13 组装增加模型

(2)营销

市场营销期望完成流量拉新,渠道投放评价。

市场营销团队,他们最关怀两个事,一是老板给了多少预算,二是怎样花出去最有用。

怎么衡量?

像电视广告、楼宇广告,一定程度上是不可追踪的,可是像抖音、头条都是可以追踪。同一个用户在媒体上点广告,跟进入到产品之后,只需把这个行为打通起来,整个投放效果就是可追踪的。现在我们可支撑二三十种大巨细小的渠道。

我们把用户在点击广告前后的行为串通起来,剩下的工作就是分析,比如我们在头条花了10000 块钱买了 1000 个点击,其间 50 个用户使用产品,我们可以设置从哪些角度来衡量这些人的效果,来衡量用户的转化率、留存、复购等。

也能够比照不同的渠道,比照不同渠道下不同的投放要害词带来效果等,来比照与衡量用户真实的价值。

图 14 数据驱动市场营销案例

图 15 数据驱动市场营销案例

这个是很典型的数据驱动市场营销的例子,某家理产业品投放广告,刚开始假设重视 P2P 理产业品都是资质相对较好的白领,因此在核心商圈的写字楼电梯间投放广告。

可是通过转化分析后,发现进件转化率很低,因此对借款人画像分析,确定方针人群特征:24-30 岁,工作时间短,收入一般,身处非核心高级区域。得到这种结论后,将投放渠道放到了抖音和快手这类短视频平台,转化率得到显着提高。

(3)产品

图 16 数据驱动产品优化

这个是我之前一个产品同事发给我的,他说这些是产品关怀的指标。

因为我是工程师身世,我底子不懂这些东西,可是我知道怎么改善产品:我们把这些指标悉数算出来,进行监控,一旦发现某一个指标异常,立刻分析原因,并解决这些原因。

假如指标没有异常,可以和他人家进行比照,你的转化率是多少,我的转化率是多少,看我们有多少提高空间,来提高指标。

所以,整个逻辑很简略,先设置关怀的问题,实践算出来,并重视是否异常,找到异常原因,分析解决异常,看数据有无真正得到上升。

场景 1:内容产品的“Aha Moment”

通过用户行为将用户群体划分红四类:路人、打酱油、参加(点赞、转发)、深度参加,怎么提高这四类人的用户留存?

很简略,首要我观察四类人的留存率,很显着,行为深度越深,用户留存肯定越高。

那该怎么操作?

扩展“参加行为”使用者面积,门槛太高,落地性较差;扩展“围观行为”使用者面积?这个方法更可行,在产品信息流页露出“热评”,可以提高留存,来验证新增“热评”之后效果怎么。

场景 2:电商,保藏按钮方位改版

某电商的官网存在两个“保藏”,一开始设置有点问题,一个点击率极高,一个点击率极低。清楚明了,糟蹋了十分重要的方位。后来将点击率低的保藏按钮方位换成了“效劳”的按钮,通过验证,点击进入量没有显着下降,同时“效劳”点击量提高。

通过 SA 中的数据比照发现,BEST 分类的点击流量并没有预想中高,乃至跟 MEN 分类的拜访量差不多。猜想可能用户不习惯往左滑动页面,习惯往右滑动界面。

同时,该电商还进行了官网 BEST 分类按钮方位调整,将 BEST 类目放到 FUN 类目右边。效果:通过调整后,50% 以上的官网用户会进入 BEST 类目,比本来调整之前相对提高了 78% 。

场景 3:小程序的产品迭代案例

这是一个纯女性短视频社区案例,他们一直致力将数据分析融入到运营乃至产品迭代的最细节处。这是他们的工作方式。

图 17 把数据分析融入到运营至产品迭代的最细节处

该企业的小程序更新发版很快。用户分享之后裂变,有一个完好的看板让我们来评价的自己的影响。日裂变作为要害指标,某版本上线后发现裂变指数(uv 数 x 内部调整因子)迅速下跌。

图 18 某版本上线后发现裂变指数迅速下跌

通过回溯以前 7 日的分析看到:“分享”按钮的点击数据呈现接连下滑,“下载”按钮的数据在呈现大幅度提高。

图 19 回溯 7 日数据快速筛查可能原因

通过用户实践回访,确认“保存按钮”其实弱化了“分享意愿”,形成分享减少。次日晨完成新版本上线后,指标变得正常。

(4)运营

除了数据驱动产品迭代,下一个案例是用数据驱动运营,数据驱动运营相同是发现问题,分析原因,来验证效果。

图 20 基于数据的驱动闭环,驱动事务决策

终究给我们介绍几个重要闭环。

1. 用户运营的闭环反馈

我们推出了主动化运营的新产品,我们发现我们对产品运营主动化愈来愈高。

神策主动化运营是基于分群标签的全流程运营闭环分析体系,通过用户精准分群、活络创建并管理营销活动方案,比如知道用户数据、事务数据,最终精准的描写了用户画像。基于用户画像选用不同的触达方式,比如优惠券等。

做完之后,我可以分析衡量触达效果怎样,从而评价营销效果。有了第一次营销效果之后,可以针对性的改善,做第二次营销效果。真正构成主动化、精密化的运营闭环。

图 21 用户运营闭环反馈

2. 产品智能闭环反馈

这是个性化引荐的全流程,包括采集各种不同的数据,构建相应的爱好模型,特定的场景引荐下做引荐,不同纬度、不同指标做丈量。

图 22 产品智能闭环反馈

东方明珠是神策数据的客户(东方明珠:融媒时代的大数据转型之路打造),以百视通 IPTV 某驻地为例,日活数百万用户通过 IPTV 机顶盒付费观看授权内容,部分精品内容需额定充值观看;在接入神策引荐之前,主要依赖人工引荐,以热门、付费和内容相关性为主要引荐参考。

为提高用户的观影体验、提高用户留存以及充值付费营收,东方明珠使用神策引荐解决方案,完成采集点击日志、展示日志、播放日志等所需用户行为数据,基于行为数据构建深度学习召回算法策略,选用 GBDT+LR 排序模型训练数据。

引荐算法上线两周后,神策引荐的效果,比照人工引荐,仅 CTR 一个指标即提高了 6 倍,对引荐内容的人均阅读次数提高了 1.9 倍。

这就是我讲的内容,根本围绕数据驱动闭环。

期望对你有所协助!

终究,通知我们一个好音讯:

为了协助在运营进阶路上,执着行进的同伴们可以更快速的提高,我们联合了腾讯、百度等具有10年以上经历沉淀的实战派导师,推出了【运营总监修炼之道】,至今已协助5000多名运营管理者和进阶者,把握了更加体系全面的运营专业常识和管理思路,在处理类似运营战略规划、不同渠道运营策略和流质变现、品牌营销玩法、数据分析等实践问题时有更明晰的解决方向!

扫描二维码添加小助手了解概况,还可以回复“笔记”收取【运营总监课程学习笔记】哦!

再犹豫,时机就没啦~

本文由 @神策数据 原创发布于人人都是产品主管。未经答应,禁止转载

题图来自作者


想跟着BAT大咖老师学习更多进阶运营常识体系吗?

在【运营总监修炼之道】,四位来自腾讯、百度等具有10年以上经历沉淀的实战派导师,将和你面对面分享高阶运营的体系常识,帮你把握更加体系全面的运营专业体系和高效管理思路…….

想了解更多概况?当即联络Leo咨询哦~微信/TEL:966
PS:除了咨问询题,还可以收取【运营总监课程学习笔记】!


人人都是产品主管(woshipm)是以产品主管、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位效劳产品人和运营人,建立9年举行在线讲座500+期,线下分享会300+场,产品主管大会、运营大会20+场,掩盖北上广深杭成都等15个城市,内行业有较高的影响力和知名度。平台集合了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一同生长。

相关内容