当前位置:首页 > 实用技巧 >

怎样修复数据请求异常(数据请求出错了怎么解决)

来源:原点资讯(www.yd166.com)时间:2023-11-24 21:50:41作者:YD166手机阅读>>

嗨,大家好,我是勾勾。

上次分享的Excel技巧是不是很实用呢?我们在数据分析的路上,不光要熟练掌握各种数据分析工具,更要学会处理业务上的问题,建立自己的一套业务方法论。

今天,我们就请花木(Spring)老师来讲一下数据分析工作中一个大难题——遇到数据异常怎么办?以及如何高效地排查异常,并通过异常发现业务的增长点!

数据异常的原因

一般情况下,BAT 等大厂的数据产品 DAU 都比较大,动辄几百万上千万,甚至过亿,因此业务方和管理层每天都会盯着核心数据,而在这些核心数据中肯定会有一些数据是波动比较大的。

怎样修复数据请求异常,数据请求出错了怎么解决(1)

这时,分析师需要对这些波动进行排查并解释原因,如果没有一套方法论,面对问题就会很头痛。

你可以回想下自己是否面对过这种情况:每天早上,面对波动数据无从下手,找不到原因,解决不了,进而浪费很多时间做了很多无用功,感觉永无出头之日。

实际上,数据有较大波动,无非就两个原因:

  • 一是目前数据本身有问题;
  • 二是业务本身有问题。
前期准备

如果能够透过问题看本质,你就可以在数据波动方面成为专家。当然数据异常排查是需要一些前期准备的:

  • 业务理解;
  • 指标口径;
  • 当前数据产出过程。

1、业务理解

某个 App 的 DAU 低于1000w,那么请问,这个 DAU 代表的是什么行动的DAU?是在进程中,还是需要打开 App,还是必须有主动行为?

这理解起来是不一样的。

2、指标口径

同样是 DAU 一千万,是 Android 还是所有系统,也是有所区别的。

3、产出过程

对于 DAU 一千万,目前是由哪份日志做了哪些数据清洗计算出来的,只有了解清楚这些才能够开始异常排查。

举个例子,市场部领导看了某一张日活数据和你提供的数据相差较大,就来询问是怎么回事。实际上这时你首先需要弄清楚他看到的数据表是怎样产出的,然后指标口径是什么,指标的业务含义是什么,只有熟悉这些情况后才能分析出产生差异的原因。

实际工作中,有些分析师在进入一家公司时产品已经比较成熟,但指标口径没有文档化,所以可能对业务理解不深,这个时候面对领导的提问就会手足无措。一旦不能解决问题就会失去信任,所以前期准备工作一定要做好。

如何排查异常

有了前期准备工作,接下来就是异常排查步骤了,异常排查主要分三步:

  • 判断是否异常;
  • 最大概率法则归类;
  • 闭环。

怎样修复数据请求异常,数据请求出错了怎么解决(2)

第一步,判断是否异常,有四个关键点:

  • 亲自去看数据准确性,不要人云亦云,比如业务方说 DAU 下降了就立马去调查,这是不对的,而是应该亲自查看数据是否真实,有时候业务方不一定多专业,也会出现错误。
  • 时间轴拉长,看是近期异常(3 个月)还是历史异常,一般分析师看数据时习惯看近一两周或一个月的数据,然后突然出现波峰或波谷就认为数据异常了,但实际上往往不是。我们一定要拉长时间轴,如果仍出现波峰或波谷可能就真的出现异常了。
  • 看和该指标关联的其他指标或其他核心指标是否也异常,比如 DAU 异常时,需要查看自流、渗透率是否异常,如果也异常就需要一起解决,而不是按下葫芦浮起瓢,反复做无用功。
  • 找到一个关键人物(产品/数据),提前沟通,也就是当我们确认是数据异常后,找经验丰富的人提前沟通,看他们对此是否有什么见解,往往经验能够快速的定位问题。

第二步,用最大概率法则原因归类。

很多分析师遇到异常时无从下手,抓不到问题主线,无法对问题进行有效分类,而我把异常问题分为了六大类,基本上所有的异常问题都归属于这六大类。

  • 假期效应:开学季、暑假、四大节、当地节日;
  • 热点事件:常规热点(世界杯)、突发热点(爆款 IP);
  • 活动影响:双 11、618,公司层面活动;
  • 政策影响:互联网金融监管,快递实名;
  • 底层系统故障:数据传输、存储、清洗有无问题;
  • 统计口径:业务逻辑更改、指标计算方式更改。

所以当我们遇到问题时,就可以按照降序在这六大类中逐一排查找到问题原因。

第三步就是闭环,当我们排查出问题原因后,一定要形成闭环,关于闭环有三个点:

  • 1. 持续跟踪后期数据是否再次异常,比如当我们排查出原因后,产品做相应的改进,而问题仍在就说明前期排查问题出错。
  • 2. 记录、沉淀、文档化,因为后续我们可能还会遇到相同问题,所以记录文档利人利己。
  • 3. 邮件化,只有确认没有问题再发邮件给相关方,描述影响范围和主要结论即可。

怎样修复数据请求异常,数据请求出错了怎么解决(3)

举个例子:某 App 海外版的主要用户在东南亚地区,某天 DAU 突然涨到 5000 万,与历史数据相比明显异常,问了很多人之后,发现数据采集、传输、活动、业务口径、常规热点等都没有变化。

这时你先不要困惑,我们按照问题归类逐一排查,发现爆款 IP 没有排查到,我们就按照这个点继续排查数据。

果然发现,因为某国宝级的明星突然去世带来了 App 大量访问。因为在海外,信息传输比较慢,而突发事件国内用户无法快速知道,所以分析师发现流量提升后应该快速反馈给业务人员,业务确认没问题后立刻调动运营资源对该明星进行全方位解析,持续蹭热点把事件发酵到最大化,养成用户口碑。

及时地响应事件后,整个 App 的 DAU 上涨了 10 个点,而一般的产品运营优化很难达到这个效果。

这样的突发事件并不是每个分析师都能够遇到,但遇到异常数据一定要多尝试,虽然很多分析师排斥数据异常,但优秀的分析师还是能够从异常中发现业务增长点。

所以遇到问题时,要有耐心,最后总会有所发现。我已经归纳了问题的归类,大家在实际工作中可以直接参考,同时总结属于自己的一套方法论。

本文转自公众号:勾勾谈数据分析

欢迎大家来找勾勾畅谈

栏目热文

自己的车后桥加什么油(汽车后桥加齿轮油加多少合适)

自己的车后桥加什么油(汽车后桥加齿轮油加多少合适)

车辆后桥齿轮是双曲线齿轮,双曲线齿轮的工作条件苛刻,随着汽车的开开停停,经常处在高速冲击负荷,高速低扭矩,低速高扭矩状况...

2023-11-24 21:55:01查看全文 >>

一般车的后桥用什么油(车后桥用什么齿轮油最好)

一般车的后桥用什么油(车后桥用什么齿轮油最好)

汽车的保养维护,一般就是检查汽车的三滤二油,其中的一个油就是后桥油,那么什么是后桥油,后桥油需要多久更换一次呢?汽车后桥...

2023-11-24 21:49:02查看全文 >>

后桥加齿轮油是加满吗(后桥一般加多少齿轮油合适)

后桥加齿轮油是加满吗(后桥一般加多少齿轮油合适)

汽车首保大家经常见,房车的首保你见过吗?柴油车和汽油车保养有什么不同呢?我们一起来看一下吧!这些就是保养科目需要用到原材...

2023-11-24 22:03:01查看全文 >>

汽车后桥油使用什么型号齿轮油(后桥油是液压油还是齿轮油)

汽车后桥油使用什么型号齿轮油(后桥油是液压油还是齿轮油)

车用齿轮油并不简单!车用齿轮油主要是为手动变速箱和差速器提供润滑的油品,很多车友并不太清楚齿轮油如何选择,觉得只要是齿轮...

2023-11-24 21:52:56查看全文 >>

轿车需要更换后桥齿轮油吗(轿车后桥怎么加齿轮油)

轿车需要更换后桥齿轮油吗(轿车后桥怎么加齿轮油)

汽车齿轮油是保养汽车时常用的一种养护油,它主要用于各种齿轮传动装置,其作用有润滑、减少齿轮磨损、预防零部件烧结和帮助齿轮...

2023-11-24 22:12:33查看全文 >>

数据获取失败怎么解决(获取数据失败是什么毛病)

数据获取失败怎么解决(获取数据失败是什么毛病)

随着科技的不断进步,电脑已经成为了人们日常生活中不可或缺的一部分。在电脑中,硬盘是最为重要的存储设备之一,它存储了我们的...

2023-11-24 22:27:48查看全文 >>

数据请求超时怎么解决(请求响应慢导致超时怎么解决)

数据请求超时怎么解决(请求响应慢导致超时怎么解决)

作者介绍Wen,携程资深后端开发工程师,专注系统性能、稳定性、交易系统等领域。一、背景在现今的信息时代,微服务技术已成为...

2023-11-24 22:31:08查看全文 >>

如何解决数据获取失败(为什么会显示数据获取失败)

如何解决数据获取失败(为什么会显示数据获取失败)

这是一个很常见的问题,一个简单的VLOOKUP公式,怎么看都没有问题,就是得不到正确的结果:=VLOOKUP(D2,A:...

2023-11-24 22:22:42查看全文 >>

数据获取失败怎么回事(数据加载失败是怎么办)

数据获取失败怎么回事(数据加载失败是怎么办)

小编今天将为大家分享一下关于C#高频数据采集的经验。在现代信息化时代,数据对于企业和个人来说都具有重要意义,而如何高效地...

2023-11-24 21:53:10查看全文 >>

请求名称有效但是找不到有效数据(错误信息没有找到指定的数据)

请求名称有效但是找不到有效数据(错误信息没有找到指定的数据)

HTTP是什么HTTP协议(Hyper Text Transfer Protocol,超文本传输协议)是一个简单的请求-...

2023-11-24 22:22:40查看全文 >>

文档排行