如何着手商业数据分析？
这个问题和我在另外一个问题的回答（ ）高度相似，所以把大部分内容贴过来了，并加入了一些自己新的理解。 “商业数据分析”，其实是两个词，“商业”和“数据分析”。商业，其实就是对商业的理解，通过理解问题来构建假设和分析框架。数据分析，在我们这类数据控的定义中，基本就是等于分析，没有数据搞什么分析。因此，要点亮这棵技能树，需要完成两个技能树的修炼：商业理解和数据分析。 在最近的一篇分析中国VC/PE各种基金恩怨情仇额专栏文章中（ ），其实就比较完整地实践了上述的模型及各类技巧。通过日常的观察和商业理解，准备用各基金在各项目上的合作关系作为基本数据；然后，抓取数据构建模型，解释数据并与实际情况进行核对，最后写在知乎专栏上进行传播，并获得推荐。 一、商业理解 在商业理解这个模块上可分为四大模块，分步骤进阶：点、线、面及超维。 1.1 描点，事实积累 无论是人类学习还是机器学习，基础都是大量的样本、案例、数据或者事实，如同在存储系统中描点，记录下一个个的数据点。因此要想理解商业，或者精确点说要想理解一个行业或者公司，任何人一开始都不能避免的事情就是：大量阅读这个行业相关的资料、信息及数据，构建最基础的事实基础。在问题（ ）中，其中有不少精彩回答指出了各种方法，相信能够帮助迅速构建针对一个行业或者公司的事实基础。 这里分享两个小窍门： 1.2 从点到线，建立关联和对比 即使在框架的帮助下，各种掌握的知识和数据仍然会非常零散，全是孤立的点。如果能通过连线将这些知识点联系在一起，就如同用排兵布阵将没有战斗力的散兵游勇排成阵势，战斗指数将会大增。 学习各项知识大概都是如此，比如正在或者曾经让大家烦恼的历史知识，单个事件时间记忆起来确实费劲，这主要还是因为记忆点太孤立。比如太平天国（1851年～1864年）和南北战争（1861年～1865年），单独记忆时间和历史意义肯定很难。但是如果能把两个点连成线，做成对比就会容易很多，同时也让孤立的历史事件更有逻辑性：都大约发生在19世纪的中页；一个是当时正在没落的东方最大国家的最大内战，而另一个是正在崛起的未来西方最大国家的最大内战；两者对于双方未来的命运都有分水岭般的决定作用。 回到商业分析的问题，以流量和用户运营为例。如果能将PC端和M端的SEO与App端的ASO联系在一起，许多技巧都是完全雷同的，而许多关键词的设置技巧也会通用。而如果能长期观测几个App的留存率，这些数据就不再会枯燥，首先在时间维度会形成价值（比如留存率如何衰减，从次日留存到7日或30日留存），其次在跨品类维度也成为一个个的标杆（比如：工具类、应考类、社交类、内容类等等的留存率范围以及DAU/日均新增的比例）。当面对下一个新版本或者全新App的时候，如何评判其用户黏性以及增长潜力，就有一把现成的尺子放在心中了。 1.3 从线到面，理解共性 绝大多数的商业模式，都可以精炼为非常基本但核心的公式。比如对于某生活类垂直网站而言，其商业模式依赖于如下的核心公式： 这些公式中的核心点，如同子节点一样，又可以往下繁衍出新的枝节，最后由点到线，由线及面，最后铺成一个盘根错节的树状面。比如： 再比如，专栏文章（ ）中提到了某呼叫中心核心的指标是在不降低用户满意度（用接通率来表示）和不减少业务量的前提下，降低整个呼叫中心的运营成本，即人工服务成本（用人工服务总时长来表示）。 如下图所示，通过一系列得从点到线的连接和拆解公式，最终将该呼叫中心的运营拆解成平铺的一张树状图，可以根据各个节点去改进数值以达成总体的目标。 做商业分析也不能仅仅局限在内部，如果能走出去，能够跨公司和跨行业获取标杆数据以及行业最佳实践做法，就能让这颗树状图进一步铺开，而蕴含的能量和价值也就会倍增。 1.4 超维，理解人性 以上的讨论都是技法，到超维去理解人性就属于心法，这也是最最难的。一旦掌握这个技能，往往能做的就是降维打击和吊打对手。作为一个也还在路上的人，也不能分享太多，只能举一些身边的例子。 许多思考透人性的商业模式在一开始，乍一看往往是难以接受甚至反智的，然而这恰恰是这个商业模式在闷声发大财或者增长的时候，“不是别人傻，而是自己傻”。比如某著名的美女交友和聊天软件，当年在市场上大肆买量。当大家得知这款App留存率的时候，都鄙夷得笑了，觉得人傻钱多。可是这款以陌生人社交为皮的App，根本就不是社交软件，而是一款页游类型的App。所以用社交软件的点线面来理解它是完全错误的，以为用户留存低就是垃圾软件。No！No！No！别人是真正抓住了人性——一般的矮矬穷即使在互联网中也很少被美女搭理，别人其实是页游模式。关注的不是留存，而是关注用户进来的数量、转化到首次付费的比例、从付费到大R的比例以及最核心的ROI，即使留存低和用户停留时间长，只要ROI>1，就可以肆无忌惮地购买用户。 再比如2014年在香港上市的天歌娱乐（著名的9158），其实连YY都是它的追随者。在初创的头几年，9158一直处于闷声发大财的阶段，地处远离互联网中心的金华而且创始人傅政军也极其低调。公司创立于2005年而且保持着非常良好的暴利状态，然而直到2012年YY上市才将这头大象逐渐爆出水面。在这漫长的潜伏期内，人们很少听到9158创造的秀场模式，即使听到也选择怀疑秀场模式能够让用户一夜之间消费数万。然而大家选择的是逃避对人性的理解，对三四线群众缺乏娱乐生活而又渴求被关注被重视的需求。 因此要想真正做好商业分析和商业理解，要常常从人性角度出发，颠覆怀疑自己的传统认知，按照Elon Musk所说的第一性原理思考商业问题。 二、数据分析 谈了这么多怎么去理解商业，下一步就是需要去沟通、去争取资源、去行动……然而行动的时候，总不能始终摆出世界上最廉价的三个字“我以为”作为招牌，始终还是要靠摆事实讲道理。 摆事实讲道理，就是要在事实基础上做深入分析，而对于数据控来说，基本就等于数据分析，所以本部分就按照数据分析来阐述。在之前的回答及专栏文章中，其实已经讲了很多，按照之前的回答（ ），将这个模块分为五大部分：沉淀、解释、验证、探索和传播。 2.1 沉淀（或数据获取） 好数据加平庸的分析也往往会做出优质的产出，如同“食材新鲜就不需好厨师”；而烂数据加顶尖的分析也常常garbage in and garbage out，如同“巧妇难为无米之炊”。可见，获取真实的优质数据源并清洗干净，是商业分析的基础。 在商业分析中要把数据沉淀修炼到极致，当然面对老板或者用户的各种无理分析需求，避免尴尬得摊手耸肩说，“对不起，没有数据源”。正确的姿势是：找到有创意的数据源及数据沉淀办法，最后解决问题。正所谓“有数据也要做，没有数据创造数据也要做”。 常规的用爬虫获取数据的方式（ ）已经很平庸了，下面提一些更有创意的。 案例1： 为了对这几年中国私募案例（VC+PE投资）中的投资条款进行研究（详见 ），帮助创业者对投资条款有更定量的了解。从各种渠道收集了大几百份Termsheet及SPA（真是求爷爷告奶奶），在脱敏之后，然后将其里面的核心条款结构化整理成可分析的数据。关于如何艰难地求人拿到Termsheet及SPA就不再这里赘述了，因为那种场景很难具象化。只是把一份SPA的缩图放在下面，大家就可以了解将其里面的核心条款结构化是怎么一件难事。到目前为止，NLP在这方面的帮助仍然有限。 最终形成的是这个饱受创业者喜欢的投融资系列： 。能够将员工期权与公司估值之间的大致关系搞清楚而画出如下美丽的回归线条，一切努力也是值得的。 案例2： 为了获得某一类人群的画像及了解他们的消费习惯，不能因为我们没有超级App就说不。我们只好走上了通过提供WiFi服务收集用户数据的不归路（详见 ）。 下图是“商业分析人员”深入到咖啡厅及蓝领工人宿舍中安装Wi-Fi，以期望采集数据。 除了OpenWRT和普通的客户端开发，连Arduino开发都用上了，以降低采集数据的成本。 案例3： （以下案例为道听途说，不能完全保证其准确性） MIT某实验室将声音采集设备放到交易所大厅，通过采集交易员的吼叫声然后做情绪分析，判断当前交易所众交易员的情绪，然后预测股市未来一段时间的走势。 有海外对冲基金动用卫星拍摄照片，根据建筑物的阴影长度，来跟踪某国各地的建筑情况，以此作为该国宏观经济的运行情况。 2.2 解释 在商业实战中，每天都要面对的问题会有：销量或者在线消耗怎么暴涨（或暴跌）了？新上的渠道效果怎么样？用户的ARPU或者人均PV怎么上升（降低）了？ 数据分析，需要基于数据解释产品或功能的某项核心指标（包括收入、DAU、ROI等等）的走势及背后的原因，往往需要细化到多个维度（比如：时间、区域、渠道等）。基于这些解释，做事后总结或者提前预警，试图保证产品及功能在正确的轨道上发展。 下图是2015年二手车风风火火的三家企业瓜子、人人车和优信的百度指数，根据这张图可以解读出非常多的信息（参见 ），包括：电视广告的投放效率、周中或者周末效应等等。优秀的数据分析应该可以得出不同广告投放的效果并改进。优信第二次广告就比第一次广告成功很多。然而即使这样的改进，优信花掉1亿美元左右，也只能和花掉1以人民币左右的人人车达到几乎类似的效果。 2.3 验证 商业分析往往是围绕产品或服务进行。而随着技术的发展和竞争的加剧，产品或者服务在按照天或者周的速度在更新和迭代，各种功能及改进都在高频率得上上下下。 对新推出的功能或者改进，验证其效果或者影响，使用的方式包括：简单的时间维度或者地理纬度或者渠道纬度的对比，复杂一些的做AB Testing。Facebook在AB Testing方面积累深厚；对于各种UI方案甚至小到文案及颜色，都需要进行AB Testing来选出最优方案。Facebook曾经利用这个系统在某个WiFi段定点发布新功能，来戏弄某杂志，诱骗其发布Facebook有产品的错误消息。 数据分析，需要在验证的过程中屏蔽各种噪音来排除对真相的干扰。同时，在数据不充分或者无法实现AB Testing的情况下，找到噪音最小的方式来逼近真相。近年来推出了不少专业做AB Testing的工具，包括比较红火的Optimizely。不过它是一个付费服务，具体收费标准见下图。 2.4 探索 商业分析需要通过研究内外部的数据（比如：用户的使用行为数据及搜索词等，百度指数及贴吧发言等等），探索规律和探索用户的需求，通过数据的方式进行初步验证；或者满足一定的功能，通过数据挖掘的方式满足功能需求。 之前提到的案例（ ）就属于探索一类，虽然整个过程起步不低（Hive + MySQL + Python + R的基础框架），而且过程中不断遇到阻碍，但是数据分析人员不会被打倒，要么是自己死坑要么是借力其他工程师，需要不断提供新的解决方案来还原真相找到答案，如同柯南所说“真相只有一个”。 下图是利用某女鞋品牌送货地址做的用户群分布的热力图，以北京的海淀区为例，大量的用户密集集中在中关村周边，其次便是各大高校宿舍聚集的区域，如五道口，知春路等地。红色标签为品牌线下店铺位置，可见门店已经覆盖了中关村，北京大学和五道口等地，但对于知春路片区，以及用户相对集中的牡丹园并未开设分店。相比之下安贞里分店四周并没有特别多的目标用户群出没。根据用户居住地的热力图分析，来探索开店的选址问题，做到店面分布的优化。 在算法上，Deep Learning/CV/Machine Learning等等，数据分析人员不敢说要一一精通，但是最好还是能略小一二到熟练使用各种框架的程度，才能轻松完整上面的各种任务。 2.5 传播 完成商业分析之后，对内对外的传播也非常重要。前者负责争取资源来推动产品服务及业务改进，后者负责通过新鲜的报告来吸引用户和维系用户。 当下最易传播并适合于数据黑客的媒体类型无疑是图文并茂并结合数字的文章（被称之为Infographics）。Infographics凭借其直观易读和理性化的数据呈现方式，越来越受读者的喜欢，并逐渐成为内容制作者青睐的方式。这里有不少精彩的案例（ ），这些案例都非常方便在手机端或者微信里面传播。 基于内部丰富的数据并结合外部的数据，制作有见地有传播性的图文文章，并便于在朋友圈及知乎等地传播，为自己产品赢得口碑和品牌增值。 是制作Infographics的一个简单工具，下图是它的交互界面。 总结 在事实分析这颗技能树的每个分支上，从易到难都有理论体系、算法或者工具去实现。按照 在 中的提法，从易到难分别为Business analysis和Business analytics，前者属于传统商科，利用Excel及SQL等简单工具能够完成，人脑手把手使用工具去发现规律和完成分析；后者属于新兴学科，需要用到更复杂的编程工具以及涉及到更复杂的算法，包括机器学习、图像识别和处理、深度学习等等各个方面，人脑驱动工具去发现一些复杂规律和完成复杂分析。 个人感觉不用在工具以及算法上太纠结，Business analysis和Business analytics在本质上并无太大区别。即使有，技术的发展和开源两大趋势，也会模糊这个界限。首先，最简单的工具也难玩出花来（参见 和 ），甚至可以拿它做图像处理来模拟油画。 其次，复杂的算法也越来越开源，Deep Learning正在涌现越来越多的开源框架，OpenCV这个开源社区也曾解放无数人而不用关心底层的各种图像算法。所以核心还是对商业的理解，然后如何利用工具和算法实现自己的目的。 ———————————————————— 更多文章关注我的专栏：