大数据是个产业,广义上指的是在这个信息过载时代围绕着海量信息产生、传播、收集、处理、创造价值的整个产品链条;狭义上一般指大数据存储与处理、数据挖掘的相关产业。目前市场上利用大数据最多的一般在于分析和预测。
根据本人10年来在这个行业的从业经验,大数据与前两年的云计算、再往前的网格计算、并行计算都是相同产业链上几个环节,它是作为概念被媒体和从业者炒作起来的。但不可否认的是,我们的社会正处于信息爆炸的时代,各行业的信息量都在几何级数增长,高效利用好这些数据确实能为工作和生活带来巨大变革。
观点1:数据本身不产生价值,如何分析和利用大数据对实际业务产生帮助才是关键
例如,它可以帮助控制美国占17.6%GDP的医疗支出,为医药行业带来超过3000亿美元的成本节省和收益(来自麦肯锡的报告)
Netflix 制作《纸牌屋》的故事很多人都听过,说的是这家公司利用大数据分析了用户最喜欢的情节、最喜欢的演员组合、最喜欢的编剧等等,组合起来之后自己制作了一部电视剧最终取得巨大成功。
虽然听过故事的人很多,但几乎没有人注意到,这家公司是处于大数据应用链的顶端。与提供分析服务、提供大数据存储、提供数据清洗的基础产业中下游公司不同,Netflix除了自身产生数据且具备分析能力外,关键的是具备把分析结果转化为产品的能力,这才是产生高利润和竞争力的核心。
观点2:从事大数据的生意要重视投入与产出
大数据门槛很低,用一个Excel就可以起步,但随着研究的深入,想利用大数据分析进行获利,还是需要一定的预算和投入。
比如:需要专业的团队,如大数据分析师,10年前这个职位就存在,叫BI(商业智能),工作的内容就是分析大量的数据并通过建模等方式帮助制定战略或进行商业决策。
有了分析师就需要有配套的工程师配合,从海量的数据中挖掘出有价值的东西。
服务器:大数据另一个要消耗的资源就是服务器,从存储到计算再到带宽,都是需要不断的进行投入的。
所以商业公司进入这个行业前要考虑下是否有足够的预算,但同时上述的几点也孕育了不少新的机会,比如amazon就是全球最大的云计算基础设施厂商,splunk和前一段上市的Tableau都是对分析师提供数据处理服务的,相当于替代了一部分昂贵的工程师的工作。
观点3:大数据不是最近才有的,数据一直存在,分析数据的技术近几年有了革命性的突破
处理海量数据在技术界一直是个课题,几个革命性的技术在近10年相继出现,奠定了我们目前大数据的基础,其中包括虚拟化技术、Map-Reduce & Bigtable 、 NoSQL数据库、Deep Learning技术等。
虚拟化造就了今天的amazon云服务基础设施, map reduce造就了帮助我们进行高速云计算的hadoop开源软件,之前处理几天的数据现在几分钟就可以处理完。NoSQL数据库已经广泛应用在了拥有大量数据及高访问量的网站上,性能比传统数据库提升了许多。
观点4:许多人已经默默地通过大数据获利
商业公司通过长期研究,一旦发现了通过大数据获利的秘诀,多数情况下还是选择独乐乐而不是众乐乐。因为分析方法和数据源一旦公开,竞争对手必然会跟进,会导致了方法同质化最终体现在收益降低。
精准营销是个众所周知的领域,通过对每个人的信息进行分类建模,进行不同种类的营销。比如搜索引擎中,你长期搜索一些新的楼盘信息,搜索引擎会根据你的搜索历史判断你极有可能是潜在的买房者,美国target百货公司就曾因为根据用户的购物记录判断出一女孩怀孕并给其家里投送孕妇购物手册而名声大噪。在淘宝中搜索了旅行背包后,在新浪上都能看到相关旅游用品的广告。
但实际上大数据公司为了提高竞争优势,已经并不满足于这种有直接联系的数据,纷纷通过更多的途径收集数据。 根据笔者这些年的见闻,在保护行业机密的前提下在这里分享一些读者之前没听过的干货。
1、路由器,之前只是上网的小盒子,在数据采购市场是极为炙手可热的渠道。原因是近些年随着手机硬件的发展(路由器和手机等移动设备使用相似的芯片),尤其是处理器计算能力的几何式增长,小小的路由器里面已经可以运行很多程序,这些程序在用户上网时默默的分析着各种各样的数据,包括你常联系的好友信息,上网记录等。
2、网络运营商,运营商喜欢在用户浏览网页时插入一些广告,相信多数人都遇到过,和路由器的数据分析原理一样,运营商并不满足于千篇一律的固定展示广告,也在与时俱进,利用大数据进行精准的个性化广告营销。
3、基础软件,如浏览器、输入法。不仅是电脑还包括手机,你用输入法在各个软件里提交的查询请求,在浏览器里鼠标移到某个商品上却没有点击等等, 这些大数据都会被储存到了云上,供厂商进行分析。