5个故事告诉你大数据是什么

前沿

37-26-1.jpg

你是否知道我们生活在什么样的信息世界?全球每天会有220万TB的新数据增加,而如今,90%的数据都是在过去的两年里创造出来的,这个比例还在不断上升。

产品 跑步时最爱听黑眼豆豆

Nike作为全球最大的运动品牌公司之一,曾在官网上公布了这样两则信息:“在冬天,美国人比欧洲和非洲人都更喜欢跑步这项运动,但美国人平均每次跑步的长度和时间都比欧洲人短”,所以Nike计划在不同的市场区域做好不同的产品划分,运动鞋的设计也根据区域的不同做了独立调整。另外“在全球跑步爱好者中,每次的人均跑步时间为35分钟。同时,在跑步中听的音乐,点播率最高的是黑眼豆豆的《Pump it》”。时间和歌曲的具体信息,都可以直接影响Nike在下阶段市场营销的新想法。

37-26-2.jpg

解析:运动中的数据价值

Nike的成功和其在市场上的特立独行正是来源于对自身产品和消费者的数据挖掘,早在2006年Nike就和苹果公司合作发布了捆绑iPod的NikePlus产品和平台。

通过运动鞋里的一个感测器系统,使用者在跑步时的相关数据会被记录在Nike全球数据库里,NikePlus.com上有实时数据更新,使用者对自己跑步的公里数、消耗的卡路里以及路径都了如指掌,还可以分享并关注朋友们取得的进步,这个创新使NikePlus 变成了体育运动爱好者的Facebook,Nike成功建立了全球最大的运动相关的网上社区(超过500万的活跃注册用户,上传超过几十亿公里数和几百亿卡路里数)。

消费 谁最关心孕妇

今年年初发生在美国的一件趣闻,一名男子闯入了他家附近的超市(Target),“你们怎么能这样!”男人向店铺经理大吼,“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券,她才17岁啊!”店铺经理不知道发生了什么,立刻向来者道歉,表明那肯定是个误会。然而,经理没有意识到,公司正在运行一套大数据系统。一个月后,这个愤怒的父亲打来电话道歉,因为Target发来的婴儿用品促销广告并不是误发,他的女儿的确怀孕了。

解析:数据追踪顾客的需求

大数据的价值在美国的零售业早已得到运用,以Tesco为例,这家全球利润第二大的零售商从其会员卡的用户购买记录中,充分了解到一个用户是什么“类别”的客人,并基于这些分类进行一系列的业务活动,比如,Target创建了一套女性购买行为在怀孕期间产生变化的模型,不仅如此,如果用户从他们的店铺中购买了婴儿用品,Target在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品,使这些客户形成长期的忠诚度。

诸如此类的应用,在国际零售行业巨头中已屡见不鲜,数据的力量,不仅让商家提升了自己的业绩,还让客户为之心甘情愿买单。

灾害地震中的英雄

在发生海地地震时,海地人散落在全国各地,由于当地的通信本身并不发达,援助机构为弄清该向哪里提供援助而忙得四脚朝天,传统上,他们只能通过飞临灾区上空或赶赴灾区现场来查找需要援助的人群。另一边,一家独立的信息分析平台通过广播公布了手机短信紧急求助号码,结果收到了数千条有关被困人员的信息。散居在美国各地的大量海地裔美国人翻译了这些信息,并把它们标注在“危机地图”上。Ushahidi志愿者们向海地的美国海岸警卫队发送即时消息,告诉他们搜寻地点。最终成功营救了当地居民。

37-26-4.jpg

解析:数据救人一命

救命英雄正是来自东非肯尼亚的一个开源数据分析平台——Ushahidi,它一直收集和追踪有关暴乱、难民、强奸、死亡等事件的短信报告工作,并按照报告者提供的位置在地图上标明这些事件,从中分析事件频发的位置,从而进行预测和加强管制。

与新闻报道和灾害应对小组相比,Ushahidi可以在更短的时间内收集到更多的证据,这些证据的基础便是来源于对数据分析而进行准确的地理定位,通过实时变化的地图信息来实施营救计划,在灾害面前,只有数据是最为冷静和理性的。

治安 犯罪前就被逮捕

37-26-5.jpg

总部位于美国犹他州桑迪市的SecureAlert监控中心曾经发现一个加州的假释者每天下午2点左右都出现在同一个路口。根据进一步调查显示,该路口是一个学校巴士停靠站。这里本该是学生聚集的地方,四处也并无其他公共设施,相对人群较为稀少,于是该公司将这个情况上报到更高的层级,并且将该报告通知给当地警察部门,已做好预警准备。最终在假释者试图诱拐一名学生时,便衣警察直接将其逮捕,数月的路径跟踪在公堂上成为了有力证据。

解析: 用数据抵御犯罪,保卫和平

SecureAlert公司其实是一家GPS定位技术的提供者,公司正致力于通过进一步自动化从监控到地理位置调查的过程来增强系统的预测能力。实际上,SecureAlert公司提供了一种内置GPS功能的脚环,这种脚环被应用于跟踪预审被告、假释罪犯和缓刑罪犯。该技术使得警察和法院能够实时跟踪和监控犯罪分子,有助于执法者提前预测犯罪行为。

SecureAlert的这项预测服务,原理并不复杂,复杂的是数据收集模式,能够在任何时间内检测犯罪分子的活动,从中分析作案途径和方法。

经济 基于微博预测的对冲基金

英国的一名“80后”外汇交易员保罗·霍廷从三位信息学教授那里获得灵感,随后联手推出了一款利用Twitter来预测股票走势的对冲基金Derwent Capital,并大胆承诺,公司推出的交易策略可以获得的年回报率高达15%-20%。如此的雄心豪情来源于公司成功的测试效率,Twitter上的情绪性词语可以在一定程度用于预测道琼斯工业指数的变化。结果表明人们在网上的情绪变化会在2-6天后影响到指数的变化,研究者称,这使得他们预测的成功率高达87.6%。

解析:数据挖掘进行时

Derwent的创始者们并非最早利用Twitter预测能力的人。这家微博网站目前已有高达2亿用户群体,早就被用来预测从电影票房到美国和英国选举的所有事情。而Derwent公司利用计算机程序,每天通过对3亿条推文的抽样,抓取例如“我感觉”、“我认为”、“让我觉得”等表达投资者和公众情绪的语句进行分析、归纳,然后做出推断。他们的试验虽然有待时间的检验,但大数据挖掘的价值已经成为不可轻视的科学热流。

数据从何而来

信息量的膨胀化——数据越来越庞大,民用的容量单位MB(兆)、GB(吉)已发展到常用TB(太)甚至是PB(1000个TB)来丈量。过去常用的“信息爆炸”、“海量数据”等词语也不能满足这个发展中的新现象。

大数据一说首先被全球各大IT企业所重视,这些企业基于自身的商业目标,对大数据做了各种解释,一条共识是:“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。”

从这一个侧面表明,大数据带来的挑战在于它的实时处理,而数据本身也从结构性数据转向了非结构性数据,例如现代人每天用手机拍照上传的照片和视频等。从潜在的机会看,通信和网络公司是掌握大数据最容易的途径,海量的用户基础,如果能够充分利用,就可以探索个性化、精确化和智能化的广告推送和服务推广。同时,企业也可以通过对大数据的把握,更好地开发新产品和新服务,降低运营成本。

Facebook作为目前最大的社交平台,坐拥数亿的用户群,上传照片数达到3亿张,每半小时通过Hive扫描的数据就达105TB之多,而Facebook的工程总监Parikh解释了这些数据对于公司的意义:“大数据的意义在于真正对你的生意有内在的洞见。如果你不能好好利用自己收集到的数据,那你只是空有一堆数据而已,不叫大数据。”

BERO可以做什么

利用Android开源配件标准里面的系统API接口除了能够进行数据的交互处理之外,还可以通过开发APP软件自定义BERO机器人的功能。这正是两位开发者展示聪明才智的理想舞台,好在他们也并没有让我们失望,BERO的功能看起来确实非常炫酷。

Twitter语音播报员

自从Siri出现之后,语音功能一下就火了起来,成为智能设备的标配,BERO也不例外。如果你很忙,没有时间去手机或者电脑上查看Twitter上的最新信息的话,BERO的语音功能就能帮到你。迈克尔和乔纳森就开发出了一个APP,可以实时跟踪推特的状态,如果有更新,那么APP就会把文字信息转化成语音信息,再通过蓝牙传送到BERO上,并播放出来。这样你再也不用随时去刷新推特界面了,所有新动态都会由BERO机器人给你读出来,够有意思吧。除此之外,BERO带有的扬声器,可以作为蓝牙音箱和播放SD卡内的音频文件。

天生的舞蹈家

37-27-7.jpg

当你觉得无聊的时候,你的蓝牙音箱能够随着音乐起舞给你解闷,这是不是很有趣呢?事实上舞蹈也是BERO的一个重要功能,与Google Bug Droid一样,其配有专用的APP,可以控制机器人身上各个电机的运行,从而打造出舞蹈效果。但是BERO的不同之处在于,它身上的电机更多,可以进行更为复杂的舞蹈。由于BERO拥有6个电机,因此控制其运动的APP也更为复杂,通过手指在Android屏幕上进行滑动,就能控制BERO前进、后退、转弯、摆头等动作。而且你可以在APP中记录下刚刚进行的操作,以后就能直接调用出来,让BERO跳出各种已经预设好的舞蹈。除此之外,BERO还预设了一个程序,能够根据音乐的音调,来控制机器人的动作,让舞蹈变得更具动感。

聪明的驾驶员

37-27-6.jpg

BERO红外导航传感器示意图

BERO带有脚轮可以自由移动,但在移动中很可能会被路上的障碍绊倒。为了解决这一问题,BERO带有一个红外光学导航系统,通过机器人身上的两个红外发射器和一个红外接收器来探测障碍物,如果系统发现前方有障碍,相关信息就会发送到手机上,经过处理之后,手机就会给出转弯的命令,从而绕开这个障碍。让你不用担心这个可爱的机器人会突然摔倒,从而造成损坏。