编者按:大数据应用落地需要想清楚几个事情:一是大数据从何而来,或者说要进行应用的大数据都包括哪些数据?二是采用什么技术手段或者方法对这些大数据进行应用?三是大数据应用预计会产生哪些价值,对业务带来哪些帮助。
在我看来,什么是大数据应用并不重要,“啤酒与尿布”的故事属不属于大数据也不重要,重要的是时下热炒的大数据应用能够给我带来什么,行业企业大数据应用从何着手,换句话说,大数据应用究竟如何落地。
我认为大数据应用落地需要想清楚几个事情:一是大数据从何而来,或者说要进行应用的大数据都包括哪些数据?二是采用什么技术手段或者方法对这些大数据进行应用?三是大数据应用预计会产生哪些价值,对业务带来哪些帮助。把这些问题把握好了,大数据应用自然就落地了。
在所接触过的大数据应用方案中,我认为Splunk大数据应用是一个比较令人满意的答案。其他的一些方案要么只提供了一个处理平台,没有提供配套的应用;要么提供了数据处理和挖掘的软件,但是让搞不清楚,如此大数据应用与BI、数据挖掘究竟有何不同,“啤酒与尿布”是不是就是大数据应用。只有Splunk能够从上述的几个方面提供一个相对完整的答案。
首先,大数据都包括哪些数据。对哪些数据进行分析处理,在Splunk方案中,需要用户首先对数据来源确认。Splunk给出的参考包括:文件或者文件目录、syslog、Windows事件日志、Windows注册表、Windows性能指标、Unix/Linux日志和指标、文件完整性监视、配置文件、OPSEC LEA、Cisco设备日志、IIS日志、Apache日志、WebSphere日志/指标和其他数据、以及任何其他数据。给我的感觉这些数据,此前都是系统管理所需要的数据,多数都与系统管理相关。没有做过系统管理员,不知道系统管理员使用这些数据,是否注意到这些数据所带来的价值,如今,大数据应用就是要盘活这些数据。
其次,没有Splunk,这些数据都是存在,也在被使用。所不同的是,在Splunk方案中,将这些数据集中收集起来,Splunk对这些数据提供各种实现在线的查询,提供了灵活、方面的手段。例如鼠标点击数据中的某字符串,就可以实时筛选出大数据中与此相关的数据集合。也许这样的描述过于抽象,其实就是一句话,就是提供了针对大数据的查询,随时可以了解相关数据,并提供了丰富的展示手段。
最后,这种查询究竟产生了哪些效果。这就要结合具体应用进行说明了。华夏威科是一家提供虚拟化和云计算服务的软件公司,也是Splunk公司的合作伙伴。他们将Splunk应用在桌面虚拟化应用,以往用户在使用桌面虚拟化过程中,总感觉效果不是很满意。借助 Splunk分析,就找出了应用的瓶颈点,对此进行调整。如今,用户对于桌面虚拟化效果感觉满意,并很快实施了第二阶段采购。另外一个案例来自精诚所服务的电信运营商,他们使用Splunk对于网络流量的用户行为进行分析,例如分析有哪些用户在使用腾讯微信,研究微信究竟对语音产生了多少分流,带来了多大损失。据精诚中国区事业发展部总监张文献介绍,Splunk对网络流量的分析与以往有所不同,以往流量分析只是了解性能瓶颈点,并不对流量所代表的行为进行分析。实际上,借助Splunk分析,运营商就可以清楚了解新的电信业务,例如各种套餐,其用户的实时接纳程度。
银行也是Splunk用户。据Netis(上海天旦网络)介绍,银行用Splunk对网上银行进行分析,例如对网银响应时间进行分析。以往手段也可以掌握相应时段的响应时间,但要对整个过程进行分析,如果响应时间长,问题究竟是出现在数据库、中间件,还是应用服务器?还是出现在网络、存储的响应环节,通过大数据分析,找出问题,提供用户满意度。张文献指出,BI和数据挖掘更多是基于成功交易所获得的数据,“啤酒与尿布”即是如此。但他们无法实现实时分析,也没有办法针对不成功、半途放弃的用户数据进行分析。大数据应用恰恰弥补了以往的不足。
如此看来,既然分析什么、怎么分析、有什么效果,这些问题解决了,大数据应用落地也就简单了,管他定义是什么,只要这个东西有用,就足矣了。