编者按:从华为官方公布的信息来看,主打大数据应用的应该算是N9000,这款产品是华为存储最新的集群存储系统。N9000一方面在一个系统内实现了分布式存储、分布式备份以及分布式数据分析的一体化全生命周期管理,在数据统一调度模块的调度下,数据在多域间有效流动。
40MB的PPT文档、1TB图片或者一部1个PB的电影能够成为大数据并不是因为他们的体积大,而是因为很难利用现在主流的技术来处理和应用这些文件。即使说你无法通过邮件将一个40MB的PPT文档发出去;也很难对一个 1TB的图片进行远程实时的管理或者对一个PB级电影进行在线编辑。种种数据给传统技术带来了各种各样的挑战,这种挑战就是大数据。
这是之前在一次关于大数据的交流活动上得到的一个观点,如果说实现数据价值是大数据的终极目标,那么华为存储作为一个基础架构厂商能有什么产品、解决方案和策略能和大数据联系起来呢?这篇文章则对这个话题进行一个讨论。
存储本身就是大数据中一个很重要的组成部分,或者说存储在每一个数据中心中都是一个重要的组成部分。从华为官方公布的信息来看,主打大数据应用的应该算是N9000,这款产品是华为存储最新的集群存储系统。N9000一方面在一个系统内实现了分布式存储、分布式备份以及分布式数据分析的一体化全生命周期管理,在数据统一调度模块的调度下,数据在多域间有效流动,另一方面由于采用了分布式架构,系统在初始时可以使用较小的配置,降低CAPEX 开销,随着业务量的增加,客户可以方便扩容,以实现应需而变。
N9000应对大数据环境的优势主要表现在四个方面。首先是弹性空间。这点主要得益于N9000的全分布式架构,在保证数据高可靠的同时,系统支持3 节点至288 节点弹性无缝扩展,单一文件系统可扩容至100PB,整个扩容过程业务无中断;再而是卓越的性能。300 万的OPS,超过170GB 的系统总带宽,极低的时延,充分满足高性能计算、媒体编辑等场景的高性能要求;不仅仅单节点可输出高性能,整系统性能也会随着节点扩容线性增长,从容满足业务的更高性能要求。这些都体现了N9000的性能优势;第三,N9000 通过多功能,多协议的智慧融合,消除数据孤岛。融合使得N9000更容易完成数据从存储、查询、备份、分析的全生命周期管理;最后是简化管理。易用性是上层应用对基础设施的一个重点需求,N9000从管理系统到文件系统以及自动精简配置等功能上都遵循了高效、简洁、一致的用户体验的原则。
但从产品方面来讲,以N9000为主的华为存储各条产品线都会对大数据做些或多或少的支持,N9000的定位更为典型一些。它针对大数据的应用环境做了很多的优化,比如对Hadoop以及对大数据分析、云环境下的数据共享等应用的支持。 融海量数据存储、分析、备份归档于一体的N9000,以业界领先的性能、大规模横向扩展能力和超大单一文件系统为用户提供结构化与非结构化数据共享资源池、基于数据全生命周期管理的存储与归档解决方案,充分切合广电媒体、高性能计算、能源地质、数据中心集中存储、互联网运营等多种大数据业务应用的需求。从一个存储设备来讲,N9000为大数据提供了一个可靠、灵活、高效的基础架构平台,他并没有超出存储产品的定位,而是将存储平台进行优化使之能够更好的为大数据服务而已。
但从产品层面来说华为存储对大数据的贡献显然是不完整的,从解决方案的角度华为存储会和大数据有更多的结合。由于华为存储的产品线非常全面,所以不管是什么样需求的解决方案,总能在华为存储中找到恰当的产品来应对,大数据相关的解决方案也是如此。当下大数据应用比较多的行业中广电媒体、高性能计算、能源地质、数据中心集中存储、互联网运营都是华为存储的重点发展领域。华为存储主推的几款高端存储和海量存储产品都是发展这些重点领域客户的主推产品。N9000为例,高性能性能、大规模横向扩展能力和超大单一文件系统使得N9000可以为用户提供结构化与非结构化数据共享资源池、基于数据全生命周期管理的存储与归档解决方案。高端存储进入大数据的解决方案,依照华为存储的高端存储带动其他产品的风格,OceanStor其他的产品线包括T系列在内也会跟随高端存储参与到大数据解决方案中来。
产品和解决方案是基础 生态圈是目标
之前的《HCC2013:华为存储与合作伙伴共建生态圈》一文中笔者有谈到华为存储的“创新、开放、被集成”的发展理念以及建立完整的生态圈的一个愿景。
从不同的角度华为试图建立起不同的生态圈,从大数据的角度华为也希望通过与众多合作伙伴一同建立起一个合作共荣,共同发展的生态圈。这应该也是华为存储之于大数据策略的一个终极目标,因为单靠华为存储甚至加上华为其他的众多产品和技术也难以将大数据从上到下进行通吃,华为存储也没有在数据分析等自己不擅长的领域作出一番事业的策略。在大数据时代里,华为存储应该做的就是将存储节点做好或者是向其他的融合解决方案提供技术支持,使得存储不会成为大数据解决方案中的一个瓶颈,至于数据价值具体怎样实现则不是华为存储所考虑的事。
在Gartner公布的这张技术发展周期的图上,可以看到大数据正在一个快速发展而且即将达到顶峰的一个状态。能在这一时期快速的稳定自己的位置进行长足的发展并建立起自己的一个生态圈的厂商或者组织,就一定是大数据时代的一个大赢家。而建立生态圈是华为的发展方向,这点从HCC2013的多个分论坛以及合作伙伴所展出的解决方案可以很明显的看出。