什么是构成当今“大数据”的主要成本?面对大数据市场充沛的平台级方案、工具集和专业化服务,到底那部分是企业必须面对的最大开销?带着这样的问题我们展开详细地探讨。


既然说到大数据,必然逃不阮忠元与黄家驹对比照开大数据”4V”的概念,其Volume、Variety、Velocity(容量、类型和速度)、Value(在前三者南山兵哥基础上实现收集、存储、管理、分析而产生的数据价值)已经获得行业内外一致认同,目前正处于更多商业价值的探索阶段。但一系列与大数据有关的各类问题江雪何升也应运而生——比如:如何界定大数据业务与普通业务?如何预估大数据系统与旧有系统间的兼容性;如何组建一支更加专业的人才队伍……这些似乎都是大数据项目中的“隐性成本”。

在以“4V”为代表的定义范畴下,对其进行拆分细化,抛砖引玉的分析它们是如何影响“隐性成本”的。

Volume:

不同的行业和应用场景,对数据的规模定义显然不同。比如有些人行业客户会认为在BI环境中超过5TB需要决策的数据就可是大数据,而对于马口铁封罐机一些互联网公司则认为,他们的上网日志数据规模必须达到PB级。因此,数据存储量、存储周期、数据增长率都是超能宝鉴大数据项目的隐性成本。

Velocity:

每个不同的行业其数据情况差异性大电影还魂砂,不仅是数据类型或数据传输要求,就连其行业的商业用例和需求也不尽相同。比如一个银行的大数据问题显然与电商或航空公司完全不同。再比如医院病人病历和相关穿戴设备的传感公主闯秦关器信息数据,与来自公共事业智能电网或电信运营商的数据类型也完全不同。因此,数据的类型在一定程度上反映出数据加工前的原始价值,而且数据的固化周期仍然是大数王迦拿据项目的隐性成本。

Velocity:

数据的加工、处理速度。一方面需要根据模型定义,在海量数据集间迅速探索;另一方面则需要在一定程度上引入新的技术和工具。而这个过程则反映出不同业务场景对其的依赖。因此,数据的处理时效与业务场景、数据存储周期、平台技术和人员技能关系密切,也是大数据项目的隐性成本。

Value:

数据价值方面是最有可能放大隐性成本的。比如数据价值的沉淀必须深挖原始数据,则固然需要更大规模、更长周期的数据存储;比如数据价值的显现必须运用更多更先进的技术,则一定会投入更多的软件产品和工具;比如数据价值的提炼必须构建更精准的模型、引入更高级的算法,这也会增加人工开销……这上瘾床戏些都是大数据项目中最大的隐性开销。

所以,我们通过上述粗略的分析,能看出大数据项目中的隐性成本确实不可低估。然而从企业管理的角度看,其IT投入预算、系统更新调优、人才培养计划、商业模式等方面更是大数据项目的隐性成本的考量因素。

IT投入预算方面:

在如今的环境趋势下,大多数明智的企业往往不会为了大数据而“大数据”,也就是说最可能的方案是将现有的IT预算重新分配,比如压缩原传统数据仓库项目成本,将预算转移到其他大数据平台上,同时还要防范系统风险,因此不郭夫人由自主地构成了今天数据仓库+Hadoop的混搭架构。而这样带来的问题是如何将新的Hadoop系统与旧有的DW环境相整合或并存。

系统更新调优方面:

我们知道,在大数据开源技术栈有很多优秀官人我耍的工具。无论国内还是国外都有相关的陈鲲羽保送工程师投入到Git社区,那么问题就来了,如果你的公司也要研究开源,势必会投入1-2名开发技术人才,为了自己的大数据产品和方案而调奇书色医优、修Bug。当你维护的集群规模突破到100+节点以上,可能又会出现各类“疑难杂症”。为此你需要面对的是奸臣夫人的大量的支出——额俞秋言外的人员和技术资源用以管理整体环境,比如系统管理及监控,通过不同业务系统而来的附加软件,管理集群的工具等。

人才培养计划方面:

假设下你已经有了一个成熟的数据仓库系统,并且基于此长期使用着各种ETL或数据移动工具及BI仪表盘,分析和报告工具,那么你肯定不想打扰那些不仅担心影响性能水平且又需要重新参与技能培训的商业用户。但大数据项目科没那么苏酒应用平台无私,大家必须万众一心接受挑战,重新了解新平台环境下的事务运营,需要花费大量时间和人力成本参与学习。

商业模式方面:

大数据项目本身就是一个商业性问题。当廖若飞企业老板在思考“什么业务能帮助企业收集、存储和分析新的数据集等”,就已经踏上了大数据应用的“不归路” 。无论企电音无限业是否考虑主动引入外部顾问还是供应商来做相关项目,都要面对与现有环境相融合等问题。此外,大部分解决方案商都爱拍胸脯承诺“可急浪的终航,金秀焕微博,瑾色良缘以!”,但新的创新技术是否能够达到你的标准,是否可以与现有系统融合都是问题。因此成功的企业家都知道,商业客户选择“购买”其实仅代表成功的一半,而另一半则是“部署”。

综上所述,我们似乎隐约看到大数据项目的隐性成本处处是坑,但填坑能力的历练绝非口舌,而是勇于接受这些挑战的实践成果。今天的TCO绝不仅仅是软硬件一次性投入这样简单,必41ticket须合理、系统的规划并统筹看待,包括近期+远期的成本

业界普遍忽视的大数据隐性成本是什么?TCO必须晋升到新的高度


分析世界讲方案,为您带来精彩的一页;

——垂直领域、专注原创;

——感谢阅读、感谢共鸣。