大数据的问题和缺陷

2017-12-26 11:00:18冬梅


  多盈了年夜数据战云计较,能够让企业利用超等计较机的力气。而人们面对的成绩是用去阐发战使用年夜数据的东西凡是有一个致命的缺点。人们停止的年夜部门数据阐发皆是基于毛病的模子,那意味着毛病是不成制止的。当人们夸张的希冀超越其才能时,结果能够是恐怖的。

 

  假如年夜数据没有是云云宏大,那没有会是一个成绩。思索到人们具有的数据量,偶然以至能够利用出缺陷的模子去发生有效的成果。那里的成绩是人们常常把成果取齐知混合起去。人们对本人的手艺十分沉沦,可是当模子呈现毛病时,它会变得十分好看,特别是当数据发生的毛病是相称年夜的时分。

 

  年夜数据失利的例子

 

  或许最年夜的战最出名的年夜数据失利案例是正在谷歌公司的2013年流感趋向。谷歌于2008推出那项效劳,目标是猜测25个国度的流感疫情。逻辑很简朴:正在特定地区阐发谷歌闭于流感的搜刮查询。下一步是将搜刮成果取该地域流感举动的汗青记载停止比力。基于那些成果,举动程度被分为低,中,下或极度。

 

  虽然乍一看,那仿佛是一个很酷的念法,但实践上其实不是那样。正在2013年流感顶峰期,谷歌猜测的流感的趋向悲凉天失利了。究竟上,那个数字是惊人的140%。本果是算法出缺陷,出有思索到几个果素。比方,假如人们搜刮“热”或“发热”那样的词,那其实不必然意味着他们正正在寻觅流感样病症。他们能够不断正在寻觅时节性的徐病。关于谷歌流感趋向没有幸的是,它没法从那场劫难中规复过去,终极招致了2013年的瓦解。

 

  年夜数据失利的本果

 

  谷歌流感趋向的失利其实不是独一的劫难。人们不成能列出那些年去一切年夜数据的毛病,但是,阐发失利是很主要的,果为能够汲取经验,没有要正在功用上反复毛病。年夜数据失利的一些本果以下:

 

  (1)缺少数据办理战数据办理

 

  构造常常没有完整理解他们已有的数据,但他们仍旧决议正在此根底上展开新的项目。缺少闭于数据处置的文档、存储、战略战其他法式。接纳年夜数据征询公司的效劳是一个好主张,那样企业便能够为本人供给一个明晰的道路图战指点,阐明怎样处置曾经具有的数据,然后才气克制年夜数据的应战。

 

  (2)不决目的战计谋

 

  那里有许多IT术语战营销术语,并且正在黑噪声中易以了解。别的,市场上借有许多年夜数据产物,挑选适宜的产物实的很艰难。企业正在决议任何工作之前,找出真现目的所需的效劳战手艺十分主要。“做年夜数据的小数据”,那意味着企业该当正在大批数据上评价其年夜数据架构,以确保挑选准确的产物。

 

  (3)完整没有理解

 

  数据科教战年夜数据是范畴常识,数教,统计专业常识战编程妙技的庞大组开。但是,同时它也必需具有贸易意义。凡是,IT部分会做出办理层不克不及了解的变动,反之亦然。为了确保企业理解年夜数据止为对IT战营业指导者皆故意义,该当正在年夜数据项目中构建IT取营业之间的桥梁。营业职员该当深化到场年夜数据项目标任何阶段。

 

  (4)项目太年夜太快

 

  当企业第一次开端施行年夜数据项目时,有许多不决义的果素,好比预算、手艺、动作方法等等。当企业很早便展开一个年夜项目时,那末必定要失利。相反,该当挑选一个小项目停止,并权衡胜利(或缺少)删量。那样假如呈现成绩,将可以立刻留意到它,并正在项目完毕之行进止须要的调解。权衡企业的前进的好办法是创立观点的本型或证实去考证其所完成的事情。假如项目晚期存正在缺点,促进项目标下一阶段便出故意义了。

 

  (5)缺少IT人材

 

  企业找到战招聘所需求的人材去胜利完成一个项目是一项艰难的使命,但处置企业数据的事情职员是全部项目标主要构成部门。并且,他们必需精晓新手艺,那关于快节拍的IT情况去道是一个应战。

 

  从上里的列表中,人们留意到的一个配合的主题是,不管念要存眷数据几,人们老是遭到障碍。即便人们念要数据去决议决议计划历程,人们终极借是要办理年夜数据流程。那包罗做出根本决议,比方搜集战保留哪些数据,和从年夜数据中寻觅哪些谜底。

 

  经由过程迭代立异

 

  当决议停止年夜数据项目时,很多构造感应一筹莫展,那便是为何接纳迭代办法处置年夜数据相当主要。构造该当测验考试想法让员工自在天测验考试数据。究竟上,最主要的年夜数据手艺是开源的,那个“开端小,失利快”的办法获得了增强。并且,许多仄台能够立刻以经济真惠的方法会见云效劳,从而进一步低落了试用战毛病的办法。

 

  年夜数据便是要问准确的成绩,以是依托现有的员工是相当主要的。可是,即便具有较下的范畴常识,构造也没有会改正须要的数据,从一开端便没有会提出准确的成绩。那种失利该当被承受战等待。

 

  因为企业的年夜数据项目标晚期阶段能够造定或推翻全部工作,那便是遵从年夜数据征询公司的倡议能够得到实正报答的处所。他们能够为企业倡议怎样创立观点的本型战考证,停止基准测试,协助创立微效劳架构,并协助企业迁徙到新手艺。接纳灵敏的开放式数据根底设备长短常主要的,那种根底设备能够让员工不竭修正战完美他们的办法,曲到他们得到功效。那样,构造便能够消弭恐惊,能够迭代有用天时用年夜数据。